AI Tạo Câu Trả Lời Bằng Cách Đoán Mảnh Tiếp Theo

Chương 1 đã cho thấy rằng những gì bạn gõ vào sẽ được chia thành các mảnh nhỏ trước khi mô hình xử lý. Bây giờ đến câu hỏi tiếp theo: mô hình thật sự làm gì với những mảnh đó? Câu trả lời đơn giản đến mức nghe có vẻ khó tin, nhưng đó lại là sự thật. Mô hình đoán mảnh tiếp theo. Sau đó nó đoán mảnh kế tiếp nữa. Nó cứ tiếp tục đoán như vậy cho đến khi quyết định dừng lại. Mọi việc bạn từng thấy chatbot làm, như viết email, giải thích tờ khai thuế, làm thơ hay trình bày một lập luận, đều bắt nguồn từ cùng một hành động nhỏ được lặp đi lặp lại: đoán mảnh tiếp theo. Khi hiểu được điều này, bạn sẽ không còn thấy mô hình như một cỗ máy bí ẩn nữa, mà có thể bắt đầu hình dung và lý giải cách nó hoạt động.

Một việc bạn vẫn thấy mỗi ngày

Bạn có thể thấy một phiên bản rất nhỏ của mô hình này ngay trên điện thoại của mình. Khi bạn gõ "Đang trễ giờ, hẹn gặp..." và điện thoại gợi ý chữ "lại", đó chính là cách hoạt động tương tự, nhưng ở mức đơn giản hơn nhiều. Điện thoại nhìn vào những chữ bạn vừa gõ, rồi đoán xem chữ nào thường xuất hiện tiếp theo. Sau đó, nó đưa ra gợi ý có khả năng đúng cao nhất. Mô hình ngôn ngữ cũng hoạt động giống tính năng gợi ý chữ tự động đó, nhưng lớn hơn và phức tạp hơn rất nhiều. Nó không chỉ học từ vài tin nhắn gần đây, mà đã được huấn luyện trên một lượng văn bản khổng lồ. Khi cần viết tiếp, mô hình sẽ chấm điểm rất nhiều từ hoặc cụm từ có thể xuất hiện tiếp theo, rồi chọn phương án phù hợp nhất. Sau khi chọn xong một phần, nó thêm phần đó vào câu và tiếp tục đoán phần kế tiếp. Cứ lặp lại quá trình này nhiều lần, mô hình sẽ tạo ra cả một đoạn văn. Vì vậy, câu trả lời trôi chảy và có vẻ rất tự tin của chatbot thực chất được tạo ra bằng cách liên tục tự hỏi: "Tiếp theo là gì?"

AI viết từng mảnh một

Cũng nên dừng lại một chút để xem văn bản được tạo ra như thế nào, vì thứ tự tạo văn bản quan trọng hơn bạn tưởng. Mô hình không nghĩ sẵn toàn bộ câu trả lời rồi mới viết ra. Nó tạo mảnh đầu tiên trước, sau đó tạo mảnh tiếp theo, rồi tiếp tục như vậy thành một chuỗi. Mỗi mảnh được chọn dựa trên những mảnh đã có trước đó. Không có một bản nháp hoàn chỉnh nào đã nằm sẵn phía sau. Những mảnh này chính là token đã nói ở Chương 1. Token có thể là một từ, một phần của từ, hoặc một dấu câu. Mô hình đọc dữ liệu bằng token, và cũng viết câu trả lời bằng token.

Ở mỗi bước, hệ thống chỉ làm một việc. Mô hình đọc tất cả nội dung đã có trước đó, gồm prompt của bạn và phần văn bản mà nó đã tự tạo ra, rồi ước tính xác suất cho từng token có thể xuất hiện tiếp theo. Nói cách khác, nó chấm điểm xem token nào có khả năng xuất hiện cao hơn. Sau đó, mô hình chọn một token trong số những token có khả năng cao. Câu hỏi mà mô hình luôn cố gắng trả lời là: "Dựa trên những gì đã có đến lúc này, thường thì điều gì sẽ xuất hiện tiếp theo?" Nó không trực tiếp trả lời câu hỏi "điều này có đúng sự thật không?" và cũng không tìm một "kết luận đã được định sẵn". Nó chỉ chọn điều có vẻ hợp lý nhất để viết tiếp, dựa trên toàn bộ nội dung đang có.

Đúng là mô hình chỉ được dạy để đoán token kế tiếp, vậy mà cỗ máy vẫn ngắm được xa hơn một nhịp. Các nhà nghiên cứu về khả năng diễn giải ở Anthropic bắt gặp điều đó rõ nhất khi mô hình viết một cặp câu có vần: trước khi đặt bút cho dòng thứ hai, bên trong mô hình đã chốt từ sẽ gieo vần ở cuối, nhắm sẵn rabbit để bắt vần với grab it, rồi mới viết cả dòng sao cho câu chữ rơi trúng vào đó.1 Và đây là nhân quả thật chứ không phải trùng hợp. Chặn từ đã nhắm ở bên trong, dòng thơ kết lại bằng một vần khác, habit; còn khi họ tiêm vào một khái niệm mới, chẳng hạn green, mô hình lái cả dòng để dừng đúng ở đó. Chính các tác giả gọi đây chỉ là một dạng lập kế hoạch sơ khai, xa chừng một dòng, không phải bản nháp hoàn chỉnh của cả câu trả lời. Cỗ máy vẫn viết mỗi lần một token; chỉ có điều token mô hình chọn đôi khi đang chĩa về một cái đích cách đó một quãng.

Vòng lặp tạo nên cả câu trả lời

Đây là bước biến một lần dự đoán thành một câu trả lời hoàn chỉnh. Mỗi token, tức là một mảnh chữ mà mô hình chọn, sẽ được thêm vào cuối đoạn văn bản. Sau đó, đoạn văn bản mới này được đưa lại vào mô hình để dự đoán token tiếp theo. Nói cách khác, đầu ra vừa tạo ra sẽ trở thành một phần của đầu vào mới. Mô hình dự đoán một mảnh, gắn mảnh đó vào đoạn văn, đọc lại toàn bộ đoạn mới, rồi tiếp tục dự đoán mảnh kế tiếp. Vòng lặp này cứ lặp đi lặp lại, giúp một từ dần thành một câu, và một câu dần thành một bài văn.

Có một điều âm thầm nhưng rất quan trọng trong vòng lặp này: ở mỗi bước, mô hình đọc lại chính phần văn bản mà nó vừa tạo ra. Vì vậy, những lựa chọn trước đó sẽ ảnh hưởng đến những lựa chọn sau. Nói cách khác, mô hình luôn viết tiếp từ một văn bản đang dang dở. Đây là lý do vì sao một câu mở đầu nghe rất tự tin có thể kéo cả câu trả lời đi theo hướng đúng sự thật, hoặc đi theo hướng hoàn toàn bịa đặt, nhưng vẫn trôi chảy như nhau.

Bên trong AI không có kho đáp án có sẵn

Đây là lúc cần bỏ một cách nghĩ nghe có vẻ dễ chịu nhưng không đúng. Bên trong mô hình không có một tủ hồ sơ chứa dữ kiện, cũng không có một cuốn bách khoa toàn thư để mở ra rồi chép câu trả lời. Thứ mô hình có là khả năng nhận ra cách con người thường dùng ngôn ngữ: chữ nào thường đi sau chữ nào, câu nào thường xuất hiện trong kiểu đoạn văn nào. Khả năng đó được hình thành dần trong quá trình huấn luyện. Khi bạn đặt câu hỏi, mô hình dựa vào những khuôn mẫu đã học để tạo ra một câu trả lời nghe có vẻ hợp lý. Đây là một khả năng rất ấn tượng. Nhưng đó cũng là lý do mô hình có thể trả lời rất tự tin mà vẫn sai. Một câu viết trôi chảy, có vẻ hiểu biết, và một câu đúng sự thật đều có thể được tạo ra theo cùng một cách. Mô hình không có một bước riêng để tự kiểm tra lại với thế giới thực.

Vì ở mỗi bước, mô hình không chọn một từ duy nhất được xem là "đúng". Nó chọn trong nhiều phương án đều có khả năng cao. Vì vậy, cùng một câu hỏi có thể tạo ra những cách trả lời khác nhau ở mỗi lần thử. Mô hình đang dự đoán, chứ không phải đọc thuộc lòng. Sự khác nhau này không xảy ra ngẫu nhiên và cũng không phải là lỗi. Cuốn sách sẽ giải thích vì sao điều đó xảy ra, cũng như cách điều chỉnh để kết quả thay đổi nhiều hơn hoặc ít hơn, sau khi trợ lý AI được giới thiệu rõ hơn.

Cái bẫy: AI không tra đáp án có sẵn

Nhiều người dễ nghĩ rằng khi bạn hỏi chatbot một câu, nó sẽ mở một cuốn bách khoa toàn thư có sẵn rồi chép lại câu trả lời đã được lưu trong đó. Cách hiểu này nghe có vẻ hợp lý, vì nó giống cách ta thường tưởng tượng về công cụ tìm kiếm, nhưng thực ra không đúng với cách chatbot hoạt động. Chatbot không lấy ra một câu trả lời có sẵn. Thay vào đó, nó tạo câu trả lời từng phần một, bằng cách dự đoán từ hoặc mảnh chữ nào có khả năng xuất hiện tiếp theo. Nó ghép một phản hồi có vẻ hợp lý dựa trên các mẫu ngôn ngữ đã học, chứ không rút ra một sự thật hoàn chỉnh từ kho dữ liệu. Vì vậy, chatbot có thể viết ra những đoạn văn trôi chảy và nghe rất đáng tin, nhưng nội dung lại có thể sai hoặc bịa. Quy trình tạo câu trả lời chỉ giúp nó chọn những chữ có khả năng xuất hiện cao, chứ không bảo đảm rằng những điều đó là sự thật.

Ở lần nối thứ nhất, mô hình gần như bị buộc phải đi theo một hướng: hầu hết các mảnh chữ tiếp theo có xác suất cao đều dẫn đến chữ "kim", hoàn thành câu tục ngữ quen thuộc mà ai cũng biết. Ở lần nối thứ hai, không có một kết quả cố định nào để đi tới. Vì vậy, mô hình có thể tự tạo ra một người bà nghe như có thật và một lời dặn nghe rất hợp lý, từng mảnh chữ một. Không có phần nào được tra cứu; cả hai đều chỉ là kết quả dự đoán.

Khi nào có thể tin câu trả lời do AI tạo ra

Khi hiểu rằng chatbot chỉ đang dự đoán phần tiếp theo của câu, chứ không phải tra cứu trong một kho dữ liệu đã được kiểm chứng, bạn sẽ biết cách đọc câu trả lời của nó cẩn thận hơn. Hãy dùng AI cho những việc mà nó làm rất tốt, như viết bản nháp, diễn đạt lại câu chữ, gợi ý ý tưởng, hoặc biến những ghi chú lộn xộn thành một đoạn văn rõ ràng, mạch lạc. Tuy nhiên, bạn cần kiểm tra lại mọi tên riêng, con số, ngày tháng và câu trích dẫn mà mô hình đưa ra. Đây là những chỗ mà một dự đoán nghe có vẻ hợp lý và một sự thật chính xác có thể trông giống hệt nhau trên màn hình, trong khi bản thân AI không biết chắc điều nó vừa tạo ra thuộc loại nào. Chỉ cần giữ thói quen kiểm tra như vậy, bạn đã có thể tránh được rất nhiều rắc rối. Từ đó cũng nảy sinh một câu hỏi sâu hơn: một cỗ máy dự đoán phần tiếp theo rất trôi chảy vẫn chưa chắc đã là một trợ lý hữu ích. Vậy làm thế nào để cỗ máy dự đoán thô sơ ấy trở thành một trợ lý AI lịch sự, đúng trọng tâm, giống như thứ bạn trò chuyện hằng ngày? Đó sẽ là câu chuyện của chương tiếp theo.