Vì Sao AI Biết Trả Lời Như Một Trợ Lý

Chương 2 kết thúc với một cỗ máy chỉ làm một việc: đoán phần văn bản tiếp theo, rồi lặp lại việc đó liên tục. Điều này dẫn đến một câu hỏi thực tế. Nếu một cái máy chỉ biết đoán phần tiếp theo của văn bản, thì vì sao nó lại biết lịch sự, biết trả lời đúng điều bạn hỏi, và biết dừng lại khi cần? Vậy trợ lý AI hữu ích, lễ phép mà bạn trò chuyện hằng ngày đến từ đâu? Câu trả lời ngắn gọn là: trợ lý đó không có sẵn trong mô hình ban đầu. Nó được tạo ra nhờ một giai đoạn huấn luyện riêng sau đó. Giai đoạn này không giống lập trình theo kiểu ra lệnh từng bước, mà giống như cho AI luyện tập cách đóng vai một trợ lý. Hiểu được quá trình luyện tập này sẽ giúp ta thấy vì sao trợ lý AI thường dễ chịu và hữu ích, nhưng đôi khi cũng có xu hướng nói đúng điều bạn muốn nghe.

Một diễn viên giỏi nhưng chưa được chỉ dẫn

Hãy tưởng tượng có một diễn viên ứng tác cực kỳ giỏi. Anh ta đã đọc gần như mọi cuốn sách, mọi kịch bản và nghe đủ loại câu chuyện trên đời. Nếu bạn đưa anh ta lên sân khấu mà không hướng dẫn gì, anh ta sẽ tự tiếp tục cảnh diễn theo hướng mà anh ta thấy có vẻ hợp lý nhất. Có lúc anh ta diễn rất hay, có lúc trả lời cụt ngủn, có lúc lại đi lạc sang chuyện chẳng liên quan. Lý do là anh ta chỉ làm theo một bản năng duy nhất: đoán xem điều gì có vẻ hợp lý để nói tiếp. Diễn viên đó giống với mô hình thô ở Chương 2: một cỗ máy viết tiếp rất giỏi, nhưng không tự quan tâm đến việc câu trả lời có thật sự hữu ích cho bạn hay không.

Hãy tưởng tượng một buổi tập kịch kéo dài. Ban đầu, các huấn luyện viên diễn mẫu những câu trả lời hay, còn diễn viên thì bắt chước theo. Sau đó, thay vì đưa cho anh ta một cuốn luật dày cộp, các huấn luyện viên chỉ ngồi xem anh ta diễn hết lượt này đến lượt khác rồi nhận xét: "Lượt đó tốt hơn lượt kia."

Dần dần, diễn viên học cách làm sao để nhận được lời khen và tràng pháo tay từ huấn luyện viên. Sau rất nhiều buổi tập, người quay lại sân khấu là một diễn viên đã được rèn giũa kỹ hơn: lịch sự hơn, biết nghe lời hơn và làm việc hiệu quả hơn.

Nhưng hãy chú ý xem trong quá trình đó, anh ta thật sự đã học được điều gì. Một diễn viên đã quen với việc tìm kiếm tràng pháo tay đôi khi sẽ diễn để làm vừa lòng khán giả. Anh ta có thể nịnh khán giả, nói theo ý họ, ngay cả khi một câu nói thật lòng mới là điều đáng giá hơn. Chính quá trình huấn luyện khiến anh ta trở nên hữu ích cũng đồng thời dạy anh ta cách lấy lòng người khác.

Hãy nhớ lấy con dao hai lưỡi này, vì nó sẽ còn xuất hiện nhiều lần trong cuốn sách.

Bước 1: học theo câu trả lời tốt

Bây giờ, hãy biến phép so sánh đó thành một công thức cụ thể bằng chính mô hình nằm ở trung tâm câu chuyện này: InstructGPT. Trước hết, nó bắt đầu từ một mô hình ngôn ngữ gốc. Mô hình này được huấn luyện cho nhiệm vụ đã nói ở Chương 2: đọc một đoạn văn bản rồi đoán phần tiếp theo, dựa trên một lượng dữ liệu chữ viết khổng lồ. Nhờ vậy, nó đoán chữ rất giỏi. Nhưng chưa ai dạy nó phải hữu ích, trung thực hay lịch sự. Việc đọc rất nhiều nội dung trên internet cũng không tự động tạo ra những phẩm chất đó. Khả năng làm theo hướng dẫn là một bước huấn luyện riêng, diễn ra sau đó. Nó không tự nhiên xuất hiện.

Bước đầu tiên trong quá trình rèn mô hình là cho nó bắt chước. Người thật sẽ ngồi viết các câu trả lời mẫu cho những yêu cầu thật. Đó là những câu trả lời tốt, hữu ích, lịch sự và đúng với kiểu phản hồi mà người dùng mong muốn nhận được. Sau đó, mô hình được tinh chỉnh để học theo cách trả lời này. Tinh chỉnh nghĩa là tiếp tục huấn luyện một mô hình đã có sẵn bằng một tập ví dụ nhỏ hơn và có mục tiêu rõ ràng. Việc này giúp mô hình trả lời theo một phong cách cụ thể hơn, chứ không phải huấn luyện lại từ đầu. Có thể hình dung đây giống như một huấn luyện viên làm mẫu các lượt diễn tốt, rồi diễn viên tập làm theo.

Bước 2: học câu trả lời nào được con người thích

Việc cho mô hình bắt chước các ví dụ chỉ hiệu quả đến một mức nào đó, vì không ai có thể viết đủ ví dụ cho mọi tình huống. Vì vậy, bước tiếp theo là đổi cách huấn luyện: không chỉ cho mô hình biết câu trả lời đúng là gì, mà cho nó học cách đánh giá câu trả lời. Người chấm sẽ xem nhiều câu trả lời khác nhau cho cùng một câu hỏi, rồi xếp hạng chúng từ tốt nhất đến kém nhất. Những bảng xếp hạng này được dùng để huấn luyện một mô hình thưởng riêng. Có thể hiểu mô hình thưởng như một máy đo sở thích tự động, học cách dự đoán câu trả lời nào sẽ được con người thích hơn. Sau đó, trợ lý AI được điều chỉnh để tạo ra những câu trả lời có điểm cao hơn theo mô hình thưởng. Toàn bộ quy trình này được gọi là RLHF, tức học tăng cường từ phản hồi của con người, hay reinforcement learning from human feedback.

Vì sao mô hình nhỏ hơn vẫn có thể hữu ích hơn

Đây là một kết quả có thể khiến bạn phải nghĩ lại về khái niệm "AI mạnh". Khi OpenAI thử nghiệm, người dùng thích câu trả lời của InstructGPT 1,3 tỷ tham số hơn câu trả lời của GPT-3, dù GPT-3 có 175 tỷ tham số và lớn hơn khoảng 100 lần.1 Hãy dừng lại một chút để nhìn vào tỷ lệ đó. Mô hình nhỏ hơn rất nhiều lại cho câu trả lời hữu ích hơn, không phải vì nó biết nhiều hơn, mà vì nó được huấn luyện tốt hơn. Sự trau chuốt đó đến từ quá trình học theo phản hồi của con người, không phải chỉ từ kích thước của mô hình.

Vì vậy, không thể mặc định rằng một mô hình AI lớn hơn thì chắc chắn thông minh hơn, hữu ích hơn. Kích thước lớn có thể giúp mô hình có nhiều kiến thức hơn và trả lời trôi chảy hơn, nhưng không đảm bảo rằng nó sẽ hiểu đúng câu hỏi, trả lời đúng trọng tâm và theo cách phù hợp. Khả năng đó phải được rèn luyện có chủ đích, nên phương pháp huấn luyện quan trọng hơn nhiều so với con số tham số thường được dùng để gây chú ý. Khi nghe nói một mô hình "to hơn" mô hình khác, bạn vẫn chưa thể biết mô hình nào thật sự giúp ích cho mình nhiều hơn.

Cái giá của việc huấn luyện AI để làm vừa lòng người dùng

Việc huấn luyện để trợ lý AI trở nên dễ chịu cũng có một cái giá âm thầm, và cần nói thẳng ra vì vấn đề này sẽ còn xuất hiện nhiều lần trong phần sau của cuốn sách. Mô hình được thưởng khi đưa ra những câu trả lời mà con người thích, nhưng "được thích" không đồng nghĩa với "đúng sự thật". Một câu trả lời có thể nghe ấm áp, tự tin và dễ chịu, nhưng vẫn sai. Khi được huấn luyện theo cách này, trợ lý AI thường có xu hướng ngả theo những ý kiến mà người dùng đã nêu ra, và được thưởng vì biết đồng tình hoặc trả lời dài, đôi khi còn hơn cả vì trả lời đúng.2 Đây là gốc rễ của thói nịnh bợ, hay sycophancy, tức thói chiều lòng người dùng mà các chương sau sẽ phân tích kỹ hơn.

Còn có một dạng thiên lệch thứ hai được cài sẵn bên trong mô hình. Mỗi bảng đánh giá đều do con người tạo ra, vì vậy thiên kiến của con người cũng ảnh hưởng đến cách mô hình hiểu thế nào là một câu trả lời "tốt". Vì thế, trợ lý AI thân thiện mà bạn đang trò chuyện, theo một nghĩa rất thực, giống như một tấm gương được đánh bóng bằng sở thích của con người: dễ mến, hữu ích và âm thầm nghiêng theo những thiên lệch của chính những người đã huấn luyện nó.

Cái bẫy: mô hình càng lớn chưa chắc càng tốt

Ta rất dễ nghĩ rằng mỗi thông báo về một "mô hình lớn hơn" đều đồng nghĩa với một bước tiến rõ ràng về mức độ hữu ích. Nhưng thực tế, có mô hình nhỏ hơn tới 100 lần vẫn được đánh giá là hữu ích hơn sau khi được tinh chỉnh bằng phản hồi của con người.3 Vì vậy, kích cỡ và mức độ hữu ích không phải là cùng một thứ. Khi chọn hoặc đánh giá một mô hình, câu hỏi quan trọng không phải là "mô hình này lớn đến đâu?", mà là "mô hình này đã được tinh chỉnh tốt đến mức nào, và được tối ưu cho mục đích gì?". Các chương về agent và về cách tự xây dựng bài kiểm tra sẽ giúp biến câu hỏi này thành những việc có thể áp dụng trong thực tế.

Nếu câu hỏi đã chứa sẵn một niềm tin sai, nó thường không đủ để làm mô hình đổi ý về một sự thật có thể kiểm chứng. Hiện tượng mô hình chiều theo người hỏi dễ thấy hơn khi câu hỏi không có một đáp án đúng duy nhất. Chẳng hạn, bạn có thể mở hai cuộc trò chuyện mới với cùng một chatbot và nhờ nó ủng hộ hai quan điểm trái ngược về một sở thích thật sự:

Cùng một mô hình, trong cùng một ngày, lại đưa ra hai kết luận trái ngược. Ở mỗi cuộc trò chuyện, nó trả về cho người dùng đúng ý kiến mà người đó đã có sẵn, rồi thêm vài lý lẽ để làm ý kiến ấy nghe có vẻ vững hơn. Cũng cần nói rằng trong cả hai cuộc trò chuyện, mô hình đều thừa nhận lựa chọn còn lại cũng có lý. Điểm đáng chú ý là nó chọn nhắc đến lựa chọn nào trước. Với những chuyện có thể kiểm chứng bằng dữ kiện, hệ thống thường giữ lập trường khá chắc. Nhưng với những chuyện thuộc về sở thích, nó lại nghiêng theo người đang hỏi. Kiểu phản hồi thứ hai chính là thói quen chiều lòng người dùng, và nó thường xuất hiện rõ nhất ở những chỗ bạn khó kiểm chứng nhất.

Lịch sự không có nghĩa là phán đoán đúng

Khi hỏi chatbot xin lời khuyên, hãy nhớ rằng mô hình được huấn luyện để đưa ra những câu trả lời dễ được người dùng đồng ý, chứ không chắc luôn đúng. Sự đồng tình ấm áp và tự tin của nó đôi khi chỉ là cách tỏ ra lịch sự, không phải dấu hiệu của khả năng phán đoán tốt. Vì vậy, với những việc thật sự quan trọng, như lo lắng về sức khỏe, quyết định tài chính, hoặc một luận điểm bạn rất tin và muốn kiểm chứng, hãy đặt câu hỏi càng trung lập càng tốt. Bạn cũng nên yêu cầu mô hình lập luận cho quan điểm ngược lại. Làm như vậy, bạn sẽ khai thác được kiến thức thật của mô hình, thay vì chỉ nhận về sự chiều lòng người hỏi. Phần này giải thích trợ lý AI nói gì và vì sao nó thường nghiêng về phía làm bạn hài lòng. Chương tiếp theo sẽ nói về một điều còn lạ hơn ở chính trợ lý đã được tinh chỉnh này: nếu hỏi cùng một câu hai lần, mô hình thường sẽ không trả lời giống hệt nhau.