Mang cách nghĩ sang một vấn đề khác

Một thành phố có con đường sáng nào cũng kẹt. Người ta mở rộng đường từ bốn làn lên sáu làn. Vài tuần đầu, đi lại nhẹ nhàng hẳn. Rồi cảnh kẹt xe trở lại. Không phải vì thi công kém hay quy hoạch sai. Phần đường mới giống như một lời mời: những chuyến đi trước đây không đáng để chịu cảnh chen chúc nay trở nên đáng đi. Xe chở hàng chuyển thêm chuyến sang tuyến vừa thành đường nhanh nhất để băng qua thành phố. Nhà cửa và hàng quán cũng mọc lên dọc đường vì khu vực ấy bỗng dễ đến hơn. Sáu làn xe dần đầy lại, và buổi sáng trở về như cũ. Ai từng đi làm giờ cao điểm ở Hà Nội hay Sài Gòn hẳn quen cảm giác này.

Hiện tượng này đã được đo đếm kỹ. Gilles Duranton và Matthew Turner nghiên cứu các thành phố Mỹ có đường cao tốc liên bang, rồi nhận thấy tổng số ki lô mét xe chạy tăng gần tương ứng với số ki lô mét làn đường được xây thêm. Họ cũng chỉ ra nguồn của lượng đi lại tăng thêm: cư dân sẵn có lái xe nhiều hơn, xe chở hàng tăng lên, và người từ nơi khác chuyển đến. Kết luận rất rõ: chỉ xây thêm đường, hoặc tăng giao thông công cộng, khó có thể tự làm giảm ùn tắc.1

Câu chuyện đáng nhớ không phải vì đường sá. Nó cho thấy một thay đổi có thể khiến con người đổi cách hành xử, rồi chính phản ứng đó làm mất đi lợi ích mà thay đổi ban đầu hứa hẹn. Ở Chương 5, mô hình được xem một câu trả lời hoàn chỉnh để bắt chước phần bề mặt: các mục, thứ tự và cách diễn đạt. Đó là hình dạng của câu trả lời. Chương này chuyển sang một tầng khó thấy hơn: không phải câu trả lời phải trông ra sao, mà cấu trúc của cách nghĩ dẫn đến câu trả lời ấy. Cấu trúc đó sẽ được mang từ một con đường sang hành lang trường học, nơi hoàn toàn không có xe cộ.

Một câu trả lời chuẩn mực nhưng không hỏi học sinh sẽ làm gì

Bài toán giao cho gpt-5.5 rất gần gũi. Một trường trung học định thu điện thoại của toàn bộ học sinh ở cửa lớp mỗi sáng và trả lại vào cuối ngày. Trước khi quy định có hiệu lực, hiệu trưởng muốn xin ý kiến. Mô hình chỉ được nêu tối đa ba ý, mỗi ý gồm một dòng ngắn và một dòng giải thích ngắn. Không có phương pháp, ví dụ hay gợi ý nào đi kèm.

Đây là lời khuyên tốt. Hiệu trưởng có thể dùng ngay, và một trường bỏ qua bất kỳ ý nào trong ba ý ấy có lẽ sẽ gặp rắc rối. Nhưng hãy nhìn xem các ý đó nói về ai. Cả ba đều đứng từ phía nhà trường: lợi ích của quy định, việc cất giữ điện thoại và trách nhiệm khi thất lạc, cùng những trường hợp cần ngoại lệ. Học sinh chỉ là đối tượng của quy trình. Không ý nào hỏi học sinh sẽ làm gì khi quy định bắt đầu.

Đây không phải câu trả lời làm vội. Lượt chạy trên dùng mức suy luận cao nhất của mô hình, tức mức cho phép mô hình suy nghĩ lâu nhất trước khi viết. Điều kiện này có năm lượt chạy, ít hơn hai điều kiện sau, mỗi điều kiện có hai mươi lăm lượt. Cả năm lượt đều xoay quanh việc nhà trường quản lý điện thoại: nêu lợi ích, tìm chỗ cất máy, đặt ngoại lệ. Tiêu chí chấm được cố định trước khi đọc câu trả lời. Mỗi ý phải có ba phần: một nhóm sẽ đổi cách hành xử, một hệ quả đi ngược mục đích của quy định, và một dấu hiệu sớm có thể quan sát được, nghĩa là điều có thể nhìn thấy hoặc đếm được ngay khi hệ quả ấy bắt đầu. Kết quả là 0 trên 5.

Đây là điểm đáng suy nghĩ. Tăng mức suy luận không làm câu trả lời nhìn xa hơn, mà chỉ khiến phần trả lời về quy trình đầy đủ hơn. Mô hình dồn phần suy nghĩ thêm vào đúng câu hỏi đã nhận, chứ không dừng lại để xem đó có phải câu hỏi cần hỏi hay không. Hỏi cách tổ chức thu điện thoại thì mô hình sẽ đưa ra cách thu điện thoại tốt hơn.

Phương pháp, gói trong bốn câu

Phương pháp này chỉ gói trong bốn câu. Với mỗi quy định hoặc thay đổi được đề xuất, trước hết hãy nêu nhóm nào sẽ đổi cách hành xử để đáp lại. Sau đó nêu hệ quả của sự thay đổi ấy, nhất là hệ quả đi ngược mục đích của quy định. Cuối cùng, nêu một dấu hiệu có thể quan sát được cho thấy hệ quả đó đã bắt đầu. Làm như vậy cho từng ý rồi dừng.

Chỉ có vậy. Câu chuyện con đường vừa rồi đã dùng đúng phương pháp này. Nhóm đổi cách hành xử là những người đang sống trong thành phố. Hệ quả đi ngược mục đích là các chuyến đi phát sinh lấp đầy phần đường mới, khiến ùn tắc quay lại. Dấu hiệu sớm là lưu lượng xe tăng vào những khung giờ trước đây chưa từng kẹt.

Từ chuỗi suy luận đến phép loại suy

Ý này không tự nhiên xuất hiện. Lời khuyên quen thuộc là yêu cầu mô hình "nghĩ từng bước", bắt nguồn từ nghiên cứu về chain-of-thought. Năm 2022, các nhà nghiên cứu cho thấy ví dụ có các bước suy luận trung gian giúp mô hình làm tốt hơn ở bài toán số học, thường thức và suy luận ký hiệu.2 Nhưng đừng hiểu điều đó thành mỗi câu trả lời đều phải là một bài độc thoại dài. Điểm quan trọng là đường đi qua vấn đề cũng có giá trị, không chỉ câu trả lời cuối. Chương này nói về cách đưa cho mô hình một con đường như vậy.

Ví dụ trong prompt có thể đổi cách mô hình trả lời mà không hề thay đổi bản thân mô hình. Một nghiên cứu đối chứng năm 2023 tách hai khả năng. Ví dụ có thể giúp mô hình nhận ra tác vụ rồi gọi lại kiến thức sẵn có, hoặc có thể dạy mô hình một ánh xạ mới ngay trong ngữ cảnh.3 Nhìn từ bên ngoài, hai chuyện này rất giống nhau, nên thường đều được gọi là mô hình học từ ví dụ người dùng đưa vào. Với chương này, điều cần nhớ đơn giản hơn: một lời giải mẫu, tức bài đã giải xong và viết rõ lối suy nghĩ, có thể gợi ra một phương pháp mà một yêu cầu đơn lẻ không gợi được.

Công trình sau đó mở rộng ý này sang phép loại suy. Tại ICLR 2024, Yasunaga và cộng sự yêu cầu mô hình tự tạo ví dụ hoặc kiến thức liên quan trước khi giải bài mới. Phương pháp analogical prompting của họ cho kết quả tốt hơn zero-shot chain-of-thought và few-shot chain-of-thought viết tay trên nhiều tác vụ suy luận.4 Nghiên cứu này dùng phương pháp khác với chương đang trình bày, nên không chứng minh trực tiếp cho sự chuyển giao sắp thấy. Tuy vậy, nó ủng hộ ý rộng hơn: mô hình có thể dùng một ví dụ như chỉ dẫn về cách suy luận.

Một phát hiện khác giải thích vì sao phần sau của chương này chỉ khẳng định trong phạm vi hẹp. Nghiên cứu năm 2024, trên 5 dòng mô hình, 9 bộ dữ liệu và 56 ngôn ngữ, cho thấy tác dụng của ví dụ thay đổi mạnh theo mô hình, tác vụ và ngôn ngữ. Các mô hình giỏi làm theo chỉ dẫn thường ít nhạy với chất lượng ví dụ. Ở vài tác vụ, một prompt viết cẩn thận còn làm mất lợi ích của ví dụ.5 Vì vậy, ví dụ là thứ cần thử, không phải quy luật có thể tin sẵn. Kết quả trên một mô hình và một ngôn ngữ chỉ có giá trị trong phạm vi đó. Bởi thế, các con số dưới đây đến từ lượt chạy thật bằng tiếng Việt, không mượn từ kết quả công bố bằng tiếng Anh.

Hai cách đưa cùng một phương pháp

Phép thử đưa cùng một phương pháp vào mô hình theo hai cách. Điểm khác duy nhất là phương pháp được đưa vào như thế nào.

Cách thứ nhất là nói thẳng bằng lời. Phần yêu cầu giống hệt phần vừa đọc. Điểm thêm duy nhất là phương pháp được viết rõ ở cuối.

Cách thứ hai dùng một bài đã giải xong. Phần yêu cầu và phần phương pháp vẫn giống lần trước, đến từng dấu câu. Phía trước hai phần đó là câu chuyện con đường mở rộng, được viết thành lời giải mẫu gồm ba nhóm và dấu hiệu sớm của từng nhóm. Một dòng chỉ dẫn đi kèm: hãy dùng lời giải mẫu này để học cách suy nghĩ, không phải để học về chủ đề đường sá.

Cả hai cách đều hiệu quả. Mỗi cách có hai mươi lăm lượt chạy, chấm theo cùng tiêu chí đã cố định từ trước, và đều đạt 25 trên 25. Không có khác biệt về cấu trúc để báo cáo. Bịa ra một khoảng cách không có thật sẽ trái với tinh thần của cuốn sách này. Bài học đơn giản là: khi có thể nói thẳng phương pháp, hãy nói thẳng. Cách đó ngắn hơn một ví dụ, dễ lưu và dùng lại hơn. Trong phép thử này, nó cũng truyền được đúng cấu trúc với độ chắc chắn không kém.

Cái đã đổi và cái giữ nguyên

Chủ đề đã đổi hẳn, nhưng quan hệ giữa ba phần vẫn không đổi.

Điều mà lời giải mẫu truyền sang thường xuyên hơn nhiều

Hai cách vẫn khác nhau ở một điểm. Điểm này không phải thắng thua về cấu trúc, nhưng lại đáng chú ý hơn.

Hãy đọc lại ý thứ ba của lượt chạy có lời giải mẫu. Việc nhắn tin và chơi game chuyển sang đồng hồ thông minh, laptop hoặc máy tính bảng. Đây không phải điện thoại phụ giấu khỏi chỗ thu máy, mà là một loại thiết bị khác. Tiêu chí này cũng được đặt ra trước khi chạy: câu trả lời có nêu một thiết bị hoặc kênh khác để học sinh tiếp tục làm điều đang bị cấm hay không? Điện thoại mồi không được tính, vì đó chỉ là lách việc thu máy, chưa phải chuyển hành vi sang một nơi khác. Trong 25 lượt xem lời giải mẫu về con đường, 17 lượt nêu được một kênh khác. Trong 25 lượt chỉ nhận phương pháp bằng lời, con số là 3.

Điều này khiến con số trên đáng chú ý. Hãy đọc lại lời giải mẫu về con đường trong prompt. Xe cộ có đổi chỗ: doanh nghiệp vận tải và giao hàng chuyển thêm chuyến hàng sang tuyến vừa mở rộng vì đây là đường nhanh nhất để đi xuyên thành phố. Nhưng xe tải vẫn là xe tải, và kênh vẫn là đường. Lời giải mẫu không hề có ví dụ về một nhóm người tiếp tục làm cùng một việc qua một loại kênh khác. Trong khi đó, đó lại chính là điều câu trả lời về trường học dự đoán. Ba ý của lời giải mẫu chỉ nói về chuyến đi phát sinh của cư dân sẵn có, hàng hóa chiếm phần đường mới và người dân cùng cửa hàng xuất hiện dọc tuyến. Không có đáp án nào về việc đổi sang một loại kênh khác để mô hình chép lại.

Vì vậy, mô hình không chỉ chép lời giải mẫu. Mô hình đã mang một cấu trúc trừu tượng sang vấn đề không có lấy một con đường: khi một nhu cầu bị chặn ở chỗ này, nó có thể xuất hiện lại qua kênh khác.

Con số này rất dễ bị thổi phồng, nên cần nói đúng phạm vi của nó: một mô hình, một bài toán, một cặp prompt và hai mươi lăm lượt cho mỗi bên. Trong cặp prompt này, lời giải mẫu truyền được một ý cụ thể mà phương pháp viết bằng lời chỉ truyền được 3 lần trong 25. Kết quả không chứng minh rằng ví dụ luôn hơn chỉ dẫn, và dữ liệu ở đây không đủ để nói như vậy. Ở tiêu chí cấu trúc, hai cách vẫn ngang nhau: 25 trên 25 và 25 trên 25.

Hãy lưu phương pháp, đừng lưu câu trả lời

Khi một câu trả lời làm bạn nể, phản xạ đầu tiên thường là lưu câu trả lời đó. Hãy lưu phương pháp thay vì chỉ lưu đáp án. Bốn hoặc năm dòng thường là đủ: câu hỏi mà phương pháp đặt ra, các phần bắt buộc phải nêu, và một trường hợp đã giải mà bạn đã kiểm lại. Cất ở nơi dễ tìm. Khi gặp vấn đề mới, dán nó lên trước đề bài và nhắc mô hình rằng đây là chỉ dẫn về cách nghĩ, không phải về chủ đề.

Cần tự lưu phương pháp vì mô hình không tự giữ nó. Phương pháp không nằm lại bên trong mô hình. Nó chỉ hiện diện trong prompt, và chỉ tồn tại khi prompt còn ở đó. Sang một đoạn chat mới không mang theo phương pháp, mô hình sẽ tự chọn cách nghĩ mà câu hỏi gợi ra, đúng như điểm xuất phát của chương này.

Cũng cần giữ lời cảnh báo cũ: một chuỗi lập luận trôi chảy vẫn có thể chứa một lỗi khó nhận ra.6 Dù phương pháp được chuyển sang rất đúng cấu trúc, nó vẫn có thể không phù hợp với tình huống thật. Hãy kiểm lại các giả định, kiểm các dấu hiệu sớm mô hình nêu ra và kiểm mọi bước mà nếu sai sẽ gây tốn kém. Một phương pháp có thể chuyển sang là đòn bẩy, không phải bằng chứng.

Vẫn còn một khoảng trống. Trong chương này, mọi chỉ dẫn đều được đưa vào trước khi mô hình viết chữ đầu tiên. Sau đó chỉ còn cách chờ đến khi câu trả lời hoàn chỉnh xuất hiện mới biết mô hình đã hiểu phương pháp ra sao. Chương tiếp theo giải quyết khoảng trống ấy: mô hình sẽ hỏi lại và trình bày kế hoạch trước khi bắt tay vào làm.