- token
- đơn vị nhỏ mà mô hình dùng để đọc và tạo văn bản. Một token có thể là cả từ, một phần của từ hoặc dấu câu; vì vậy token không hoàn toàn giống “từ”. (Ch 1)
- bộ từ vựng (vocabulary)
- tập token cố định mà mô hình biết và có thể dùng để tạo câu trả lời. (Ch 1)
- Byte Pair Encoding (BPE)
- cách tạo bộ từ vựng bằng cách ghép dần những cặp ký tự hoặc mảnh chữ thường xuất hiện cùng nhau. (Ch 1)
- mô hình ngôn ngữ (language model)
- hệ thống dự đoán token tiếp theo dựa trên các token đã có. Lặp lại việc này nhiều lần, mô hình tạo thành câu trả lời. (Ch 2)
- mô hình gốc (base model)
- mô hình vừa hoàn tất tiền huấn luyện, chủ yếu giỏi đoán token tiếp theo và chưa được điều chỉnh để hoạt động như một trợ lý. (Ch 3)
- tiền huấn luyện (pretraining)
- giai đoạn đầu, khi mô hình học từ lượng văn bản rất lớn bằng cách liên tục dự đoán token kế tiếp. (Ch 3)
- tinh chỉnh (fine-tuning)
- giai đoạn huấn luyện thêm bằng dữ liệu nhỏ và có mục tiêu hơn, để điều chỉnh cách mô hình trả lời hoặc thực hiện một loại nhiệm vụ. (Ch 3)
- tham số (parameters)
- các con số bên trong mô hình được điều chỉnh trong lúc huấn luyện. Chúng lưu giữ những khuôn mẫu mô hình đã học được. (Ch 3)
- mô hình thưởng (reward model)
- mô hình được dạy từ các lựa chọn của con người để chấm xem câu trả lời nào tốt hơn. Nó hỗ trợ huấn luyện mô hình chính trong RLHF. (Ch 3)
- RLHF (reinforcement learning from human feedback)
- cách huấn luyện để mô hình ưu tiên những câu trả lời mà con người đánh giá cao. Cách này hữu ích, nhưng đôi khi khiến mô hình quá chiều theo người dùng. (Ch 3)
- sampling
- cách chọn token tiếp theo từ nhiều phương án có thể xảy ra, thay vì lúc nào cũng chọn phương án có xác suất cao nhất. Vì vậy, cùng một prompt có thể cho các câu trả lời khác nhau. (Ch 4)
- temperature
- thiết lập điều chỉnh mức ngẫu nhiên khi mô hình chọn token. Temperature thấp cho câu trả lời ổn định hơn; temperature cao cho nhiều lựa chọn lạ hoặc sáng tạo hơn. (Ch 4)
- prompt
- mọi thông tin bạn gửi cho mô hình trong một lượt: chỉ dẫn, câu hỏi, ví dụ và tài liệu kèm theo. (Ch 5)
- few-shot prompting
- đưa vài ví dụ hoàn chỉnh vào prompt trước khi nêu yêu cầu chính, để mô hình nhận ra và làm theo khuôn mẫu đó. Cách này đôi khi được gọi là multi-shot prompting. (Ch 5)
- học trong ngữ cảnh (in-context learning)
- mô hình dùng các ví dụ ngay trong prompt để làm đúng yêu cầu hiện tại. Khi cuộc trò chuyện kết thúc, mô hình không giữ lại những ví dụ đó để “học” cho lần sau. (Ch 5)
- chain-of-thought (chuỗi suy luận)
- cách yêu cầu mô hình đi qua các bước trung gian trước khi đưa ra đáp án, thay vì trả lời ngay. (Ch 6)
- dấu hiệu sớm
- dấu hiệu có thể quan sát hoặc đo lường ngay từ đầu, dùng để phát hiện một tác động ngoài ý muốn trước khi nó trở nên nghiêm trọng. (Ch 6)
- lời giải mẫu
- một bài đã giải sẵn được đưa vào prompt, để mô hình học theo cách triển khai và cấu trúc lập luận của bài đó. (Ch 6)
- cửa sổ ngữ cảnh (context window)
- lượng thông tin, tính bằng token, mà mô hình có thể xem cùng lúc: chỉ dẫn, văn bản bạn gửi và phần lịch sử cuộc trò chuyện liên quan. Khi vượt giới hạn, thông tin cũ có thể không còn được tính đến. (Ch 8)
- kỹ thuật ngữ cảnh (context engineering)
- chủ động chọn thông tin nào cần đưa cho mô hình, gồm chỉ dẫn, ví dụ và lịch sử liên quan, đồng thời bỏ bớt những gì không cần thiết. (Ch 8)
- lạc ở khúc giữa (lost in the middle)
- hiện tượng mô hình thường dùng tốt thông tin ở đầu hoặc cuối văn bản dài, nhưng dễ bỏ sót thông tin nằm ở giữa. (Ch 9)
- context rot (ngữ cảnh rệu rã)
- hiện tượng chất lượng câu trả lời giảm dần khi lượng thông tin đầu vào quá dài, dù chưa vượt giới hạn cửa sổ ngữ cảnh. (Ch 9)
- meta-prompting
- nhờ mô hình giúp viết, sửa hoặc cải thiện prompt. (Ch 10)
- công cụ (tool)
- khả năng giúp mô hình làm việc bên ngoài phần văn bản, chẳng hạn tra web, đọc tệp, tính toán hoặc gửi email. (Ch 11)
- agent (tác nhân)
- hệ thống AI có thể làm việc theo nhiều bước: xem kết quả, dùng công cụ và tự chọn bước tiếp theo cho đến khi hoàn thành nhiệm vụ. (Ch 11)
- hệ đa tác nhân (multi-agent)
- cách tổ chức nhiều AI cùng làm một việc, trong đó các tác nhân có thể được chia những phần việc khác nhau. (Ch 12)
- orchestrator (mô hình điều phối)
- tác nhân hoặc mô hình điều hành trong hệ đa tác nhân: chia việc, giao việc và phối hợp các tác nhân khác. (Ch 12)
- ảo giác (hallucination)
- câu trả lời nghe hợp lý nhưng sai sự thật, hoặc không khớp với tài liệu được cung cấp. Đây là một rủi ro thường gặp của mô hình ngôn ngữ. (Ch 14)
- thói nịnh bợ (sycophancy)
- xu hướng AI đồng tình với ý kiến của bạn để làm bạn hài lòng, kể cả khi điều đó làm câu trả lời kém chính xác. (Ch 15)
- bảng xếp hạng (leaderboard)
- bảng công khai xếp hạng các mô hình theo điểm số. Điểm đó có thể hữu ích để tham khảo, nhưng không đảm bảo mô hình phù hợp với việc của bạn. (Ch 17)
- bài kiểm tự dựng (eval)
- bài kiểm do bạn tự thiết kế để xem mô hình có làm tốt đúng công việc của mình hay không. (Ch 17)
- độ chệch (bias)
- xu hướng lệch có hệ thống trong câu trả lời của mô hình, thường bắt nguồn từ các khuôn mẫu trong dữ liệu huấn luyện. (Ch 18)
- dữ liệu huấn luyện (training data)
- lượng dữ liệu mô hình học từ đó. Dữ liệu này ảnh hưởng đến điểm mạnh, điểm mù và độ chệch của mô hình. (Ch 18)
- buồng vọng âm (echo chamber)
- môi trường nơi bạn chủ yếu gặp lại những quan điểm giống với quan điểm của mình. (Ch 19)
- bong bóng lọc (filter bubble)
- khả năng việc cá nhân hóa nội dung làm bạn dần chỉ thấy một phạm vi quan điểm hẹp hơn. Mức độ ảnh hưởng thực tế của hiện tượng này vẫn còn được tranh luận. (Ch 19)
- hệ gợi ý (recommendation system)
- hệ thống dự đoán nội dung bạn có thể quan tâm rồi xếp hạng để đưa thêm các nội dung tương tự cho bạn. (Ch 19)