- token
- mẩu chữ nhỏ nhất mà mô hình thật sự xử lý, có khi là cả một từ, có khi chỉ là một mảnh của từ hoặc một dấu câu. Đừng nhầm token với "từ". (Ch 1)
- bộ từ vựng (vocabulary)
- danh sách cố định, dựng sẵn từ trước, gồm tất cả các token mà mô hình được phép dùng. (Ch 1)
- Byte Pair Encoding (BPE)
- công thức nuôi lớn bộ từ vựng bằng cách liên tục hàn cặp ký hiệu kề nhau xuất hiện nhiều nhất, lặp đi lặp lại, từ những con chữ ban đầu. (Ch 1)
- mô hình ngôn ngữ (language model)
- hệ thống đọc vào một chuỗi token rồi đoán token tiếp theo, lặp lại nhiều lần để dựng nên câu trả lời. (Ch 2)
- mô hình gốc (base model)
- mô hình đoán-token-kế-tiếp thô vừa ra khỏi tiền huấn luyện, trước khi được nhào nặn thành một trợ lý lịch sự, biết nghe lời. (Ch 3)
- tiền huấn luyện (pretraining)
- chặng huấn luyện đầu tiên, đồ sộ, nơi mô hình học cách đoán token kế tiếp từ một lượng chữ nghĩa khổng lồ. (Ch 3)
- tinh chỉnh (fine-tuning)
- phần huấn luyện thêm, điều chỉnh hành vi của một mô hình đã hoàn thiện bằng một tập ví dụ nhỏ hơn, tập trung hơn. (Ch 3)
- tham số (parameters)
- những con số chỉnh được mà mô hình học trong lúc huấn luyện để ghi lại các khuôn mẫu đã gặp; mô hình lớn hơn có nhiều hơn, nhưng kích cỡ không nói lên tất cả. (Ch 3)
- mô hình thưởng (reward model)
- một quan tòa đóng thế, được huấn luyện bằng những bảng xếp hạng do con người đưa ra, dùng để chấm điểm câu trả lời của mô hình chính trong lúc RLHF. (Ch 3)
- RLHF (reinforcement learning from human feedback)
- bước huấn luyện thưởng cho mô hình vì những câu trả lời người ta ưa thích; bước này làm mô hình vừa đắc lực, vừa dễ sinh tật lấy lòng. (Ch 3)
- sampling
- việc chọn token kế tiếp từ trong những phương án có khả năng cao thay vì luôn lấy cái dễ xảy ra nhất, đó là lý do cùng một prompt có thể cho những câu trả lời khác nhau. (Ch 4)
- temperature
- thiết lập chỉnh độ ngẫu nhiên: temperature thấp bám lấy những phương án an toàn được ưa nhất, temperature cao cho những phương án hiếm hơn một cơ hội thật sự. (Ch 4)
- prompt
- toàn bộ những gì bạn đưa cho mô hình trong một lượt hỏi: lời chỉ dẫn, câu hỏi, ví dụ, thông tin kèm theo. (Ch 5)
- few-shot prompting
- lối nhét vài ví dụ đã hoàn chỉnh của công việc vào ngay trong prompt, trước câu hỏi thật, để mô hình chép lại khuôn mẫu; đôi khi gọi là multi-shot prompting. (Ch 5)
- học trong ngữ cảnh (in-context learning)
- việc mô hình bắt chước khuôn mẫu từ các ví dụ ngay trong prompt cho đúng một câu trả lời, rồi quên sạch khi đoạn chat khép lại; không phải học thật, không có gì bên trong mô hình xê dịch. (Ch 5)
- chain-of-thought (chuỗi suy luận)
- lối bảo mô hình bày ra các bước trung gian thay vì nhảy thẳng tới đáp án; các mô hình đời mới đã tự làm việc này trong nội tại trước khi trả lời. (Ch 6)
- cửa sổ ngữ cảnh (context window)
- khoảng không có kích cỡ cố định, đo bằng token, chứa mọi thứ mô hình được phép nhìn cùng một lúc: chỉ dẫn của bạn, đoạn chữ dán vào, và cả cuộc trò chuyện cho tới lúc này; một khi đầy, phần chữ cũ nhất rơi ra ngoài. (Ch 8)
- kỹ thuật ngữ cảnh (context engineering)
- việc chủ đích chọn chính xác cái gì đi vào cửa sổ ngữ cảnh có hạn (chỉ dẫn, vài ví dụ liên quan, lát cắt lịch sử thật sự đáng kể) và bỏ ra ngoài mọi thứ thừa thãi. (Ch 8)
- lạc ở khúc giữa (lost in the middle)
- khuôn mẫu theo đó mô hình dùng tốt những dữ kiện ở ngay đầu hoặc ngay cuối một đầu vào dài nhưng hay đánh mất những cái bị chôn ở khúc giữa. (Ch 9)
- context rot (ngữ cảnh rệu rã)
- hiện tượng độ tin cậy của mô hình tuột dần khi tổng đầu vào dài thêm ra, ngay cả khi chưa có gì bị đẩy khỏi cửa sổ ngữ cảnh và bản thân tác vụ không hề khó hơn. (Ch 9)
- meta-prompting
- việc nhờ chính mô hình soạn hay mài sắc prompt cho bạn; một vòng lặp nhỏ nuôi cho vòng lặp lớn của việc tinh chỉnh câu trả lời. (Ch 10)
- công cụ (tool)
- một cách để mô hình với ra ngoài chính mình, ví dụ tra web, đọc một tập tin, chạy một phép tính, hay gửi một email; công cụ trao cho một cỗ máy vốn chỉ biết sinh chữ một đôi tay để hành động. (Ch 11)
- agent (tác nhân)
- một mô hình ngôn ngữ biết dùng công cụ và làm việc theo một vòng lặp (ra tay, nhìn kết quả, quyết định bước kế, rồi lặp lại) thay vì đưa ra đúng một câu trả lời rồi dừng. (Ch 11)
- workflow (quy trình định sẵn)
- một hệ trong đó con người đã viết trước thứ tự các bước như một công thức, và mô hình chỉ điền vào những phần cần tới ngôn ngữ; dễ đoán, ngược với agent tự chọn nước đi của mình. (Ch 11)
- hệ đa tác nhân (multi-agent)
- một bố trí trong đó nhiều AI cùng làm việc: một mô hình dẫn dắt chẻ việc thành các phần và giao cho những mô hình trợ thủ, mỗi trợ thủ làm trong ngữ cảnh sạch riêng của mình. (Ch 12)
- orchestrator (mô hình điều phối)
- mô hình dẫn dắt trong một hệ đa tác nhân, đóng vai người đầu bếp trưởng: không tự làm hết mọi việc mà quyết định các phần việc là gì và ai nhận phần nào. (Ch 12)
- ảo giác (hallucination)
- đầu ra nghe trôi chảy, có vẻ hợp lý nhưng sai về mặt dữ kiện, hoặc chệch khỏi nguồn tài liệu mà mô hình được giao; không phải một trục trặc hiếm gặp mà là một kiểu hỏng nằm sẵn trong cách một cỗ máy đoán chữ vận hành. (Ch 14)
- thói nịnh bợ (sycophancy)
- xu hướng của trợ lý AI nắn câu trả lời cho khớp với ý kiến bạn đã nêu ra hoặc ngầm để lộ, ngay cả khi chiều theo ý bạn phải trả giá bằng độ chính xác; một di sản của việc huấn luyện bằng những lượt chấm của con người. (Ch 15)
- bảng xếp hạng (leaderboard)
- một bảng công khai xếp hạng các mô hình bằng một con điểm duy nhất; con số giật tít ấy là trung bình trên vô số công việc của người khác, không phải của bạn. (Ch 17)
- bài kiểm tự dựng (eval)
- một bài kiểm bạn tự thiết kế để xem một mô hình có đủ tốt cho đúng tác vụ của mình hay không; bài của riêng bạn đáng tin hơn một con điểm công khai. (Ch 17)
- độ chệch (bias)
- một độ nghiêng có hệ thống trong đầu ra của mô hình, lần ngược về những khuôn mẫu trong kho chữ mà mô hình được huấn luyện từ đó. (Ch 18)
- dữ liệu huấn luyện (training data)
- kho chữ nghĩa mà một mô hình học từ đó; điểm mạnh, điểm mù, và độ chệch của mô hình đều lần về đây. (Ch 18)
- buồng vọng âm (echo chamber)
- một không gian nơi bạn phần lớn gặp lại chính quan điểm của mình được vọng về; anh em họ gần của bong bóng lọc. (Ch 19)
- bong bóng lọc (filter bubble)
- ý tưởng rằng sự cá nhân hóa có thể lặng lẽ thu hẹp dải quan điểm mà một dòng tin bày ra cho bạn; nghiên cứu về việc nó mạnh tới đâu cho ra kết quả không nhất quán. (Ch 19)
- hệ gợi ý (recommendation system)
- một cỗ máy xếp hạng theo dõi thứ bạn tương tác rồi sắp xếp nội dung để cứ đưa cho bạn thêm nhiều hơn thứ tương tự. (Ch 19)