Không có mô hình tốt nhất, chỉ có mô hình tốt nhất cho bạnMáy nào giỏi nhất? Hỏi vậy là sai rồiThere is no best model, only the best model for you

Phát triển dẫn dắt bởi đánh giá — viết đề thi trước khi viết bàiRa đề trước, làm bài sauEvaluation-driven development — write the test before the code

Trước khi đổ thời gian, tiền bạc và nhân lực vào một ứng dụng, Huyen khuyên hãy hiểu trước xem ứng dụng ấy sẽ được đánh giá ra sao. Bà đặt tên cho lối làm này theo test-driven development: trong kỹ thuật AI, nó có nghĩa là định nghĩa tiêu chí đánh giá trước khi xây. Bà kể về một kỹ sư học máy ở một hãng xe cũ — mô hình định giá xe chạy được một năm, người dùng có vẻ thích, nhưng anh không hề biết dự đoán của nó có chính xác hay không.1

Trước khi bỏ công làm, hãy nghĩ xem mình sẽ biết nó đúng bằng cách nào. Tác giả kể chuyện một kỹ sư làm máy đoán giá xe cũ; một năm sau khi đưa vào dùng, khách có vẻ thích, nhưng anh vẫn không biết máy đoán đúng hay sai. Nhớ nhé: nếu chưa biết cách chấm thì đừng vội xây.

Before pouring time, money and people into an application, Huyen advises understanding first how it will be evaluated. She names the approach after test-driven development: in AI engineering it means defining evaluation criteria before building. She tells of an ML engineer at a used-car dealership whose price-prediction model had been live for a year — users seemed to like it, but he had no idea whether its predictions were accurate.1

Năng lực chuyên ngành — và cái bẫy của trắc nghiệmMáy có biết nghề không — và bẫy của câu hỏi bốn đáp ánDomain-specific capability — and the multiple-choice trap

Năng lực chuyên ngành bị chặn cứng bởi cấu hình và dữ liệu huấn luyện: mô hình chưa từng thấy tiếng Latinh thì sẽ không hiểu tiếng Latinh. Phần lớn benchmark công khai đo nó bằng trắc nghiệm — vào tháng 4 năm 2024, 75% số tác vụ trong lm-evaluation-harness của Eleuther là câu hỏi nhiều lựa chọn, trong đó có MMLU, AGIEval và ARC-C.145 Trắc nghiệm phổ biến vì dễ tạo, dễ chấm và có mốc ngẫu nhiên rõ ràng: bốn đáp án, một đúng, thì mốc đoán mò là 25%.

Máy chỉ biết thứ nó từng được đọc: chưa học tiếng Latinh thì không hiểu tiếng Latinh. Người ta hay chấm bằng câu hỏi bốn đáp án vì dễ chấm — tháng 4 năm 2024, ba phần tư bài thi trong bộ đề phổ biến nhất là kiểu này. Nhưng chọn được đáp án đúng khác với tự viết ra câu trả lời hay. Nhớ nhé: khoanh đúng không có nghĩa là viết hay.

Domain capability is hard-capped by configuration and training data: a model that never saw Latin will not understand Latin. Most public benchmarks measure it with multiple choice — in April 2024, 75% of the tasks in Eleuther's lm-evaluation-harness were multiple-choice questions, including MMLU, AGIEval and ARC-C.145 They are popular because they are easy to create, verify and compare against a random baseline: four options with one correct answer gives a 25% guessing floor.

Nhất quán sự kiện — cục bộ hay toàn cụcMáy có bịa khôngFactual consistency — local or global

Huyen tách tính nhất quán sự kiện làm hai: cục bộ — đầu ra được đối chiếu với một ngữ cảnh cho sẵn, và toàn cục — đầu ra được đối chiếu với tri thức mở. Nếu ngữ cảnh nói trời màu tím, thì câu “trời màu tím” là nhất quán cục bộ, dù nó sai về mặt tri thức chung. Nhất quán cục bộ là thước đo của tóm tắt, chatbot hỗ trợ khách hàng và RAG; nhất quán toàn cục là thước đo của chatbot tổng quát và kiểm chứng tin tức.1

Có hai kiểu “nói đúng”. Kiểu một: đúng với tài liệu vừa đưa cho máy đọc. Nếu tài liệu bảo bầu trời màu tím, máy nói màu tím là đúng theo kiểu này. Kiểu hai: đúng với kiến thức chung của thế giới. Nhớ nhé: trước khi bắt máy nói đúng, phải nói rõ “đúng theo cái gì”.

Huyen splits factual consistency in two: local — the output is checked against a given context, and global — the output is checked against open knowledge. If the context says the sky is purple, then “the sky is purple” is locally consistent even though it is globally false. Local consistency is the metric for summarisation, support chatbots and RAG; global consistency is the metric for general chatbots and fact-checking.1

Bên cạnh tính nhất quán sự kiện, Huyen xếp mọi dạng độc hại và thiên kiến vào một ô chung gọi là an toàn: ngôn từ không phù hợp, hướng dẫn gây hại, phát ngôn thù ghét, bạo lực, khuôn mẫu giới, và thiên kiến chính trị hay tôn giáo. Bà nhận xét rằng nhiều mô hình phát hiện độc hại trong văn bản do người viết vẫn dùng được cho văn bản do máy viết, và chúng thường nhỏ, nhanh, rẻ hơn hẳn giám khảo AI đa dụng. Benchmark thường dùng gồm RealToxicityPrompts — một trăm nghìn prompt xuất hiện tự nhiên, có xu hướng dụ mô hình sinh ra đầu ra độc hại — và BOLD.111

Nghe lời, và cái giá của mỗi câu trả lờiNghe lời, rẻ và nhanhFollowing instructions, and the price of each answer

Nếu mô hình kém tuân lệnh thì prompt hay đến mấy cũng vô ích. Huyen phân biệt rõ: mô hình hiểu được cảm xúc của một dòng tweet nhưng lại trả về HAPPY và ANGRY thay vì NEGATIVE / POSITIVE / NEUTRAL — đó là năng lực chuyên ngành đủ nhưng năng lực tuân lệnh kém. IFEval của Google chọn 25 loại chỉ dẫn có thể kiểm tra tự động bằng chương trình — chứa từ khóa, giới hạn độ dài, số gạch đầu dòng, định dạng JSON — và chấm bằng tỷ lệ chỉ dẫn được tuân thủ.112

Nếu máy không nghe lời thì dặn hay cỡ nào cũng vô ích. Có máy hiểu đúng câu chuyện nhưng lại trả lời sai kiểu mình dặn — như bảo chọn một trong ba chữ mà nó lại bịa ra chữ thứ tư. Người ta nghĩ ra những bài thi chỉ gồm các mệnh lệnh mà máy tính tự kiểm tra được, ví dụ “trả lời đúng ba đoạn” hay “phải có chữ này”. Nhớ nhé: giỏi mà không nghe lời thì vẫn hỏng việc.

If a model is bad at following instructions, it does not matter how good your prompt is. Huyen draws the line clearly: a model that understands a tweet's sentiment but returns HAPPY and ANGRY instead of NEGATIVE / POSITIVE / NEUTRAL has the domain capability but poor instruction-following. Google's IFEval picks 25 instruction types that a program can verify automatically — keyword inclusion, length constraints, number of bullet points, JSON format — and scores the fraction of instructions followed correctly.112

Một dạng chỉ dẫn rất phổ biến ngoài đời là nhập vai — yêu cầu mô hình đóng một nhân vật hay một nhân cách, hoặc để giải trí, hoặc như một mẹo prompt. Huyen dẫn phân tích một triệu cuộc hội thoại từ demo Vicuna và Chatbot Arena của LMSYS (Zheng và cộng sự, 2023), trong đó nhập vai là ca sử dụng phổ biến thứ tám. Bà khuyên nếu ứng dụng của bạn có nhập vai thì phải kiểm tra mô hình có giữ được vai không, trên cả hai mặt phong cách lẫn kiến thức: nếu mô hình đóng vai Thành Long thì lời nó nói phải mang phong cách Thành Long và dựa trên hiểu biết của Thành Long.114

“Mã nguồn mở” với mô hình nghĩa là gìMáy “mở” là mở tới đâuWhat “open source” means for a model

Huyen giải thích rằng thuật ngữ này đã thành điểm tranh cãi. Có người cho rằng vì năng lực của mô hình phần lớn là hàm của dữ liệu huấn luyện, mô hình chỉ đáng gọi là mở khi dữ liệu huấn luyện cũng công khai. Để phân biệt, người ta dùng open weight cho mô hình chỉ mở trọng số, và open model cho mô hình mở cả dữ liệu. Bà lưu ý rằng tại thời điểm viết sách, tuyệt đại đa số mô hình mở chỉ là mở trọng số — và bản thân bà, cho gọn, vẫn dùng “mã nguồn mở” cho mọi mô hình có trọng số công khai.1

“Mở” có hai mức. Mức một: cho tải máy về dùng. Mức hai: cho xem luôn cả đống sách mà máy đã học. Hầu hết chỉ mở mức một. Nhớ nhé: mở không có nghĩa là muốn làm gì cũng được — còn phải đọc giấy phép.

Huyen explains that the term has become contentious. Some argue that because a model's performance is largely a function of its training data, a model is only open if the data is public too. To mark the difference, open weight is used for models without open data, and open model for those with it. She notes that as of writing, the vast majority of open models are open weight only — and that for simplicity she herself uses “open source” for any model whose weights are public.1

Dữ liệu của bạn đi đâu, dữ liệu của mô hình từ đâuDữ liệu chạy đi đâuWhere your data goes, where the model's data came from

Với công ty có chính sách bảo mật nghiêm, API do bên ngoài vận hành là chuyện không bàn tới. Huyen dẫn sự cố sớm và nổi tiếng nhất: nhân viên Samsung dán thông tin nội bộ vào ChatGPT và vô tình làm lộ bí mật công ty — nghiêm trọng đến mức Samsung cấm ChatGPT vào tháng 5 năm 2023. Ở chiều ngược lại, nguồn gốc dữ liệu huấn luyện của mô hình cũng là rủi ro: nếu bạn dùng một mô hình mở vi phạm bản quyền, bên bị xâm phạm nhiều khả năng sẽ kiện bạn chứ không kiện người làm mô hình.1

Nếu công ty có bí mật, đừng gửi bí mật ấy ra ngoài. Có hãng lớn từng phải cấm nhân viên dùng trợ lý AI vì có người lỡ dán tài liệu mật vào đó. Và ngược lại, cũng phải hỏi: cái máy này học từ sách của ai, có xin phép chưa. Nhớ nhé: dữ liệu đi ra và dữ liệu đi vào, cả hai đều phải hỏi.

For companies with strict privacy policies, externally hosted APIs are out of the question. Huyen cites the best-known early incident: Samsung employees pasted proprietary information into ChatGPT and accidentally leaked company secrets — serious enough that Samsung banned ChatGPT in May 2023. In the other direction, a model's data lineage is a risk too: if you use an open model that infringes copyright, the infringed party is more likely to come after you than after the model's developers.1

API đắt, nhưng kỹ thuật còn đắt hơnThuê thì tốn tiền, tự nuôi thì tốn ngườiAPIs are expensive, but engineering can be more so

API tính tiền theo mức dùng, nên tới một quy mô nào đó công ty sẽ nghĩ tới chuyện tự vận hành. Nhưng Huyen viết thẳng: tự vận hành đòi hỏi thời gian, nhân tài và công sức kỹ thuật không hề nhỏ — bạn phải tối ưu mô hình, mở rộng và duy trì dịch vụ suy luận, dựng rào chắn quanh mô hình. “API thì đắt, nhưng kỹ thuật có thể còn đắt hơn.” Đổi lại, dùng API của người khác nghĩa là bạn phụ thuộc vào cam kết mức dịch vụ của họ.1

Thuê máy của người khác thì trả tiền theo lượt dùng — dùng nhiều thì tốn. Tự nuôi máy thì khỏi trả lượt, nhưng phải thuê người giỏi để chăm nó, và người giỏi còn đắt hơn. Nhớ nhé: không có lựa chọn nào miễn phí, chỉ có lựa chọn trả bằng tiền hay trả bằng công.

APIs charge per usage, so at a certain scale a company starts thinking about hosting its own models. But Huyen is blunt: self-hosting takes nontrivial time, talent and engineering effort — you have to optimise the model, scale and maintain the inference service, and build guardrails around it. “APIs are expensive, but engineering can be even more so.” In exchange, using someone else's API means depending on their SLA.1

Bảy trục để quyết xây hay muaBảy câu hỏi trước khi quyếtSeven axes for build versus buy

Huyen gom cả quyết định vào bảy trục: quyền riêng tư dữ liệu, nguồn gốc dữ liệu, hiệu năng, chức năng, chi phí, kiểm soát, và triển khai trên thiết bị. Về hiệu năng, bà thừa nhận khoảng cách giữa mô hình mở và mô hình độc quyền đang thu hẹp trên MMLU, nhưng lập luận rằng động cơ kinh tế không ủng hộ việc san bằng: nếu bạn có mô hình mạnh nhất, bạn sẽ mở nó cho người khác kiếm tiền, hay tự kiếm tiền từ nó? Vì thế bà dự đoán mô hình mở mạnh nhất sẽ còn đi sau mô hình độc quyền mạnh nhất trong tương lai gần.1

Muốn quyết tự nuôi hay đi thuê, hãy hỏi bảy điều: dữ liệu có bí mật không, máy học từ đâu, mạnh yếu ra sao, có đủ chức năng không, tốn bao nhiêu, mình kiểm soát được bao nhiêu, và có cần chạy ngay trên điện thoại không. Nhớ nhé: không có đáp án chung, chỉ có đáp án của đội mình.

Huyen folds the whole decision into seven axes: data privacy, data lineage, performance, functionality, cost, control, and on-device deployment. On performance she concedes the gap between open and proprietary models is closing on MMLU, but argues the incentives do not favour parity: if you had the strongest model, would you open it for others to capitalise on, or capitalise on it yourself? She therefore expects the strongest open model to lag the strongest proprietary one for the foreseeable future.1

Vì sao dừng ở sáu benchmark, mà không phải bảy?Ai quyết bảng xếp hạng gồm những bài nào?Why stop at six benchmarks, and not seven?

Huyen so hai bảng xếp hạng cùng thời: cuối năm 2023, Hugging Face lấy trung bình sáu benchmark — ARC-C, MMLU, HellaSwag, TruthfulQA, WinoGrande, GSM-8K — trong khi HELM của Stanford dùng mười benchmark, mà chỉ hai trong số đó (MMLU và GSM-8K) trùng với Hugging Face. Bà đặt loạt câu hỏi không nhằm chê ai: vì sao HELM Lite có luật và y nhưng không có khoa học tổng quát? Vì sao có hai bài toán nhưng không có bài lập trình? Vì sao cả hai đều không có tóm tắt, dùng công cụ, phát hiện độc hại?11516

Hai bảng xếp hạng nổi tiếng cùng thời chấm bằng hai bộ đề khác hẳn nhau — chỉ trùng nhau đúng hai bài. Vậy ai quyết đề nào được vào, và vì sao dừng ở sáu bài chứ không phải bảy? Nhớ nhé: bảng xếp hạng nào cũng là lựa chọn của một nhóm người, không phải chân lý.

Huyen compares two contemporaneous leaderboards: in late 2023 Hugging Face averaged six benchmarks — ARC-C, MMLU, HellaSwag, TruthfulQA, WinoGrande, GSM-8K — while Stanford's HELM used ten, only two of which (MMLU and GSM-8K) overlapped. Her questions are not meant as criticism: why does HELM Lite include legal and medical but not general science? Why two maths tests and no coding? Why does neither test summarisation, tool use or toxicity detection?11516

Nhiễm dữ liệu — học tủ mà không cố ýĐề thi bị lộData contamination — cheating without meaning to

Nhiễm dữ liệu xảy ra khi mô hình được huấn luyện trên chính dữ liệu dùng để chấm nó; khi đó điểm cao có thể chỉ phản ánh trí nhớ. Huyen dẫn một minh chứng châm biếm đúng chỗ: bài báo năm 2023 của Rylan Schaeffer, “Pretraining on the Test Set Is All You Need”, trong đó một mô hình chỉ một triệu tham số, huấn luyện riêng trên dữ liệu của vài benchmark, đạt điểm gần như tuyệt đối và vượt các mô hình lớn hơn nhiều trên tất cả những benchmark ấy.117

Nếu máy đã đọc trước đề thi thì điểm cao chẳng chứng minh điều gì — nó chỉ thuộc bài. Có người đã làm hẳn một thí nghiệm trêu ngươi: lấy một máy rất bé, cho học đúng đề thi, thế là nó vượt cả những máy khổng lồ. Nhớ nhé: điểm cao mà đề đã lộ thì chỉ là học tủ.

Contamination happens when a model is trained on the very data used to score it; a high score may then reflect nothing but memorisation. Huyen cites a nicely pointed demonstration: Rylan Schaeffer's 2023 satirical paper “Pretraining on the Test Set Is All You Need”, in which a one-million-parameter model trained exclusively on several benchmarks' data achieved near-perfect scores and beat much larger models on all of them.117

Chấm từng bộ phận, chấm từng lượt, và chấm cả nhiệm vụChấm từng khúc, không chỉ chấm cuốiScore every component, every turn, and the whole task

Bước đầu của việc dựng quy trình là chấm cả đầu ra cuối lẫn đầu ra trung gian của từng bộ phận. Huyen lấy ví dụ một ứng dụng rút tên công ty hiện tại từ hồ sơ PDF, chạy hai bước: trích văn bản từ PDF, rồi rút tên công ty từ văn bản ấy. Nếu kết quả sai mà không chấm riêng từng bước, bạn không biết hỏng ở đâu — bước một đo bằng độ tương đồng với văn bản chuẩn, bước hai đo bằng độ chính xác khi đã cho sẵn văn bản đúng.1

Một hệ thống thường gồm nhiều khúc nối nhau. Nếu chỉ chấm khúc cuối, sai rồi cũng không biết sai ở khúc nào. Ví dụ: đọc chữ từ file PDF là một khúc, tìm tên công ty trong chữ ấy là khúc khác. Nhớ nhé: chấm từng khúc thì mới biết chỗ nào hỏng.

The first step in building the pipeline is scoring both the end-to-end output and each component's intermediate output. Huyen's example is an application that extracts a person's current employer from a resume PDF in two steps: extract text from the PDF, then extract the employer from that text. If the result is wrong and you have not scored each step, you do not know where it broke — step one by similarity with the ground-truth text, step two by accuracy given correctly extracted text.1

Đúng chưa chắc đã tốt — và bao nhiêu mẫu thì đủĐúng chưa chắc là hayCorrect is not the same as good — and how much data is enough

Huyen viết rằng phần khó nhất thường không phải là phán một đầu ra tốt hay không, mà là định nghĩa thế nào là tốt. Bà dẫn bài tổng kết một năm triển khai AI sinh của LinkedIn: rào cản đầu tiên chính là viết hướng dẫn đánh giá. Với ứng dụng đánh giá mức phù hợp công việc của họ, câu trả lời “Bạn hoàn toàn không hợp với vị trí này” có thể đúng nhưng vô ích — một câu trả lời tốt phải chỉ ra khoảng cách giữa yêu cầu công việc và hồ sơ ứng viên, cùng cách thu hẹp khoảng cách ấy.1

Khó nhất không phải là biết câu trả lời đúng hay sai, mà là định nghĩa thế nào là hay. Câu “bạn không hợp đâu” có thể rất đúng mà vẫn rất vô dụng — câu hay phải nói rõ thiếu chỗ nào và nên làm gì. Nhớ nhé: viết rõ tiêu chí trước, rồi hãy chấm.

Huyen writes that the hardest part is usually not judging whether an output is good, but defining what good means. She cites LinkedIn's retrospective on a year of deploying generative AI: the first hurdle was writing the evaluation guideline. For their Job Assessment feature, “You are a terrible fit” might be correct but unhelpful — a good response explains the gap between the job's requirements and the candidate's background, and what they can do to close it.1