AI Engineering · Chip Huyen · Chương 1AI Engineering · Chip Huyen · Chương 1AI Engineering · Chip Huyen · Chapter 1
Chương 1 · Nhập mônChương 1 · Bắt đầu từ đâyChapter 1 · Introduction

Khi mô hình trở thành thứ mua đượcMáy thông minh giờ có sẵn để dùngWhen the model becomes something you buy

Nếu chỉ được chọn một từ để mô tả AI sau năm 2020, Chip Huyen chọn từ quy mô.1 Việc phóng to mô hình sinh ra hai hệ quả ngược chiều nhau mà khi gặp nhau thì tạo ra một nghề mới: mô hình mạnh lên nên nhu cầu ứng dụng AI tăng vọt, đồng thời chi phí huấn luyện lớn đến mức chỉ vài tổ chức kham nổi — nên phần còn lại của thế giới tiếp cận mô hình như một dịch vụ. Cầu tăng, rào cản giảm. Khoảng giữa ấy chính là AI engineering.

Ngày xưa muốn máy làm được việc gì, bạn phải tự dạy nó từ đầu — tốn rất nhiều tiền và thời gian. Bây giờ đã có vài nơi thật lớn dạy sẵn những cỗ máy rất giỏi, rồi cho mọi người thuê dùng qua mạng. Nhớ nhé: việc của bạn không còn là dạy máy từ đầu, mà là biết nhờ máy đúng cách và biết kiểm tra xem nó làm đúng chưa.

If Chip Huyen could use one word to describe AI post-2020, it would be scale.1 Scaling up produced two consequences that, taken together, created a new discipline: models became powerful enough to make far more applications possible, while training them became so expensive that only a handful of organisations could afford to — so everyone else reaches models as a service. Demand rose, the barrier fell. The space in between is AI engineering.

∴
Luận đề của chương Ý chính của bài The chapter's thesis

Huyen định nghĩa AI engineering là quá trình xây ứng dụng bên trên những mô hình nền tảng đã có sẵn; nghề này khác kỹ thuật học máy truyền thống ở chỗ nó ít nói về phát triển mô hình và nói nhiều hơn về thích ứng và đánh giá mô hình.1

Nghề mới này không phải là dạy máy, mà là biết chọn máy, biết sai bảo máy, và biết kiểm tra máy. Nhớ nhé: phần khó nhất là kiểm tra.

Huyen defines AI engineering as the process of building applications on top of readily available foundation models; it differs from traditional ML engineering in being less about model development and more about model adaptation and evaluation.1

Mạch tiến hóaChuyện bắt đầu từ đâuThe rise of AI engineering

Từ mô hình ngôn ngữ tới một nghề mớiMáy học nói, rồi học nhìnFrom language models to a new discipline

Huyen dựng lại một chuỗi nhân quả dài nhiều thập kỷ, bắt đầu từ những mô hình ngôn ngữ đầu tiên thập niên 1950.1 Ba bước ngoặt nối tiếp nhau: ngôn ngữ hóa ra học được bằng cách tự sinh nhãn; mô hình ngôn ngữ mở rộng sang nhiều loại dữ liệu để thành mô hình nền tảng; và khi mô hình nền tảng trở nên sẵn có thì việc xây ứng dụng tách ra thành một nghề riêng.

Ngày xưa người ta phải ngồi dán nhãn cho từng bức ảnh, từng câu chữ thì máy mới học được. Rồi ai đó nhận ra: với chữ viết thì không cần dán nhãn — che một từ đi rồi bảo máy đoán, thế là máy tự học. Nhờ vậy máy đọc được cả internet. Nhớ nhé: chỉ cần bỏ được khâu dán nhãn là máy học được nhiều gấp triệu lần.

Huyen retraces a causal chain running back to the first language models of the 1950s.1 Three turning points follow one another: language turned out to be learnable without labels; language models were extended to other data modalities and became foundation models; and once foundation models were readily available, building applications on them split off into a discipline of its own.

Một mô hình ngôn ngữ mã hóa thông tin thống kê về ngôn ngữ: cho một ngữ cảnh, nó cho biết từ nào có khả năng xuất hiện tiếp theo.1

Mô hình ngôn ngữ giống một người đoán từ rất giỏi: nghe nửa câu là đoán được nửa còn lại.

A language model encodes statistical information about language: given a context, it tells you how likely a word is to come next.1

Huyen lưu ý rằng bản chất thống kê của ngôn ngữ không phải phát hiện mới. Claude Shannon đã dùng thống kê để giải mã thông điệp trong Thế chiến thứ hai, và công trình của ông về cách mô hình hóa tiếng Anh được công bố năm 1951 trong bài “Prediction and Entropy of Printed English” — nhiều khái niệm trong đó, kể cả entropy, vẫn còn được dùng để mô hình hóa ngôn ngữ đến hôm nay.1

TokenToken Đơn vị cơ bản mô hình làm việc: một ký tự, một từ, hoặc một phần từ Mẩu chữ nhỏ mà máy nhìn thấy The basic unit a model works with: a character, a word, or part of a word
Tự giám sátSelf-supervision Nhãn được suy ra từ chính dữ liệu đầu vào, không cần người gán Máy tự ra đề rồi tự chấm Labels inferred from the input data itself, with no human annotation
Mô hình nền tảngFoundation model Mô hình quy mô lớn, đa phương thức, làm được nhiều việc và xây tiếp lên được Cỗ máy to, làm được nhiều việc, ai cũng xây lên trên được A large, multimodal model that does many tasks and can be built upon
  1. 01
    Token & tokenization

    Token — đơn vị nhỏ nhất mà mô hình thật sự nhìn thấyToken — mẩu chữ mà máy nhìnToken — the smallest unit a model actually sees

    Mô hình không đọc từ, nó đọc token. GPT-4 tách câu “I can’t wait to build AI applications” thành chín token, trong đó “can’t” bị tách làm hai: can và ’t.1 Với GPT-4, một token trung bình dài khoảng ba phần tư một từ, nên 100 token xấp xỉ 75 từ. Tập hợp mọi token mà mô hình xử lý được gọi là từ vựng: Mixtral 8x7B có 32.000 token, GPT-4 có 100.256.1

    Máy không đọc cả từ một lúc, nó đọc từng mẩu nhỏ. Giống như bạn đánh vần “nấu ăn” thành “nấu” và “ăn” vậy. Nhờ chia nhỏ mà gặp từ lạ chưa từng thấy, máy vẫn ghép được ý nghĩa từ các mẩu quen. Nhớ nhé: máy hiểu thế giới qua những mẩu chữ, không phải qua từ.

    A model does not read words, it reads tokens. GPT-4 breaks “I can’t wait to build AI applications” into nine tokens, splitting “can’t” into can and ’t.1 For GPT-4 an average token is roughly three-quarters of a word, so 100 tokens is about 75 words. The set of all tokens a model can work with is its vocabulary: Mixtral 8x7B has 32,000, GPT-4 has 100,256.1

    Thấy ở đâuWhere you see it Mọi bảng giá API đều tính theo token, không theo từ; mọi giới hạn ngữ cảnh cũng đếm bằng token. Ước lượng sai tỷ lệ token/từ là nguồn sai số chi phí thường gặp nhất khi mới bắt đầu. Thuê máy qua mạng thì trả tiền theo số mẩu chữ, nên biết cách đếm mẩu là biết mình sắp trả bao nhiêu. Every API price list bills per token, not per word, and every context limit counts tokens. Misjudging the token-to-word ratio is the most common early cost surprise.

    Vì sao không dùng từ

    Huyen đưa ba lý do: token cho phép tách từ thành những phần còn mang nghĩa (“cooking” → “cook” + “ing”); số token khác nhau ít hơn số từ khác nhau nên từ vựng nhỏ lại và mô hình hiệu quả hơn; và token giúp mô hình xử lý từ chưa từng gặp — “chatgpting” tách thành “chatgpt” + “ing”.1

    Hai kiểu mô hình ngôn ngữ

    Mô hình che (masked) đoán token bị thiếu bằng ngữ cảnh cả hai phía — ví dụ điển hình là BERT (Devlin và cộng sự, 2018), nay dùng cho phân loại và phân tích cảm xúc.5 Mô hình tự hồi quy (autoregressive) chỉ dùng ngữ cảnh phía trước để đoán token kế tiếp; đây là loại được chọn cho sinh văn bản, và trong sách, “mô hình ngôn ngữ” mặc định là loại này.1

  2. 02
    Self-supervision

    Tự giám sát — nút thắt được tháo, quy mô được mởTự giám sát — máy tự ra đề cho mìnhSelf-supervision — the bottleneck that broke

    Thành công của AI trong thập niên 2010 dựa trên giám sát: người gán nhãn, máy học theo. AlexNet (Krizhevsky và cộng sự, 2012) học phân loại hơn một triệu ảnh ImageNet vào 1.000 hạng mục. Nhưng gán nhãn rất đắt: nếu mỗi ảnh tốn 5 xu, một triệu ảnh tốn 50.000 đô la — và để mở rộng lên một triệu hạng mục, riêng tiền gán nhãn đã lên tới 50 triệu đô la.1 Tự giám sát tháo đúng nút thắt đó: mỗi chuỗi văn bản tự cung cấp cả ngữ cảnh lẫn nhãn.

    Muốn dạy máy nhận ra con mèo, xưa phải có người ngồi chỉ vào hàng triệu tấm ảnh và nói “đây là mèo”. Rất tốn tiền. Nhưng với chữ viết thì khác: câu “Tôi thích ăn phở” đã tự chứa sẵn đề bài — che chữ cuối đi, bảo máy đoán. Không ai phải ngồi dán nhãn cả. Nhớ nhé: chữ viết ở khắp nơi và tự nó là bài tập, nên máy học được vô tận.

    AI’s success in the 2010s rested on supervision: humans label, models learn. AlexNet (Krizhevsky et al., 2012) learned to classify over a million ImageNet images into 1,000 categories. But labelling is expensive: at 5 cents an image, a million images costs $50,000 — and scaling to a million categories would push the labelling bill alone to $50 million.1 Self-supervision removes exactly that bottleneck: each text sequence supplies both the context and the labels.

    Thấy ở đâuWhere you see it Vì văn bản có mặt ở khắp nơi — sách, blog, bài báo, bình luận — tập huấn luyện có thể phình ra gần như vô hạn, và chính điều đó cho phép mô hình ngôn ngữ lớn dần thành LLM. Chữ viết có ở khắp nơi trên mạng, nên máy có vô số bài để luyện, càng luyện càng giỏi. Because text is everywhere — books, blog posts, articles, comments — training sets can grow almost without limit, and that is what let language models scale into LLMs.

    Không giống học không giám sát

    Huyen phân biệt rõ: trong học tự giám sát, nhãn được suy ra từ dữ liệu đầu vào; trong học không giám sát, không cần nhãn nào cả.1

    Vì sao mô hình lớn cần nhiều dữ liệu hơn

    Kích thước mô hình thường đo bằng số tham số. Mô hình GPT đầu tiên của OpenAI ra mắt tháng 6 năm 2018 với 117 triệu tham số và khi đó được coi là lớn; tháng 2 năm 2019 GPT-2 ra với 1,5 tỷ tham số và 117 triệu lập tức bị xếp vào loại nhỏ.1 Mô hình lớn có sức chứa học lớn hơn nên cần nhiều dữ liệu hơn để khai thác hết; huấn luyện mô hình lớn trên tập nhỏ chỉ là lãng phí tính toán.

  3. 03
    Foundation model

    Mô hình nền tảng — từ chuyên một việc sang làm mọi việcMô hình nền tảng — một máy làm nhiều việcFoundation model — from one task to many

    Chữ nền tảng mang hai nghĩa cùng lúc: tầm quan trọng của lớp mô hình này với ứng dụng AI, và việc người khác có thể xây tiếp lên trên chúng.1 Trước đây nghiên cứu AI chia theo phương thức dữ liệu — xử lý ngôn ngữ tự nhiên lo văn bản, thị giác máy tính lo hình ảnh, mô hình âm thanh lo tiếng nói. Mô hình nền tảng phá vỡ ranh giới đó và đồng thời chuyển từ mô hình chuyên nhiệm sang mô hình đa năng.

    Trước kia mỗi cỗ máy chỉ biết một việc: máy này đọc chữ, máy kia nhìn ảnh, máy nọ nghe tiếng. Giờ có những cỗ máy vừa đọc vừa nhìn vừa nghe, và vừa dịch được vừa tóm tắt được vừa viết mã được. Nhớ nhé: một cỗ máy thay cho cả một tủ máy cũ.

    The word foundation carries two meanings at once: how central these models are to AI applications, and the fact that others can build on top of them.1 AI research used to be divided by data modality — NLP handled text, computer vision handled images, audio models handled speech. Foundation models break that division, and at the same time mark the shift from task-specific to general-purpose models.

    Thấy ở đâuWhere you see it Khi cần điều chỉnh một mô hình đa năng cho việc cụ thể, sách nêu ba kỹ thuật thường dùng: viết prompt chi tiết (prompt engineering), nối mô hình với một kho dữ liệu để bổ sung ngữ cảnh (RAG), và tinh chỉnh trên tập dữ liệu chất lượng cao (finetuning).1 Muốn máy làm đúng kiểu của mình thì có ba cách: dặn kỹ hơn, đưa thêm tài liệu cho nó đọc, hoặc cho nó luyện thêm. To steer a general-purpose model toward a specific task, the book names three common techniques: writing detailed instructions (prompt engineering), connecting the model to a database for extra context (RAG), and further training it on high-quality examples (finetuning).1

    Tự giám sát cũng chạy với đa phương thức

    OpenAI dùng một biến thể gọi là natural language supervision để huấn luyện CLIP: thay vì gán nhãn thủ công cho từng ảnh, họ thu thập các cặp (ảnh, chữ) xuất hiện cùng nhau trên internet, tạo ra tập 400 triệu cặp — lớn gấp 400 lần ImageNet mà không tốn một đồng gán nhãn.16

    Phạm vi “nhiều việc” rộng đến đâu

    Huyen dẫn bộ chuẩn Super-NaturalInstructions (Wang và cộng sự, 2022) như một hình dung về dải nhiệm vụ mà mô hình nền tảng có thể làm.17 Nhưng bà cũng nhắc mặt còn lại: mô hình chuyên nhiệm vẫn có lợi thế riêng — chúng có thể nhỏ hơn nhiều, nên nhanh hơn và rẻ hơn khi dùng.

  4. 04
    Model as a service

    Ba lực đẩy — vì sao nghề này bùng nổ đúng lúc nàyBa lý do khiến ai cũng làm đượcThree factors — why now

    Huyen nêu ba yếu tố cộng hưởng. Một: năng lực đa năng khiến những ứng dụng trước đây bất khả thi nay thành khả thi, mở rộng cả tập người dùng lẫn nhu cầu. Hai: đầu tư tăng vọt — Goldman Sachs Research ước tính đầu tư AI có thể tiệm cận 100 tỷ đô la tại Mỹ và 200 tỷ đô la toàn cầu vào năm 2025, còn FactSet ghi nhận một phần ba doanh nghiệp S&P 500 nhắc tới AI trong báo cáo lợi nhuận quý hai năm 2023, gấp ba lần năm trước đó. Ba: rào cản gia nhập thấp — mô hình được phơi ra qua API, và bản thân AI cũng viết mã hộ bạn.1

    Thứ nhất: máy giờ làm được nhiều việc hơn nên ai cũng muốn dùng. Thứ hai: rất nhiều tiền đang đổ vào lĩnh vực này. Thứ ba: muốn dùng máy chỉ cần gọi qua mạng, không cần mua máy chủ, thậm chí không cần giỏi lập trình vì máy viết mã hộ. Nhớ nhé: ba điều đó cùng lúc nên nghề này mọc lên rất nhanh.

    Huyen names three compounding factors. One: general-purpose capabilities make previously impossible applications possible, expanding both the user base and the demand. Two: investment surged — Goldman Sachs Research estimated AI investment could approach $100 billion in the US and $200 billion globally by 2025, and FactSet found one in three S&P 500 companies mentioned AI in their Q2 2023 earnings calls, three times as many as the year before. Three: the entry barrier fell — models are exposed through APIs, and AI itself writes the code.1

    Thấy ở đâuWhere you see it Chỉ trong hai năm, bốn công cụ mã nguồn mở về kỹ thuật AI — AutoGPT, Stable Diffusion web UI, LangChain, Ollama — đã thu được nhiều sao trên GitHub hơn cả Bitcoin.1 Chỉ hai năm mà các công cụ AI đã được nhiều người quan tâm hơn cả những dự án nổi tiếng lâu năm. Within just two years, four open source AI engineering tools — AutoGPT, Stable Diffusion web UI, LangChain and Ollama — had gathered more GitHub stars than Bitcoin.1

    Chi phí đang rơi rất nhanh

    Matt Ross, quản lý cấp cao mảng nghiên cứu ứng dụng tại Scribd, nói với Huyen rằng chi phí AI ước tính cho các trường hợp sử dụng của ông đã giảm hai bậc độ lớn trong khoảng từ tháng 4 năm 2022 đến tháng 4 năm 2023.1 Đây là một trong những lý do khiến mọi phép tính “tự xây hay đi thuê” đều có hạn sử dụng ngắn.

    Vì sao gọi là “kỹ thuật AI”

    Huyen giải thích lựa chọn thuật ngữ: bà không dùng ML engineering vì làm việc với mô hình nền tảng khác biệt ở nhiều điểm quan trọng; không dùng các tên kết thúc bằng “Ops” vì trọng tâm nằm ở việc tinh chỉnh chứ không phải vận hành. Cuối cùng bà khảo sát 20 người đang xây ứng dụng trên mô hình nền tảng, đa số chọn AI engineering, và bà theo số đông.1

Ứng dụng thực tếDùng AI vào việc gìFoundation model use cases

Tám nhóm việc, và điều chúng tiết lộTám việc AI đang làmEight categories, and what they reveal

Để lập bản đồ này, Huyen phỏng vấn 50 công ty về chiến lược AI, đọc hơn 100 nghiên cứu tình huống, và khảo sát 205 ứng dụng AI mã nguồn mở có ít nhất 500 sao trên GitHub.1 Bà xếp chúng thành tám nhóm. Điều đáng chú ý không nằm ở danh sách mà ở cách mỗi nhóm hé lộ chỗ AI giỏi và chỗ AI chưa giỏi.

Tác giả đã đi hỏi 50 công ty, đọc hơn 100 câu chuyện thật, và xem 205 phần mềm AI được nhiều người thích trên mạng. Rồi bà xếp mọi thứ vào tám nhóm. Nhớ nhé: nhìn vào những việc AI đang làm tốt là đoán được nó giỏi cái gì.

To draw this map, Huyen interviewed 50 companies about their AI strategies, read over 100 case studies, and examined 205 open source AI applications with at least 500 GitHub stars.1 She sorts them into eight categories. What matters is not the list itself but how each category reveals where AI is good and where it is not yet.

Vì mô hình nền tảng là đa năng, một ứng dụng xây trên nó thường thuộc về nhiều nhóm cùng lúc — một con bot vừa trò chuyện vừa tóm tắt tài liệu.1

Một phần mềm AI thường làm nhiều việc một lúc, nên khó xếp nó vào đúng một ô.

Because foundation models are general, an application built on one usually belongs to more than one category — a bot can both keep you company and summarise your documents.1

Huyen dẫn nghiên cứu của Eloundou và cộng sự (2023), trong đó một công việc được coi là phơi nhiễm với AI nếu AI và phần mềm chạy bằng AI rút ngắn được ít nhất một nửa thời gian hoàn thành. Theo nghiên cứu, những nghề có mức phơi nhiễm 100% hoặc gần 100% gồm phiên dịch viên, người khai thuế, nhà thiết kế web và người viết; ngược lại, những nghề không phơi nhiễm gồm đầu bếp, thợ đá và vận động viên.14

Sáng tạoCreation Viết mã, ảnh và video, văn bản — nơi AI mạnh nhất Viết, vẽ, làm phim — máy làm rất nhanh Coding, image and video, writing — where AI is strongest
Đối thoạiConversation Bot trò chuyện và giáo dục — nơi cá nhân hóa tạo ra giá trị Trò chuyện và dạy học — máy kiên nhẫn hơn người Bots and education — where personalisation creates the value
Xử lýProcessing Tổng hợp, sắp xếp, tự động hóa — nơi doanh nghiệp thu lợi Tóm tắt và sắp xếp — công ty thích nhất Aggregation, organisation, automation — where enterprises gain
  1. 01
    Coding

    Viết mã — nhóm ứng dụng phổ biến nhất, và vì saoViết mã — việc AI làm nhiều nhấtCoding — the most popular use case, and why

    Trong nhiều khảo sát về AI tạo sinh, viết mã luôn đứng đầu — vừa vì AI giỏi việc này, vừa vì lớp kỹ sư AI đầu tiên chính là lập trình viên, những người tiếp xúc gần nhất với vấn đề của nghề mình.1 GitHub Copilot, một trong những thành công sản xuất sớm nhất của mô hình nền tảng, vượt mốc 100 triệu đô la doanh thu định kỳ hằng năm chỉ hai năm sau khi ra mắt.1

    Việc AI làm nhiều nhất là viết mã máy tính. Một phần vì máy làm việc này giỏi, một phần vì những người đầu tiên nghĩ ra cách dùng AI chính là dân lập trình — họ làm công cụ cho chính mình trước. Nhớ nhé: người ta thường giải bài toán của mình trước tiên.

    In survey after survey on generative AI, coding comes first — both because AI is good at it and because the earliest AI engineers were coders, most exposed to their own craft’s problems.1 GitHub Copilot, one of the earliest production successes built on foundation models, crossed $100 million in annual recurring revenue just two years after launch.1

    Thấy ở đâuWhere you see it Nghiên cứu của McKinsey mà sách dẫn cho thấy AI giúp lập trình viên tăng năng suất gấp đôi khi viết tài liệu, và thêm 25–50% khi sinh mã hoặc tái cấu trúc mã — nhưng gần như không cải thiện gì với những tác vụ rất phức tạp.1 Việc dễ thì máy giúp nhanh gấp đôi. Việc khó thì máy hầu như không giúp được gì. McKinsey research cited in the book found AI makes developers twice as productive for documentation and 25–50% more productive for code generation and refactoring — but shows minimal improvement on highly complex tasks.1

    Tiền đang đổ vào đâu

    Tính đến thời điểm viết sách, các startup lập trình dùng AI đã gọi được hàng trăm triệu đô la: Magic huy động 320 triệu và Anysphere huy động 60 triệu, cả hai trong tháng 8 năm 2024.1

    Một quan sát từ thực địa

    Huyen kể rằng trong các cuộc trò chuyện với những người làm công cụ lập trình AI, nhiều người nói họ nhận thấy AI giỏi phần frontend hơn hẳn phần backend.1 Đây là kiểu tri thức thực địa không xuất hiện trong bảng xếp hạng chuẩn nào.

  2. 02
    Image, video & writing

    Sáng tạo — nơi tính xác suất là ưu điểm chứ không phải lỗiVẽ và viết — máy đoán mò lại thành hayCreative work — where being probabilistic is a feature

    Chính bản chất xác suất khiến AI hợp với công việc sáng tạo.1 Cuối năm 2023, khi mới một năm rưỡi tuổi, Midjourney đã đạt 200 triệu đô la doanh thu định kỳ hằng năm. Với viết lách, một nghiên cứu của MIT (Noy và Zhang, 2023) giao bài viết theo nghề cho 453 chuyên gia có trình độ đại học và cho ngẫu nhiên một nửa tiếp cận ChatGPT: nhóm được tiếp cận giảm 40% thời gian và tăng 18% chất lượng đầu ra.18

    Máy vẽ và máy viết không đưa ra một đáp án duy nhất, mà mỗi lần lại ra một kiểu khác. Với bài toán có đúng có sai thì đó là dở, nhưng với vẽ tranh hay viết truyện thì đó lại là hay. Nhớ nhé: chỗ nào không có một đáp án đúng duy nhất, chỗ đó AI dễ tỏa sáng.

    It is precisely AI’s probabilistic nature that suits creative work.1 In late 2023, at one and a half years old, Midjourney had already reached $200 million in annual recurring revenue. For writing, an MIT study (Noy and Zhang, 2023) assigned occupation-specific writing tasks to 453 college-educated professionals and randomly gave half of them access to ChatGPT: average time fell 40% and output quality rose 18%.18

    Thấy ở đâuWhere you see it Sách lưu ý rằng ChatGPT thu hẹp khoảng cách chất lượng giữa những người viết, nghĩa là nó hữu ích hơn với người vốn không thạo viết — một cách đọc khác của cùng con số.18 Người viết kém được giúp nhiều hơn người viết giỏi. Máy kéo mọi người lại gần nhau. The book notes that ChatGPT narrows the quality gap between writers, meaning it helps those with less inclination for writing the most — a different reading of the same numbers.18

    Mặt tối của cùng năng lực

    Huyen không giấu phần trái chiều: tháng 6 năm 2023, NewsGuard xác định gần 400 quảng cáo từ 141 thương hiệu phổ biến nằm trên những trang web rác đầy nội dung do AI sinh ra; một trong số đó sản xuất 1.200 bài mỗi ngày.1 Bà cảnh báo rằng nếu không có gì ngăn lại, tương lai của nội dung internet sẽ khá ảm đạm.

    Nhận thức xã hội đổi rất nhanh

    Năm 2019, Facebook khóa các tài khoản dùng ảnh đại diện do AI tạo ra vì lý do an toàn. Đến năm 2023, nhiều ứng dụng mạng xã hội lại cung cấp chính công cụ để người dùng tạo ảnh đại diện bằng AI.1

  3. 03
    Bots & education

    Đối thoại và giáo dục — giá trị nằm ở cá nhân hóaTrò chuyện và học — mỗi người một kiểuBots and education — the value is personalisation

    Huyen đặt một câu hỏi sắc: bà thấy lạ khi quảng cáo được cá nhân hóa vì ta biết mỗi người mỗi khác, nhưng giáo dục thì không.1 AI có thể chuyển tài liệu sang định dạng hợp với từng người: đọc to cho người học bằng tai, đổi ví dụ sang chủ đề mà học sinh yêu thích, dịch phương trình toán thành mã cho người thấy mã dễ đọc hơn công thức. Với doanh nghiệp, bot hỗ trợ khách hàng là dạng phổ biến nhất.

    Mỗi bạn học một kiểu khác nhau: bạn thì thích nghe, bạn thì thích nhìn hình, bạn thì thích ví dụ về con vật. Trước đây sách giáo khoa chỉ có một kiểu cho tất cả. Giờ máy có thể kể lại bài học theo kiểu riêng của từng bạn. Nhớ nhé: cùng một bài học, kể khác đi thì người khác nhau đều hiểu được.

    Huyen asks a pointed question: she finds it strange that ads are personalised because we know everyone is different, while education is not.1 AI can adapt materials to the format that suits each student: reading aloud for auditory learners, reworking visualisations around a favourite subject, translating maths equations into code for those who read code more easily than notation. For enterprises, customer support bots are the most common form.

    Thấy ở đâuWhere you see it Sách dẫn nghiên cứu của Pajak và Bicknell tại Duolingo (2022): trong bốn giai đoạn tạo khóa học, cá nhân hóa bài học là giai đoạn hưởng lợi nhiều nhất từ AI.1 Ở một ứng dụng học ngoại ngữ, khâu máy giúp được nhiều nhất chính là khâu chỉnh bài cho vừa với từng người học. The book cites Pajak and Bicknell at Duolingo (2022): of the four stages of course creation, lesson personalisation is the one that benefits most from AI.1

    Rủi ro đi kèm cơ hội

    Huyen nêu một ví dụ cụ thể về sự dịch chuyển: Chegg, công ty giúp học sinh làm bài tập về nhà, chứng kiến giá cổ phiếu rơi từ 28 đô la khi ChatGPT ra mắt tháng 11 năm 2022 xuống 2 đô la vào tháng 9 năm 2024, khi học sinh chuyển sang nhờ AI.1

    Không chỉ có giao diện chữ

    Sách nhắc rằng văn bản không phải giao diện duy nhất cho tác tử đối thoại: trợ lý giọng nói đã tồn tại nhiều năm, và bot ba chiều đang phổ biến trong game — ví dụ các NPC thông minh, vốn xưa nay chỉ được lập trình với dải hội thoại hạn chế.1

  4. 04
    Aggregation & automation

    Tổng hợp, sắp xếp, tự động hóa — con đường dẫn tới tác tửTóm tắt và làm thay — dẫn tới trợ lý tự đi làm việcAggregation, organisation, automation — the road to agents

    Theo nghiên cứu Generative AI Snapshot năm 2023 của Salesforce mà sách dẫn, 74% người dùng AI tạo sinh dùng nó để chắt lọc ý tưởng phức tạp và tóm tắt thông tin.1 Khi Instacart mở một chợ prompt nội bộ, một trong những mẫu được ưa chuộng nhất là “Fast Breakdown” — yêu cầu AI tóm tắt ghi chú họp, email và hội thoại Slack thành sự kiện, câu hỏi mở và đầu việc, rồi tự đẩy đầu việc vào công cụ theo dõi dự án.1

    Mỗi ngày ta nhận quá nhiều tin nhắn, thư từ, tài liệu. Máy có thể đọc hết rồi kể lại phần quan trọng, thậm chí tự ghi ra những việc cần làm. Nhớ nhé: máy đọc nhanh hơn người rất nhiều, nên việc gì cần đọc nhiều thì giao cho máy.

    According to Salesforce’s 2023 Generative AI Snapshot Research cited in the book, 74% of generative AI users use it to distil complex ideas and summarise information.1 When Instacart launched an internal prompt marketplace, one of the most popular templates was “Fast Breakdown” — asking AI to summarise meeting notes, emails and Slack conversations into facts, open questions and action items, which are then inserted automatically into a project tracker.1

    Thấy ở đâuWhere you see it Để hoàn thành nhiều tác vụ, ứng dụng cần quyền truy cập công cụ bên ngoài — tìm kiếm, gọi điện, ghi vào lịch. Những AI biết lập kế hoạch và dùng công cụ được gọi là tác tử, chủ đề trung tâm của Chương 6.1 Muốn máy đặt bàn ăn hộ, nó phải được phép tra mạng, gọi điện và ghi vào lịch. Máy biết tự làm chuỗi việc như vậy gọi là tác tử. Completing many tasks requires access to external tools — search, calls, calendars. AIs that can plan and use tools are called agents, the central topic of Chapter 6.1

    Dữ liệu phi cấu trúc là mỏ vàng

    Ảnh, video, nhật ký và tệp PDF đều là dữ liệu phi cấu trúc hoặc bán cấu trúc. Sách ước tính ngành xử lý dữ liệu thông minh (IDP) sẽ đạt 12,81 tỷ đô la vào năm 2030, tăng 32,9% mỗi năm.1

    Doanh nghiệp đi từ trong ra ngoài

    Một báo cáo a16z Growth năm 2024 mà sách dẫn cho thấy các công ty triển khai ứng dụng hướng nội bộ — như quản trị tri thức nội bộ — nhanh hơn ứng dụng hướng khách hàng.1 Ứng dụng nội bộ giúp doanh nghiệp tích lũy năng lực kỹ thuật AI trong khi giảm thiểu rủi ro về quyền riêng tư, tuân thủ và những sự cố thảm họa.

Lập kế hoạchCó nên làm không đãPlanning AI applications

Câu hỏi đứng trước mọi câu hỏi kỹ thuậtTrước khi bắt tay vào làmThe question that comes before the technical ones

Huyen tách rõ hai tình huống. Nếu bạn học và chơi, cứ nhảy vào — xây là một trong những cách học tốt nhất. Nhưng nếu làm việc này để kiếm sống, nên lùi một bước và hỏi vì sao mình xây cái này, và nên xây thế nào.1

Nếu bạn làm cho vui và để học thì cứ làm ngay. Nhưng nếu làm để bán, hãy dừng một chút và hỏi: việc này có thật sự cần đến AI không, và mình có nhất thiết phải tự làm không? Nhớ nhé: hỏi trước, làm sau.

Huyen separates two situations cleanly. If you are learning and having fun, jump right in — building is one of the best ways to learn. But if you are doing this for a living, step back and ask why you are building this and how you should go about it.1

Như phần lớn quyết định kinh doanh, xây một ứng dụng AI là phản ứng trước rủi ro hoặc cơ hội — và biết mình đang đứng trước cái nào sẽ quyết định mọi thứ còn lại.1

Làm một phần mềm AI cũng giống mọi quyết định khác: hoặc vì sợ mất, hoặc vì muốn được thêm. Biết mình thuộc kiểu nào là biết nên làm thế nào.

Like most business decisions, building an AI application is a response to a risk or an opportunity — and knowing which one you face determines everything else.1

Sách xếp các động cơ theo thang rủi ro từ cao xuống thấp. Cao nhất là tính liên tục kinh doanh: nếu không làm, đối thủ có AI sẽ khiến bạn trở nên lỗi thời. Trong khảo sát 2.500 lãnh đạo của Gartner năm 2023, 7% nêu lý do này khi chọn đón nhận AI tạo sinh.1 Thấp hơn là bỏ lỡ cơ hội tăng lợi nhuận và năng suất, và thấp nhất là chưa rõ AI nằm ở đâu trong doanh nghiệp nhưng không muốn bị bỏ lại phía sau.

Vì saoWhy Rủi ro hay cơ hội — và có nhất thiết phải tự xây không Vì sợ mất hay vì muốn được thêm Risk or opportunity — and must you build it yourself
Vai tròRole AI cốt lõi hay bổ trợ, phản ứng hay chủ động, động hay tĩnh Thiếu AI thì phần mềm còn chạy được không Critical or complementary, reactive or proactive, dynamic or static
NgưỡngThreshold Chất lượng, độ trễ, chi phí — tốt đến đâu thì mới hữu dụng Giỏi tới mức nào thì mới dùng được Quality, latency, cost — how good it must be to be useful
  1. 01
    Use case evaluation

    Đánh giá bài toán — tự xây hay đi muaTự làm hay đi thuêUse case evaluation — build or buy

    Sau khi tìm ra lý do chính đáng, câu hỏi kế tiếp là có nhất thiết phải tự xây không. Huyen đưa ra một nguyên tắc gọn: nếu AI là mối đe dọa sống còn với doanh nghiệp, nên làm AI trong nhà thay vì thuê ngoài cho một đối thủ; còn nếu dùng AI để tăng lợi nhuận và năng suất, thường có nhiều lựa chọn mua sẵn vừa tiết kiệm thời gian tiền bạc vừa cho kết quả tốt hơn.1

    Nếu không có AI thì công ty sẽ chết, hãy tự làm lấy. Nếu chỉ muốn làm việc nhanh hơn một chút, đi thuê là được rồi — vừa rẻ vừa nhanh. Nhớ nhé: chỉ tự làm những thứ mình không thể để mất.

    Once you have a good reason, the next question is whether you must build it yourself. Huyen offers a compact rule: if AI is an existential threat to your business, do it in-house rather than outsourcing to a competitor; but if you are using AI to boost profits and productivity, there are usually plenty of buy options that save time and money while performing better.1

    Thấy ở đâuWhere you see it Sách chỉ tới nghiên cứu “GPTs are GPTs” của OpenAI (Eloundou và cộng sự, 2023) như một bảng tra cứu để xem ngành của bạn phơi nhiễm với AI tới đâu.14 Có một nghiên cứu xếp hạng xem nghề nào bị AI ảnh hưởng nhiều nhất — tra vào đó là biết mình đang ở đâu. The book points to OpenAI’s “GPTs are GPTs” study (Eloundou et al., 2023) as a lookup table for how exposed your industry is to AI.14

    Cái giá của việc chờ

    Huyen nhắc rằng một công ty không nên chạy theo mọi cơn sốt, nhưng nhiều công ty đã thất bại vì chờ quá lâu — bà nêu Kodak, Blockbuster và BlackBerry làm ví dụ.1

    Cơ hội lớn nhất nằm ở tầng ứng dụng

    Vì tài nguyên cần để phát triển mô hình nền tảng quá lớn, việc đó chỉ khả thi với các tập đoàn lớn, chính phủ, và startup được cấp vốn dồi dào. Trong một cuộc phỏng vấn tháng 9 năm 2022, Sam Altman, giám đốc điều hành OpenAI, nói cơ hội lớn nhất với đại đa số mọi người sẽ là thích ứng những mô hình này cho các ứng dụng cụ thể.1

  2. 02
    Human-in-the-loop

    Vai trò của AI và của con người trong sản phẩmMáy quyết hay người quyếtThe role of AI and humans in the product

    Sách mượn khung phân loại của Apple với ba cặp đối lập. Cốt lõi hay bổ trợ: Face ID không tồn tại nếu thiếu AI, còn Gmail vẫn chạy nếu bỏ Smart Compose — AI càng cốt lõi thì càng phải chính xác và tin cậy. Phản ứng hay chủ động: chatbot là phản ứng, cảnh báo giao thông trên bản đồ là chủ động — tính năng chủ động có thể tính trước nên ít bị áp lực độ trễ, nhưng phải có chất lượng cao hơn vì người dùng không hề yêu cầu chúng. Động hay tĩnh: tính năng động cập nhật liên tục theo phản hồi, tính năng tĩnh chỉ đổi khi mô hình chung được nâng cấp.1

    Có tính năng mà thiếu AI là hỏng hẳn, như mở khóa điện thoại bằng khuôn mặt. Có tính năng thiếu AI vẫn dùng được, chỉ bớt tiện thôi. Loại thứ nhất phải đúng gần như tuyệt đối, loại thứ hai sai một chút cũng không sao. Nhớ nhé: càng quan trọng thì càng phải chính xác.

    The book borrows Apple’s framing with three contrasts. Critical or complementary: Face ID would not work without AI, while Gmail still works without Smart Compose — the more critical AI is, the more accurate and reliable it must be. Reactive or proactive: a chatbot is reactive, traffic alerts on a map are proactive — proactive features can be precomputed so latency matters less, but they carry a higher quality bar because users never asked for them. Dynamic or static: dynamic features update continually with feedback, static ones change only when the shared model is updated.1

    Thấy ở đâuWhere you see it Microsoft (2023) đề xuất một khung tăng dần mức tự động gọi là Crawl-Walk-Run: Crawl là bắt buộc có người tham gia, Walk là AI được tương tác trực tiếp với nhân viên nội bộ, Run là tự động hóa cao hơn, có thể gồm cả tương tác trực tiếp với người dùng bên ngoài.1 Hãy cho máy tập đi từng bước: đầu tiên người làm chính, máy gợi ý; sau đó máy nói chuyện với nhân viên; cuối cùng mới cho máy gặp khách. Microsoft (2023) proposed a framework for gradually increasing automation called Crawl-Walk-Run: Crawl means human involvement is mandatory, Walk means AI can interact directly with internal employees, Run means increased automation, potentially including direct AI interaction with external users.1

    Vai trò thay đổi theo thời gian

    Huyen đưa ví dụ cụ thể: ban đầu AI chỉ sinh gợi ý cho nhân viên hỗ trợ; nếu tỷ lệ chấp nhận cao — chẳng hạn 95% câu trả lời AI đề xuất cho các yêu cầu đơn giản được nhân viên dùng nguyên văn — thì có thể để khách hàng tương tác trực tiếp với AI cho đúng nhóm yêu cầu ấy.1

    Vì sao cá nhân hóa kéo theo chi phí

    Sách lưu ý rằng với AI, “tính năng động” có thể nghĩa là mỗi người dùng có một mô hình riêng được tinh chỉnh liên tục trên dữ liệu của họ, hoặc một cơ chế ghi nhớ sở thích như tính năng bộ nhớ của ChatGPT. Tính năng tĩnh thì dùng chung một mô hình cho cả nhóm người dùng.1

  3. 03
    Defensibility

    Khả năng phòng thủ — rào cản thấp cắt cả hai chiềuAi cũng làm được thì lấy gì mà giữDefensibility — a low barrier cuts both ways

    Rào cản thấp vừa là phúc vừa là họa: thứ gì bạn xây dễ thì đối thủ cũng xây dễ.1 Nguy hiểm hơn, xây ứng dụng trên mô hình nền tảng nghĩa là cung cấp một lớp nằm trên mô hình — nếu mô hình bên dưới mở rộng năng lực, lớp của bạn có thể bị nuốt gọn. Huyen nêu ba loại lợi thế cạnh tranh trong AI: công nghệ, dữ liệu, và kênh phân phối. Với mô hình nền tảng, công nghệ lõi của hầu hết công ty sẽ giống nhau, còn lợi thế phân phối nhiều khả năng thuộc về các công ty lớn.

    Nếu bạn làm được một phần mềm chỉ trong vài ngày thì người khác cũng làm được trong vài ngày. Vậy điều gì khiến khách hàng ở lại với bạn? Nhớ nhé: cái gì dễ làm thì cũng dễ bị bắt chước.

    A low entry barrier is both a blessing and a curse: if something is easy for you to build, it is easy for your competitors too.1 Worse, building on a foundation model means providing a layer on top of it — if the underlying model expands in capability, your layer may be subsumed. Huyen names three competitive advantages in AI: technology, data, and distribution. With foundation models, most companies’ core technology will be similar, and the distribution advantage likely belongs to the big players.

    Thấy ở đâuWhere you see it Lợi thế dữ liệu tinh tế hơn: công ty lớn có sẵn nhiều dữ liệu, nhưng nếu một startup ra thị trường trước và thu đủ dữ liệu sử dụng để liên tục cải thiện sản phẩm, dữ liệu sẽ là hào của họ.1 Ai ra trước và có nhiều người dùng thì học được nhiều điều mà người đến sau không biết. The data advantage is more nuanced: big companies hold more existing data, but if a startup reaches market first and gathers enough usage data to keep improving, that data becomes its moat.1

    Câu hỏi của một nhà đầu tư

    Huyen kể rằng một thành viên hợp danh tại một quỹ đầu tư mạo hiểm lớn nói với bà rằng bà ấy đã thấy nhiều startup mà toàn bộ sản phẩm chỉ đáng là một tính năng của Google Docs hay Microsoft Office: nếu sản phẩm cất cánh, điều gì ngăn được Google hay Microsoft cắt ba kỹ sư ra làm lại trong hai tuần?1

    Nhưng mặt còn lại cũng đúng

    Bà cân bằng lại bằng những tiền lệ ngược: Calendly lẽ ra có thể chỉ là một tính năng của Google Calendar, Mailchimp của Gmail, Photoroom của Google Photos — nhiều startup cuối cùng vượt qua đối thủ lớn hơn, khởi đầu bằng chính tính năng mà đối thủ bỏ qua.1

  4. 04
    The last mile

    Dặm cuối — quãng đường từ 60 đến 100Chặng cuối luôn dài nhấtThe last mile — the road from 60 to 100

    Thành công ban đầu với mô hình nền tảng dễ gây hiểu lầm. Vì năng lực nền của mô hình đã khá ấn tượng, dựng một bản demo vui mắt có thể chỉ mất một cuối tuần — nhưng một bản demo tốt không hứa hẹn một sản phẩm tốt.1 Trong bài báo UltraChat, Ding và cộng sự (2023) viết rằng “hành trình từ 0 tới 60 thì dễ, còn đi từ 60 tới 100 mới trở nên cực kỳ gian nan”.19

    Làm cho chạy được thì nhanh. Làm cho chạy đúng mọi lúc mới lâu. Giống như xây nhà: dựng khung thì vài ngày, nhưng hoàn thiện từng góc tường mới mất hàng tháng. Nhớ nhé: đoạn cuối bao giờ cũng dài hơn ta tưởng.

    Initial success with foundation models can be misleading. Because their base capabilities are already impressive, a fun demo might take a weekend — but a good demo does not promise a good product.1 In the UltraChat paper, Ding et al. (2023) wrote that “the journey from 0 to 60 is easy, whereas progressing from 60 to 100 becomes exceedingly challenging”.19

    Thấy ở đâuWhere you see it LinkedIn (2024) kể lại cùng trải nghiệm: họ mất một tháng để đạt 80% trải nghiệm mong muốn, và chính thành công ban đầu ấy khiến họ đánh giá thấp phần còn lại — phải thêm bốn tháng nữa mới vượt được 95%, phần lớn thời gian dành cho những trục trặc sản phẩm và xử lý ảo giác.110 Một công ty lớn mất 1 tháng để làm xong 80%, rồi mất thêm 4 tháng nữa mới lên được 95%. LinkedIn (2024) reported the same experience: one month to reach 80% of the experience they wanted, and that early success made them badly underestimate the rest — four more months to finally pass 95%, much of it spent on product kinks and hallucinations.110

    Ngưỡng hữu dụng

    Để tránh đưa sản phẩm ra trước khi sẵn sàng, sách yêu cầu đặt trước một ngưỡng hữu dụng gồm: nhóm chỉ số chất lượng; nhóm độ trễ, trong đó có TTFT (thời gian tới token đầu tiên), TPOT (thời gian mỗi token đầu ra) và tổng độ trễ; nhóm chi phí mỗi lượt suy luận; cùng các chỉ số khác như khả năng diễn giải và tính công bằng.1

    Bảo trì trên một chuyến tàu cao tốc

    Huyen cảnh báo rằng xây trên mô hình nền tảng hôm nay là cam kết ngồi trên một chuyến tàu cao tốc. Nhiều thay đổi là tốt — ngữ cảnh dài hơn, đầu ra tốt hơn, suy luận nhanh và rẻ hơn — nhưng ngay cả thay đổi tốt cũng gây ma sát. Một số thay đổi khó thích nghi hơn, nhất là về quy định: riêng việc tuân thủ GDPR của châu Âu được ước tính khiến doanh nghiệp tốn 9 tỷ đô la.1

Ngăn xếp kỹ thuật AIAi làm phần nàoThe AI engineering stack

Ba tầng, và điều gì thật sự đã đổiBa tầng công việcThree layers, and what actually changed

Huyen mô tả ba tầng của mọi ngăn xếp ứng dụng AI: phát triển ứng dụng, phát triển mô hình, và hạ tầng. Điểm đáng chú ý là thứ tự: khi làm ứng dụng AI ngày nay, bạn nhiều khả năng bắt đầu từ tầng trên cùng và chỉ đi xuống khi cần.1

Công việc chia làm ba tầng: tầng trên là làm phần mềm cho người dùng, tầng giữa là làm ra cỗ máy, tầng dưới là máy chủ và đường dây. Ngày nay người ta bắt đầu từ tầng trên. Nhớ nhé: bắt đầu từ chỗ gần người dùng nhất.

Huyen describes three layers in any AI application stack: application development, model development, and infrastructure. What matters is the order: building an AI application today, you will likely start from the top layer and move down only as needed.1

Kỹ thuật AI khác kỹ thuật học máy ở chỗ nó ít nói về phát triển mô hình và nói nhiều hơn về thích ứng và đánh giá mô hình.1

Nghề cũ là dạy máy. Nghề mới là chọn máy, sai bảo máy, và chấm bài cho máy.

AI engineering differs from ML engineering in that it is less about model development and more about adapting and evaluating models.1

Huyen chia kỹ thuật thích ứng thành hai nhóm theo việc có cập nhật trọng số hay không. Nhóm dựa trên prompt — trong đó có prompt engineering — thích ứng mô hình mà không đổi trọng số, dễ bắt đầu và cần ít dữ liệu; nhược điểm là có thể không đủ cho tác vụ phức tạp hoặc yêu cầu hiệu năng nghiêm ngặt. Tinh chỉnh thì đổi trọng số: phức tạp hơn, cần nhiều dữ liệu hơn, nhưng có thể cải thiện đáng kể cả chất lượng, độ trễ lẫn chi phí, và mở ra những việc không thể làm nếu không đổi trọng số.1

Tầng ứng dụngApplication Đánh giá, prompt và dựng ngữ cảnh, giao diện AI Chấm bài, ra lệnh, và làm màn hình cho người dùng Evaluation, prompting and context construction, the AI interface
Tầng mô hìnhModel Kiến trúc và huấn luyện, kỹ thuật dữ liệu, tối ưu suy luận Làm ra cỗ máy và cho nó chạy nhanh hơn Modelling and training, dataset engineering, inference optimisation
Tầng hạ tầngInfrastructure Phục vụ mô hình, quản lý dữ liệu và tính toán, giám sát Máy chủ, kho dữ liệu, và người trực canh Model serving, data and compute management, monitoring
  1. 01
    Three layers

    Ba tầng — và tầng nào đang chuyển độngBa tầng — tầng nào đang đổi nhanh nhấtThree layers — and which one is moving

    Tháng 3 năm 2024, Huyen tìm trên GitHub mọi kho mã liên quan đến AI có ít nhất 500 sao và tìm thấy tổng cộng 920 kho.1 Dữ liệu cho thấy một bước nhảy lớn về số lượng công cụ AI trong năm 2023, sau khi Stable Diffusion và ChatGPT xuất hiện. Hai nhóm tăng mạnh nhất là ứng dụng và phát triển ứng dụng; tầng hạ tầng có tăng nhưng ít hơn hẳn — điều này được Huyen coi là dự đoán được, vì nhu cầu hạ tầng cốt lõi hầu như không đổi.

    Nếu đếm số công cụ mới, ta thấy phần gần người dùng đang đổi rất nhanh, còn phần máy chủ bên dưới gần như giữ nguyên. Nhớ nhé: cái ồn ào nhất chưa chắc là cái quan trọng nhất — nền móng vẫn thế.

    In March 2024, Huyen searched GitHub for all AI-related repositories with at least 500 stars and found 920 in total.1 The data shows a big jump in AI tooling in 2023, after Stable Diffusion and ChatGPT. The two fastest-growing categories were applications and application development; infrastructure grew, but far less — which Huyen considers expected, since the core infrastructural needs have barely changed.

    Thấy ở đâuWhere you see it Huyen nhấn mạnh rằng nhiều nguyên tắc xây ứng dụng AI vẫn nguyên vẹn: vẫn phải ánh xạ từ chỉ số kinh doanh sang chỉ số mô hình và ngược lại, vẫn phải thí nghiệm có hệ thống, vẫn phải dựng vòng phản hồi để cải thiện bằng dữ liệu sản xuất.1 Nhiều thứ vẫn y như cũ: vẫn phải đo, vẫn phải thử, vẫn phải nghe phản hồi rồi sửa. Huyen stresses that many principles of building AI applications remain unchanged: you still map business metrics to model metrics and back, still run systematic experiments, still set up a feedback loop to improve with production data.1

    Ba khác biệt ở tầm cao

    Sách rút gọn khác biệt giữa kỹ thuật AI và kỹ thuật học máy truyền thống thành ba điểm: bạn dùng mô hình người khác đã huấn luyện thay vì tự huấn luyện, nên trọng tâm dịch sang thích ứng; mô hình lớn hơn, ngốn tính toán hơn và trễ hơn, nên áp lực tối ưu suy luận lớn hơn; và đầu ra là mở nên khó đánh giá hơn nhiều.1

    Tên gọi vẫn còn lẫn lộn

    Huyen dẫn các tiêu đề tuyển dụng trên LinkedIn ngày 17 tháng 12 năm 2023 để cho thấy nhiều công ty gộp kỹ thuật AI và kỹ thuật học máy vào chung một ô, trong khi một số công ty khác tách hẳn thành hai mô tả công việc.1 Dù đặt ở đâu, hai vai trò chồng lấn đáng kể.

  2. 02
    Model development

    Tầng mô hình — ba trách nhiệm và cách chúng đổiTầng mô hình — làm ra và làm nhanh cỗ máyModel development — three duties, reweighted

    Tầng này có ba trách nhiệm: kiến trúc và huấn luyện, kỹ thuật dữ liệu, và tối ưu suy luận. Với mô hình nền tảng, kiến thức học máy chuyển từ bắt buộc phải có sang có thì tốt — Huyen nói bà đã gặp nhiều người xây ứng dụng AI rất thành công mà chẳng hề quan tâm tới gradient descent.1 Nhưng bà nói thêm rằng kiến thức ấy vẫn cực kỳ giá trị: nó mở rộng bộ công cụ và giúp gỡ rối khi mô hình cư xử ngoài dự đoán.

    Tầng này lo ba việc: làm ra cỗ máy, chuẩn bị dữ liệu cho nó học, và làm cho nó chạy nhanh rẻ. Bây giờ không cần biết hết những thứ đó mới làm được ứng dụng — nhưng biết thì vẫn hơn. Nhớ nhé: không bắt buộc, nhưng rất có ích khi máy giở chứng.

    This layer has three responsibilities: modelling and training, dataset engineering, and inference optimisation. With foundation models, ML knowledge shifts from must-have to nice-to-have — Huyen says she has met many successful AI application builders with no interest in gradient descent.1 But she adds that this knowledge remains extremely valuable: it widens your toolset and helps when a model misbehaves.

    Thấy ở đâuWhere you see it Kỹ thuật dữ liệu đổi chất: học máy truyền thống làm nhiều với dữ liệu dạng bảng và kỹ thuật đặc trưng, còn kỹ thuật AI làm nhiều hơn với khử trùng lặp, tách token, truy hồi ngữ cảnh và kiểm soát chất lượng — kể cả loại bỏ thông tin nhạy cảm và dữ liệu độc hại.1 Trước lo sắp bảng số liệu; giờ lo dọn sạch chữ nghĩa và bỏ đi những thứ xấu. Dataset engineering changes in kind: traditional ML worked mostly with tabular data and feature engineering, while AI engineering deals more with deduplication, tokenisation, context retrieval and quality control — including removing sensitive information and toxic data.1

    Bốn từ dễ lẫn

    Huyen phân biệt rạch ròi: tiền huấn luyện là huấn luyện từ đầu với trọng số khởi tạo ngẫu nhiên, và với mô hình InstructGPT, riêng bước này chiếm tới 98% toàn bộ tài nguyên tính toán và dữ liệu.1 Tinh chỉnh là huấn luyện tiếp một mô hình đã huấn luyện, nên tốn ít tài nguyên hơn. Hậu huấn luyện về khái niệm giống tinh chỉnh, chỉ khác ở người làm: nhà phát triển mô hình hậu huấn luyện, nhà phát triển ứng dụng tinh chỉnh.

    Vì sao suy luận ngày càng quan trọng

    Mô hình nền tảng thường là tự hồi quy, nghĩa là token được sinh tuần tự: nếu mất 10 mili giây cho một token thì một đầu ra 100 token mất một giây, và còn lâu hơn với đầu ra dài.1 Kéo độ trễ về mức 100 mili giây mà người dùng internet quen chờ là một thách thức lớn.

  3. 03
    Application development

    Tầng ứng dụng — nơi khác biệt sản phẩm được tạo raTầng ứng dụng — chỗ tạo ra khác biệtApplication development — where differentiation is made

    Với học máy truyền thống, chất lượng mô hình riêng là điểm khác biệt. Với mô hình nền tảng, khi nhiều đội cùng dùng chung một mô hình, khác biệt buộc phải đến từ quá trình phát triển ứng dụng.1 Tầng này gồm ba trách nhiệm: đánh giá, kỹ thuật prompt cùng dựng ngữ cảnh, và giao diện AI. Đánh giá cần có mặt xuyên suốt: để chọn mô hình, đo tiến độ, quyết định khi nào đủ chín để triển khai, và phát hiện vấn đề trong sản xuất.

    Nếu ai cũng thuê chung một cỗ máy giỏi, thì cái làm bạn khác người không còn là cỗ máy nữa, mà là cách bạn dùng nó: ra lệnh khéo hơn, kiểm tra kỹ hơn, và làm màn hình dễ dùng hơn. Nhớ nhé: cùng một cây bút, người viết hay mới là người khác biệt.

    With traditional ML, where teams build on proprietary models, model quality is the differentiator. With foundation models, where many teams use the same model, differentiation must come from the application development process.1 This layer has three responsibilities: evaluation, prompt engineering with context construction, and the AI interface. Evaluation runs throughout — to select models, benchmark progress, decide when an application is ready to deploy, and catch issues in production.

    Thấy ở đâuWhere you see it Giao diện AI mở rộng vượt khỏi ô chat: ứng dụng độc lập, tiện ích mở rộng trình duyệt, bot nhúng vào Slack hay Discord, và các API cho phép nhúng AI thành plug-in — chính những API này cũng là thứ tác tử dùng để tương tác với thế giới.1 AI không chỉ nằm trong ô chat: nó nằm trong trình duyệt, trong nhóm chat, trong phần mềm bạn đang dùng hằng ngày. The AI interface reaches beyond the chat box: standalone apps, browser extensions, bots inside Slack or Discord, and APIs that let AI be embedded as a plug-in — the same APIs agents use to act on the world.1

    Vì sao đánh giá khó hơn hẳn

    Với tác vụ đóng như phát hiện gian lận, thường có đáp án đúng để đối chiếu — đầu ra khác đáp án nghĩa là mô hình sai. Với một chatbot, số câu trả lời có thể chấp nhận cho mỗi prompt nhiều tới mức không thể lập danh sách đáp án đầy đủ.1 Sự tồn tại của quá nhiều kỹ thuật thích ứng cũng khiến việc đánh giá khó hơn: một hệ thống kém với kỹ thuật này có thể tốt hơn hẳn với kỹ thuật khác.

    Nghề này đang tiến gần full-stack

    Sức nặng dồn về tầng ứng dụng, nhất là về giao diện, kéo kỹ thuật AI lại gần phát triển toàn ngăn xếp. Python vẫn phổ biến, nhưng hỗ trợ JavaScript đang tăng với LangChain.js, Transformers.js, thư viện Node của OpenAI và AI SDK của Vercel.1 Lợi thế của kỹ sư full-stack là biến ý tưởng thành bản demo rất nhanh, lấy phản hồi, rồi lặp lại.

Ba hiểu lầm thường gặp ở lần đọc đầuThree misconceptions on a first reading

Chương 1 gọn và dễ đọc, nên chính vì thế dễ để lại ba ấn tượng sai. Mỗi ấn tượng dưới đây đều bị chính văn bản của chương phản bác.

Chapter 1 is short and readable, which is exactly why it can leave three wrong impressions. Each of the following is contradicted by the chapter’s own text.

“Kỹ thuật AI chỉ là kỹ thuật học máy đổi tên”“AI engineering is just ML engineering renamed”

Huyen nói thẳng rằng bà không chọn thuật ngữ ML engineering vì làm việc với mô hình nền tảng khác biệt ở nhiều điểm quan trọng, dù bà thừa nhận ML engineering là một thuật ngữ bao trùm tốt cho cả hai quá trình.1 Khác biệt cụ thể nằm ở ba chỗ: dùng mô hình sẵn thay vì tự huấn luyện, áp lực tối ưu suy luận lớn hơn, và đầu ra mở khiến đánh giá trở thành bài toán lớn hơn nhiều.

Huyen says plainly that she did not choose the term ML engineering because working with foundation models differs in several important respects, while granting that ML engineering is a good umbrella for both.1 The concrete differences are three: using someone else’s model rather than training your own, greater pressure on inference optimisation, and open-ended outputs that make evaluation a far bigger problem.

“Đưa tài liệu của tôi vào ngữ cảnh là đang huấn luyện mô hình”“Feeding the model my documents is training it”

Huyen kể một bài báo trên Business Insider trong đó tác giả nói mình đã “huấn luyện” ChatGPT bắt chước phiên bản trẻ hơn của cô bằng cách đưa nhật ký thời thơ ấu vào. Theo cách nói thông thường thì đúng, nhưng về mặt kỹ thuật, dạy mô hình qua phần ngữ cảnh nhập vào chính là kỹ thuật prompt chứ không phải huấn luyện.1 Huấn luyện luôn đổi trọng số mô hình.

Huyen recounts a Business Insider article in which the author said she had “trained” ChatGPT to mimic her younger self by feeding it her childhood journals. Colloquially that is fine, but technically, teaching a model through the context you feed in is prompt engineering, not training.1 Training always changes the model’s weights.

“Điểm benchmark cao hơn nghĩa là mô hình mạnh hơn”“A higher benchmark score means a stronger model”

Khi Google ra mắt Gemini tháng 12 năm 2023, họ tuyên bố Gemini vượt ChatGPT trên bộ chuẩn MMLU. Nhưng Gemini được đánh giá bằng kỹ thuật prompt CoT@32 với 32 ví dụ, còn ChatGPT chỉ được cho 5 ví dụ; khi cùng 5 ví dụ, ChatGPT lại tốt hơn.112 Riêng đổi kỹ thuật prompt đã đưa Gemini Ultra từ 83,7% lên 90,04% trên MMLU.111

When Google launched Gemini in December 2023, it claimed Gemini beat ChatGPT on the MMLU benchmark. But Gemini was evaluated with a prompting technique called CoT@32, shown 32 examples, while ChatGPT was shown only 5; at five examples each, ChatGPT performed better.112 Changing the prompting technique alone moved Gemini Ultra from 83.7% to 90.04% on MMLU.111

Tự kiểmTự hỏi mìnhDiagnostic

Năm câu hỏi trước khi viết dòng mã đầu tiênNăm câu hỏi trước khi bắt tayFive questions before the first line of code

Chương 1 không dạy kỹ thuật nào cả; nó dạy cách đặt câu hỏi. Năm câu dưới đây rút thẳng từ khung lập kế hoạch của chương.

Bài này không dạy cách làm, mà dạy cách hỏi. Đây là năm câu nên hỏi trước.

Chapter 1 teaches no technique; it teaches how to ask. These five questions come straight from the chapter’s planning framework.

Ứng dụng này có thật sự cần AI không — và nếu bỏ AI đi, nó còn chạy được không? Đây là cặp cốt lõi–bổ trợ. AI càng cốt lõi thì yêu cầu về độ chính xác và tin cậy càng gắt, vì người dùng chỉ khoan dung với sai sót khi AI không phải phần lõi. Trả lời câu này trước cũng quyết định mức đầu tư vào đánh giá: một tính năng bổ trợ có thể sống với đánh giá nhẹ tay, một tính năng cốt lõi thì không.
Bạn đang đứng ở đâu trên thang rủi ro: tồn vong, cơ hội, hay sợ bị bỏ lại? Ba nấc ấy dẫn tới ba quyết định khác nhau về việc tự xây hay đi mua, và về mức độ ưu tiên nguồn lực. Nếu là tồn vong, Huyen khuyên làm trong nhà thay vì trao cho một đối thủ. Nếu là cơ hội, gần như luôn có lựa chọn mua sẵn tốt hơn, rẻ hơn và nhanh hơn.
Con người đứng ở đâu trong vòng ra quyết định — tham khảo, lọc, hay vắng mặt? Ba cách bố trí mà sách nêu cho bot hỗ trợ khách hàng: AI gợi ý cho nhân viên, AI trả lời yêu cầu đơn giản còn phức tạp thì chuyển người, hoặc AI trả lời tất cả. Vị trí này nên dịch chuyển theo dữ liệu chứ không theo niềm tin: chỉ nới quyền cho AI khi tỷ lệ nhân viên chấp nhận nguyên văn đủ cao.
Ngưỡng hữu dụng của bạn là con số nào? Chất lượng, độ trễ, chi phí mỗi lượt suy luận, cùng các chỉ số khác như khả năng diễn giải và tính công bằng — viết ra trước khi xây, không phải sau khi demo chạy được. Nếu mọi yêu cầu hiện đang do người xử lý với thời gian phản hồi trung vị một giờ, thì bất cứ thứ gì nhanh hơn mốc đó có thể đã đủ tốt — ngưỡng phải tham chiếu hiện trạng, không tham chiếu kỳ vọng lý tưởng.
Nếu mô hình nền dưới chân bạn mạnh lên gấp đôi vào quý sau, sản phẩm còn lý do tồn tại không? Đây là câu hỏi phòng thủ. Lớp bạn cung cấp có thể bị chính mô hình bên dưới nuốt gọn khi nó mở rộng năng lực. Ba lợi thế mà sách nêu — công nghệ, dữ liệu, phân phối — với mô hình nền tảng thì công nghệ gần như đồng đều và phân phối nghiêng về công ty lớn, nên câu trả lời thực tế thường nằm ở dữ liệu sử dụng bạn tích lũy được.
Việc này có cần AI thật không? Thử bỏ AI ra xem phần mềm còn dùng được không. Nếu còn, thì AI chỉ là thứ làm cho tiện hơn thôi.
Bạn làm vì sợ mất, hay vì muốn được thêm? Sợ mất thì tự làm lấy. Muốn được thêm thì đi thuê là đủ.
Ai là người quyết định cuối cùng? Máy gợi ý cho người, hay máy tự trả lời khách? Hai cách khác nhau rất nhiều.
Giỏi tới mức nào thì mới đem ra dùng được? Hãy ghi con số ra giấy trước khi làm, chứ đừng đợi làm xong rồi mới nghĩ.
Nếu cỗ máy thuê được tự làm luôn việc của bạn thì sao? Hỏi trước câu này để khỏi mất công xây thứ sẽ biến mất.
Does this application actually need AI — and would it still work without it? This is the critical-versus-complementary test. The more critical AI is, the tighter the accuracy and reliability requirements, because people forgive mistakes only when AI is not core.
Where do you sit on the risk ladder: continuity, opportunity, or fear of being left behind? The three rungs lead to different build-or-buy decisions and different resource priorities.
Where does the human sit in the decision loop — reference, filter, or absent? The book's three arrangements for a support bot: AI drafts for human agents, AI handles simple requests and routes complex ones, or AI answers everything directly.
What number is your usefulness threshold? Quality, latency, cost per inference request, plus metrics like interpretability and fairness — written down before you build, not after the demo runs.
If the model beneath you doubles in capability next quarter, does your product still have a reason to exist? This is the defensibility question. The layer you provide can be subsumed by the model underneath as it expands.
Đọng lạiNhớ điều nàyWhat remains
Mô hình giờ là thứ mua được. Thứ không mua được là biết mình đang giải bài toán nào — và biết khi nào máy trả lời sai. Cỗ máy giỏi thì ai cũng thuê được. Cái không thuê được là biết mình muốn gì — và biết lúc nào máy nói sai. Nhớ nhé: học cách kiểm tra quan trọng hơn học cách ra lệnh. The model is now something you can buy. What you cannot buy is knowing which problem you are solving — and knowing when the machine is wrong.