---
title: "Xác suất thống kê cho AI Engineer - phân phối, entropy, khoảng tin cậy, kiểm định giả thuyết và bootstrap"
description: "Khóa học xác suất thống kê cho AI Engineer kết nối trực tiếp các khái niệm phân phối, entropy, khoảng tin cậy và bootstrap với công việc đánh giá model. Bạn học cách đọc loss, KL và so sánh hai checkpoint kèm độ bất định cùng các giả định thực tế, thay vì chỉ tin vào những điểm số đơn lẻ."
canonical: "https://200lab.io/courses/probability-and-statistics-for-ai-engineers"
type: "course"
course_type: "course"
learning_type: "free_form"
published: "2026-10-22T02:51:22Z"
students: 34
---

## Khóa học này mang lại gì cho bạn

Khóa học bắt đầu từ những nền tảng của khóa Toán học cơ bản cho AI Engineer, như cách tính xác suất bằng phép đếm, giá trị kỳ vọng và khoảng tin cậy của một tỉ lệ. Từ điểm tựa đó, bạn lần lượt đi qua bốn chương của xác suất thống kê, với mỗi khái niệm được mở đầu bằng một ví dụ đời thường đủ nhỏ để tính tay trên giấy. Cuối mỗi bài học, bạn thấy rõ khái niệm ấy xuất hiện ở đâu khi model được train, được đánh giá trên bộ eval và sinh từng token.

- **Kiểm tra tính độc lập** — Trên bảng đếm 2 × 2, bạn đọc xác suất đồng thời, xác suất biên và xác suất có điều kiện. Khi model trả lời sai **30%** ở nhóm câu dài nhưng chỉ sai **10%** ở nhóm câu ngắn, bạn nhận biết việc trả lời sai và độ dài câu không độc lập với nhau, dù bảng số liệu chưa kết luận câu dài là nguyên nhân. Bạn cũng tính xác suất của cả chuỗi token bằng quy tắc nhân dạng chuỗi.
- **Tính lại posterior khi prior đổi** — Model phân loại được train trên dữ liệu cân bằng **50/50** gán cho một email xác suất **0,9** rằng đây là email lừa đảo. Khi đưa vào vận hành ở nơi email lừa đảo chỉ chiếm **5%**, nếu điểm của model khớp tỉ lệ thật lúc train và đặc trưng từng lớp giữ nguyên, định lý Bayes cho thấy xác suất thực tế chỉ còn xấp xỉ **32%**.
- **Chọn phân phối cho dữ liệu** — Bạn lựa chọn phân phối binomial, Poisson hay normal dựa theo cách số liệu được tạo ra, không dựa theo cảm nhận hình dạng từ biểu đồ tần số. Với **200** câu hỏi độc lập có xác suất đúng **78%**, bạn tính được số câu đúng dao động quanh **156** câu với độ lệch chuẩn xấp xỉ **5,86** câu.
- **Đọc loss và KL** — Bạn tính entropy, cross-entropy và KL trên bảng xác suất gồm **3** giá trị, hiểu lý do loss khởi đầu xấp xỉ **10,82** nat mỗi token khi model chia đều xác suất cho **50.257** token. Khi distill hay fine-tune, bạn đặt hai phân phối trong KL theo đúng thứ tự vì đảo chiều sẽ làm thay đổi kết quả.
- **Dựng khoảng tin cậy cho điểm eval** — Bạn tính standard error và hiểu khoảng tin cậy là kết quả của một quy trình đo lường: nếu lặp lại việc lấy mẫu nhiều lần thì xấp xỉ **95%** số khoảng tạo ra sẽ chứa giá trị thật. Với điểm F1 khi không có sẵn công thức giải tích, bạn dùng bootstrap để rút lại mẫu theo đúng đơn vị lấy mẫu ban đầu.
- **So sánh hai checkpoint** — Với mức chênh lệch **2** điểm phần trăm trên cùng **600** câu hỏi, bạn tính p-value theo cặp, diễn giải chính xác giá trị này mà không biến nó thành xác suất hai checkpoint ngang nhau, đồng thời ước tính bộ eval cần bao nhiêu cặp câu để phát hiện mức chênh lệch ấy với power **80%**.
- **Viết báo cáo eval có giả định** — Bạn nhận diện các tình huống câu hỏi bị gom cụm theo tài liệu, xuất hiện rò rỉ dữ liệu hoặc bản ghi tốt nhất được chọn sau nhiều lần thử. Bạn điều chỉnh ngưỡng bằng Bonferroni hoặc Holm, giữ riêng một bộ held-out, rồi lập báo cáo bằng khoảng tin cậy của chênh lệch kèm theo danh sách các giả định kỹ thuật.

Đây là khóa học toán nền tảng định hướng thực hành cho AI Engineer, tập trung vào bản chất và ứng dụng thay vì chứng minh định lý, không phụ thuộc vào bất kỳ framework hay model cụ thể nào.

## Khóa học cung cấp những nền tảng nào

Ý tưởng xuyên suốt khóa học là nhiều số liệu trên báo cáo eval hay training log, như accuracy hay loss, được tính từ một mẫu có hạn để ước lượng kết quả trên dữ liệu mới. Số liệu ước lượng luôn đi kèm độ bất định, khác biệt với những số đếm xác định như **600** câu hỏi hay **40** tài liệu. Muốn hiểu đúng số ước lượng, bạn cần nắm rõ công thức tính toán và các giả định đứng sau.

Bốn chương học dẫn dắt từ nền tảng xác suất tới phân phối, sau đó bước sang ước lượng, kiểm định giả thuyết và xử lý những vi phạm giả định trên bộ eval thực tế.

Nếu muốn tìm hiểu thêm tài liệu tham khảo bên ngoài, bạn có thể xem trang [Probability Distributions trên Seeing Theory](https://seeing-theory.brown.edu/probability-distributions/index.html) với các mô phỏng tương tác trực quan, sách mở [OpenIntro Statistics](https://www.openintro.org/book/os/) về khoảng tin cậy cùng kiểm định giả thuyết, hoặc bài nghiên cứu [Adding Error Bars to Evals](https://arxiv.org/html/2411.00640v1) hướng dẫn báo cáo độ bất định cho điểm đánh giá model.

### 1. Xác suất đồng thời, định lý Bayes và biến ngẫu nhiên

Bạn mở đầu với bảng đếm **200** cây kem bán trong một buổi chiều, phân loại theo vị kem và tình trạng rắc topping. Trên bảng đó, bạn đọc xác suất đồng thời, xác suất biên, xác suất có điều kiện và kiểm tra tính độc lập: ô sô-cô-la có topping chiếm 0,10, khác với tích hai xác suất biên 0,25 × 0,25. Khi các biến cố phụ thuộc nhau, quy tắc nhân dạng chuỗi vẫn giữ nguyên tính chính xác để tính xác suất cho cả chuỗi.

Một chiếc bóng đèn bị hỏng vừa được mang tới: khả năng nó đến từ nhà máy A hay nhà máy B? Định lý Bayes tháo gỡ câu hỏi này bằng cách kết hợp prior, likelihood và posterior. Khi nhà máy B chỉ còn cung cấp **10%** lượng hàng thay vì **30%**, xác suất chiếc bóng hỏng đến từ B giảm mạnh từ xấp xỉ **63,2%** xuống còn xấp xỉ **30,8%**. Phép tính này cho thấy điểm số của một model phân loại được train trên tập dữ liệu cân bằng cần phải được tính toán lại khi đưa vào môi trường thực tế có tỉ lệ nền lệch.

Biến ngẫu nhiên gán một giá trị số cho mỗi kết quả ngẫu nhiên, ví dụ như số đèn đỏ bạn gặp trên ba ngã tư mỗi sáng; bạn mô tả sự biến thiên của nó qua PMF và CDF. Ngược lại, thời gian chờ trong một pha đèn đỏ dài **30 giây** đòi hỏi mô tả bằng hàm mật độ (PDF), nơi diện tích dưới đường cong mới phản ánh xác suất thực sự.

Khi đưa vào bài toán model ngôn ngữ lớn, quy tắc nhân dạng chuỗi cho phép tính xác suất của cả một chuỗi token liên tiếp: nếu “Hà” có xác suất 0,5 và “Nội” có xác suất 0,9 khi đứng sau “Hà”, thì cụm “Hà Nội” nhận xác suất 0,45. Bảng xác suất token sau hàm softmax chính là một PMF rời rạc. Đối với điểm số do model chấm (judge) đưa ra trên thang rời rạc, xác suất điểm “trên 0,8” và xác suất điểm “từ 0,8 trở lên” có thể là **0,65** và **0,75** do có câu nhận điểm bằng đúng 0,8.

### 2. Phân phối xác suất, hiệp phương sai và entropy

Trong một mẻ ấp gồm **4** quả trứng nở độc lập với xác suất mỗi quả là 0,8, tổng số quả nở tuân theo phân phối binomial. Số quả trứng bị vỡ mỗi tuần trong kho lại tuân theo phân phối Poisson khi các sự cố diễn ra lần lượt từng quả, độc lập và với tốc độ trung bình ổn định. Bạn học cách chọn phân phối bằng cách đặt câu hỏi về cơ chế sinh ra dữ liệu thay vì nhìn hình dáng bên ngoài của đồ thị.

Số câu trả lời đúng trên một bộ eval tuân theo phân phối binomial khi các câu hỏi độc lập và có cùng độ khó, trong khi phần lớn weight của GPT-2 được khởi tạo theo phân phối normal với độ lệch chuẩn 0,02.

Bạn tính hiệp phương sai từ dữ liệu bốn đơn hàng pizza gồm quãng đường và thời gian giao. Phương sai của một hiệu số được ứng dụng để so sánh hai checkpoint được chấm trên cùng **600** câu hỏi. Dưới giả định các câu độc lập, standard error của mức chênh lệch xấp xỉ **1,41** điểm phần trăm khi ghép cặp, nhưng sẽ bị thổi phồng lên mức xấp xỉ **2,26** nếu xem như hai mẫu riêng biệt. Định lý kỳ vọng toàn phần giúp bạn gộp loss từ ba nguồn dữ liệu web, code và toán học thành một giá trị đại diện chung cho cả tập dữ liệu.

Bạn đo lường entropy, cross-entropy và KL bằng đơn vị bit trên bảng dự báo thời tiết ba trạng thái nắng, mây, mưa. Nếu bản dự báo gán xác suất 0 cho trời mưa trong khi thực tế vẫn có mưa, KL(p‖q) sẽ tiến tới vô hạn, dù chiều ngược lại KL(q‖p) vẫn nhận một giá trị hữu hạn. Chuyển sang language model, bạn đổi sang đơn vị nat mỗi token, đọc dòng loss đầu tiên trong training log và theo dõi giá trị KL thay đổi khi hoán đổi vị trí giữa teacher model và student model lúc distill.

### 3. Ước lượng và kiểm định giả thuyết trên bộ eval

Người làm vườn cân thử hai trong số năm cây bưởi để ước lượng sản lượng trung bình cho toàn bộ khu vườn theo hai cách tính khác nhau. Qua ví dụ đó, bạn phân biệt rạch ròi giữa estimator lệch (sai lệch do công thức tính toán) và mẫu lệch (sai lệch do quy trình thu thập dữ liệu). Thói quen chỉ báo cáo điểm số cao nhất trong **5** lần chạy với các seed khác nhau chính là một estimator lệch lên. Khi chấm điểm **2.000** lượt thoại rút ra từ **200** cuộc chat, cỡ mẫu thực tế về mặt thống kê vẫn chỉ dừng ở con số **200** cuộc chat.

Bài toán cân bao gạo kết hợp mô phỏng giúp bạn quan sát trực tiếp standard error, luật số lớn và định lý giới hạn trung tâm. Khi các bao gạo được lấy độc lập, việc cân **100** bao thay vì **25** bao sẽ giúp thu hẹp standard error của giá trị trung bình xuống còn một nửa. Tuy nhiên, nếu các bao gạo trong cùng một mẻ có khối lượng phụ thuộc vào nhau, khoảng tin cậy danh định ghi **95%** có thể chỉ bao phủ được giá trị thật chừng **82%** số lần lặp lại.

Một xưởng gốm nung thử **200** sản phẩm trong lò mới; bạn thiết lập giả thuyết H0 rằng lò mới làm vỡ sản phẩm với tỉ lệ như lò cũ, tính p-value và phân tích nguy cơ mắc lỗi loại I, lỗi loại II cùng chỉ số power. Đối với hai checkpoint so sánh trên cùng **600** câu, bạn tính p-value theo cặp cho mức chênh lệch **2** điểm phần trăm, rồi xác định số lượng cặp câu cần thiết để đạt power **80%** sau khi ước lượng phương sai của hiệu điểm từ lần chạy thử nghiệm ban đầu.

Bộ dữ liệu gồm sáu viên pin sạc thuộc hai chủng loại giúp bạn thực hành permutation test bằng cách hoán đổi nhãn để tính p-value và bootstrap bằng cách rút lại mẫu có hoàn lại để ước lượng độ dao động khi không có sẵn công thức tính toán giải tích. Áp dụng trên ví dụ **600** câu hỏi độc lập, việc rút lại theo từng cặp câu cho khoảng tin cậy bootstrap xấp xỉ **95%** của hiệu F1 nằm trong đoạn từ 0,001 tới 0,094. Nếu rút rời rạc từng dòng kết quả của mỗi prompt, khoảng tin cậy sẽ bị nới rộng và chứa giá trị 0.

### 4. Mẫu phụ thuộc, leakage và cách báo cáo độ bất định

Khảo sát mức độ tiếng ồn tại sáu mươi căn hộ thuộc sáu tòa nhà cho thấy các căn hộ trong cùng tòa nhà thường có mức ồn tương đồng; đây là bối cảnh xuất hiện của khái niệm cụm, tương quan nội cụm, hệ số thiết kế và cỡ mẫu hiệu dụng. Khi bộ eval chứa các câu hỏi trích từ cùng một tài liệu khiến kết quả đúng sai gắn liền với nhau, bạn tính toán lại standard error cho accuracy. Bạn dùng đoạn code Python ngắn để chia các câu hỏi theo tài liệu, hoặc chia theo người dùng hay thời gian tùy thuộc vào mục tiêu đánh giá.

Một chiếc áo được cắt gọt theo số đo của **5** người mẫu có thể vừa vặn với cả 5 người đó nhưng chỉ vừa với **70%** lượng khách hàng mới bước vào tiệm. Từ ví dụ thực tế này, bạn phân định rõ giữa selection bias, leakage và hiện tượng contamination dữ liệu, đồng thời xác lập vai trò chuẩn mực cho tập train, tập validation và tập test. Khi có **15%** số câu test bị lọt vào tập dữ liệu train, accuracy chung đạt **80,55%** sẽ cao hơn mức **78%** đo được trên nhóm câu hỏi sạch chưa từng xuất hiện.

Một người đi câu thử nghiệm **5** loại mồi mới cùng lúc; số lượng phép so sánh càng nhiều thì khả năng xuất hiện một loại mồi trông có vẻ vượt trội do may rủi càng tăng cao. Chỉ số FWER đo lường chính xác rủi ro này, trong khi các kỹ thuật hiệu chỉnh Bonferroni và Holm giúp kiểm soát nó không vượt qua ngưỡng đã chọn. Khi so sánh model mới với model cũ trên **12** nhóm câu hỏi, ngưỡng p-value cho từng nhóm theo Bonferroni giảm xuống còn xấp xỉ 0,0042. Kết luận cuối cùng sau đó được xác nhận lại đúng một lần trên bộ held-out độc lập.

Tài liệu một dòng xe điện công bố tầm vận hành **320 km** sau mỗi lần sạc, sau đó phiên bản pin mới đạt **331 km**: sự khác biệt này có thực sự đáng tin cậy? Bạn dựng khoảng tin cậy cho mức chênh lệch giữa hai mẫu độc lập, và nhận ra hai khoảng tin cậy riêng lẻ hoàn toàn có thể chồng lấn lên nhau trong khi khoảng tin cậy của chênh lệch vẫn tách biệt khỏi giá trị 0. Bài học khép lại bằng mẫu câu báo cáo chuẩn mực dành cho người ra quyết định, nêu bật đầy đủ các giả định và những điều kiện chưa được kiểm chứng.

## Vì sao 200Lab tạo ra khóa học này

Sau khi hoàn thành các bài học toán cơ bản, bạn đã có thể tính toán tỉ lệ chính xác và khoảng tin cậy của tỉ lệ đó. Dù vậy, công việc phát triển hệ thống AI nhanh chóng đặt ra những bài toán hóc búa hơn: mức chênh lệch giữa hai checkpoint chạy trên cùng một tập dữ liệu có thực sự là một cải tiến kỹ thuật, giá trị KL trong training log đang đo lường theo chiều hướng nào, hay thanh error bar trong bài báo khoa học đang biểu diễn một hay hai lần standard error?

Cạm bẫy thường gặp là tiếp nhận các số liệu hiển thị trên màn hình như một kết luận chắc chắn. Nhiều người quyết định giữ lại một checkpoint chỉ vì nó nhỉnh hơn **2** điểm phần trăm, hoặc công bố điểm số đo được trên chính tập câu hỏi vừa dùng để tinh chỉnh prompt. Cách làm này mang lại rủi ro lớn: bạn có thể tiêu tốn ngân sách train cho một phiên bản không hề vượt trội, gửi đi những bản báo cáo quá lạc quan rồi chứng kiến điểm số sụt giảm khi tiếp xúc với người dùng thực tế, hoặc bỏ lỡ những bước tiến có thật chỉ vì ước lượng sai số bị phóng đại.

200Lab nhận thấy kỹ sư theo đuổi lĩnh vực AI thường phải tiếp cận kiến thức từ hai nguồn rời rạc. Các giáo trình thống kê học thuật thường giải thích p-value qua những ví dụ y sinh, trong khi tài liệu chuyên môn về eval lại sử dụng kỹ thuật bootstrap hay so sánh theo cặp như một điều hiển nhiên mà người đọc đã thành thạo. Cầu nối giữa hai mảng kiến thức—tức cách chuyển hóa các nguyên lý thống kê vào việc phân tích bộ eval và training log—hiếm khi được hệ thống hóa từng bước.

Khóa học này được xây dựng để hoàn thiện cây cầu đó. Bạn bắt đầu bằng việc tính tay trên những tình huống mộc mạc như quầy bán kem, bao gạo hay lò nung gốm, rồi mang đúng phương pháp tính đó áp dụng vào điểm eval, training loss và KL. Bạn sẽ tự tin xác định một số liệu đáng tin cậy đến đâu và dựa trên những giả định nào trước khi đưa ra quyết định kỹ thuật hay phát hành báo cáo.

## Những vấn đề thường gặp khi đọc kết quả eval và loss của model

Thói quen phổ biến trong thực tế là xem mỗi số liệu trên bảng báo cáo như một thước đo chắc chắn, từ đó nhanh chóng đưa ra lựa chọn dựa vào giá trị lớn hơn. Cách tiếp cận này thuận tiện nhưng bỏ quên nguồn gốc của mẫu dữ liệu, phương thức tính toán và các giả định đi kèm. Danh sách dưới đây chỉ ra những điểm chưa chuẩn xác thường gặp khi phân tích kết quả.

- Checkpoint B hơn checkpoint A **2** điểm phần trăm trên **600** câu hỏi với p-value xấp xỉ **0,16**, và đội ngũ đọc thành “chỉ có **16%** khả năng hai checkpoint có năng lực ngang nhau” — p-value được tính toán dưới giả định hai checkpoint ngang nhau, do đó không thể đại diện cho xác suất của chính giả định đó. Giá trị 0,16 chỉ ra rằng nếu giả định đó đúng, mức chênh lệch từ **2** điểm phần trăm trở lên theo bất kỳ hướng nào sẽ xuất hiện khoảng **16** lần trong **100** lần thử nghiệm tương tự, với điều kiện các câu hỏi độc lập và chưa qua bước chọn lọc checkpoint.
- Model phân loại gán cho email xác suất **0,9** là lừa đảo, và bản báo cáo kết luận email đó mang xác suất lừa đảo **90%** — ngay cả khi điểm số khớp với tỉ lệ trên tập train cân bằng **50/50**, xác suất này gắn liền với prior của môi trường train. Tại nơi vận hành thực tế khi email lừa đảo chỉ chiếm **5%**, nếu các đặc trưng dữ liệu không thay đổi, định lý Bayes xác định posterior thực tế chỉ đạt mức xấp xỉ **32%**.
- Hai model đạt accuracy **80%** và **83%** trên hai tập dữ liệu độc lập gồm **2.000** câu, hai khoảng tin cậy riêng lẻ chồng lên nhau, và báo cáo ghi nhận “chưa thể phân biệt được sự khác nhau” — chỉ có khoảng tin cậy của mức chênh lệch mới trả lời chính xác câu hỏi này. Khi hai model được cố định từ trước, các câu hỏi độc lập và rút ngẫu nhiên từ cùng một phân phối, khoảng tin cậy xấp xỉ **95%** của chênh lệch dao động từ xấp xỉ **0,5** tới **5,5** điểm phần trăm và hoàn toàn không chứa giá trị 0.
- Bộ eval có quy mô **600** câu hỏi và standard error của accuracy được tính toán như thể có **600** phép đo độc lập — các câu hỏi thực chất được trích xuất từ **40** tài liệu nguồn, mỗi tài liệu gồm **15** câu, và kết quả giữa các câu trong cùng tài liệu thường có xu hướng phụ thuộc lẫn nhau. Lúc này standard error thực tế lớn hơn giá trị tính theo giả định độc lập, đòi hỏi bạn phải tính toán lại dựa trên cấu trúc gom cụm của tài liệu.
- Sau **30** lần điều chỉnh câu chữ của prompt trên cùng **200** câu hỏi, phiên bản đạt điểm cao nhất với **88%** được công bố làm kết quả chính thức — tập câu hỏi dùng để sàng lọc đã trở thành tập validation, và khi đem thử nghiệm trên một tập test mới chưa từng dùng, phiên bản prompt đó chỉ đạt mức **81%**.
- Accuracy trên tập test đạt **80,55%**, và giá trị này được hiểu là năng lực thực tế của model khi xử lý câu hỏi mới — thực tế có **15%** số câu test đã bị rò rỉ vào tập dữ liệu train và đạt tỉ lệ trả lời đúng **95%**, do đó điểm số chung bị nhóm câu hỏi bị lộ kéo cao hơn mức **78%** của nhóm câu hỏi sạch.
- Bảng tổng hợp **12** nhóm tác vụ cho thấy có **6** nhóm đạt p-value dưới 0,05, và nhóm trích xuất thông tin với p-value 0,012 được nhặt ra để đưa vào báo cáo như một phát hiện chính — nếu model mới không có sự cải thiện nào ở cả **12** nhóm và các phép thử độc lập với mức ý nghĩa 0,05, xác suất xuất hiện ít nhất một nhóm vượt qua ngưỡng do yếu tố ngẫu nhiên là xấp xỉ **46%**. Trong bảng dữ liệu đó, chỉ có **3** nhóm thực sự vượt qua quy trình hiệu chỉnh Holm, và nhóm trích xuất thông tin không nằm trong số này.

Từng trường hợp nêu trên đều được phân tích cặn kẽ và tính toán lại từ đầu trong các bài học của khóa, bắt đầu từ những ví dụ trực quan ngoài lĩnh vực AI.

## Bạn sẽ học theo cách nào

- **Ví dụ đời thường trước, model sau** — Mỗi bài học mở đầu bằng một tình huống quen thuộc với số nhỏ có thể nhẩm tính bằng giấy bút, như việc chọn bóng đèn từ hai nhà máy, một mẻ ấp trứng hay sáu viên pin sạc; phần liên hệ thực tế trong model chỉ xuất hiện sau khi bạn đã tự tay tính ra kết quả.
- **Hình minh họa và phần tương tác** — Các bảng đếm và đồ thị phân phối được trình bày rõ ràng, bám sát các bước tính toán. Ở các chủ đề về CDF, phân phối binomial, khoảng tin cậy hay power, bạn có thể tương tác với các công cụ trực quan để thay đổi tham số và quan sát sự dịch chuyển của số liệu; ở bài học về bootstrap, bạn quan sát biểu đồ tần số hình thành qua từng lượt rút mẫu ngẫu nhiên.
- **Một khái niệm, một bài** — Bạn tiếp cận từng khái niệm qua ví dụ cụ thể, đi đến định nghĩa chính xác kèm điều kiện áp dụng, nhận diện những điểm hiểu nhầm phổ biến, rồi thực hành ngay một thao tác trên chính dữ liệu của mình.
- **Bài nền đứng ngay trước bài cần đến nó** — Mười hai bài học nền tảng từ khóa Toán học cơ bản cho AI Engineer được sắp xếp đan xen vào lộ trình, xuất hiện ngay trước bài học cần vận dụng kiến thức đó; nếu bạn đã hoàn thành khóa học trước, hệ thống sẽ tự động ghi nhận các bài này.
- **Quiz với số liệu mới** — Phần câu hỏi trắc nghiệm ngắn ở cuối mỗi bài học sử dụng một bộ số liệu mới hoàn toàn, bao gồm những câu hỏi gợi mở để bạn dự đoán xu hướng trước khi bắt tay vào tính toán chi tiết.

## Khóa học dành cho ai

1. **AI Engineer** — Bạn chuyển hướng từ lập trình phần mềm sang làm AI hoặc sinh viên định hướng nghề nghiệp, cần nắm vững phương pháp so sánh hai checkpoint, đọc hiểu loss và KL, dựng khoảng tin cậy cho metric và chia tập train, tập validation và tập test đúng cách.
2. **Vibe coder muốn đi sâu** — Bạn xây dựng ứng dụng với AI và cần hiểu rõ báo cáo eval hay các bảng kết quả thực nghiệm trong paper để lựa chọn model phù hợp cho dự án.
3. **AI/Agent Builder** — Bạn đưa ra quyết định chọn lựa prompt, checkpoint hay cấu hình agent dựa trên các chỉ số benchmark và cần nắm rõ cách chất vấn nguồn gốc dữ liệu cùng các giả định thống kê đi kèm.

## Những điều cần lưu ý

- **Không chứng minh định lý** — Khóa học không đi sâu vào việc chứng minh các định lý toán học phức tạp; tích phân chỉ được tiếp cận dưới góc nhìn diện tích dưới đường cong mật độ. Khóa học cũng không đi sâu vào lý thuyết Bayesian modeling hay suy diễn nhân quả (causal inference), mà tập trung cung cấp đủ công cụ tính toán để bạn kiểm tra số liệu của model.
- **Không giải thích cơ chế model** — Tại các phần liên hệ thực tế, bạn đọc hiểu loss, KL và điểm eval thông qua các công thức toán học vừa học, nhưng bài học không phân tích chi tiết cơ chế kiến trúc bên trong của từng dòng model; phương pháp đọc số liệu này áp dụng chung cho mọi model.
- **Không đòi hỏi viết code** — Phần lớn các bài tập tính toán chỉ cần thao tác bằng giấy bút hoặc máy tính cầm tay. Những quy trình đòi hỏi lặp lại hàng nghìn lần như bootstrap hay mô phỏng hội tụ khoảng tin cậy được chạy tự động với kết quả cho sẵn. Một số đoạn mã Python ngắn ở phần bootstrap và phân tích dữ liệu cụm nhằm giúp bạn nhận diện cấu trúc khi đọc mã nguồn trong các thư viện eval.
- **Số liệu về model là số giả định** — Các bảng điểm eval, tên checkpoint và thông số cấu hình trong bài học được thiết lập cho mục đích minh họa phương pháp, ngoại trừ một số giá trị cấu hình công khai của GPT-2; các bước tính toán có thể áp dụng trực tiếp cho tập dữ liệu thực tế của bạn.

## Bắt đầu từ đâu

Bài mở đầu giới thiệu một trang kết quả eval so sánh hai checkpoint trên **600** câu hỏi với đầy đủ các số đo quen thuộc từ accuracy, p-value đến khoảng tin cậy và KL, sau đó đặt câu hỏi về những khái niệm toán học cần có để hiểu đúng từng số liệu. Bạn quy đổi mức chênh lệch **2** điểm phần trăm thành **12** câu hỏi cụ thể và kết nối từng chỉ số với chương học tương ứng. Bài học xuất phát từ những phép tính nhân và trừ quen thuộc, giúp bạn thấy rõ cả bốn chương học đều hướng về việc làm chủ trang số liệu mà bạn sẽ gặp thường xuyên trong công việc.

## Chương trình

- Xác suất, thống kê và số liệu trên trang kết quả eval của model (miễn phí)

### Xác suất đồng thời, định lý Bayes và biến ngẫu nhiên

- Xác suất, biến cố đối và bảng xác suất model dùng để chọn token · quiz
- Biến cố độc lập, quy tắc nhân và xác suất cả chuỗi token nháp được nhận · quiz
- Xác suất có điều kiện, recall và điểm eval của từng nhóm câu hỏi · quiz
- Xác suất đồng thời, tính độc lập và quy tắc nhân khi model sinh từng token (miễn phí) · quiz
- Tỉ lệ cơ sở và cảnh báo của model phân loại cho trường hợp hiếm · quiz
- Định lý Bayes, prior, posterior và kết quả của model phân loại (miễn phí) · quiz
- Biến ngẫu nhiên, PMF, PDF, CDF và cách đọc phân phối đầu ra của model (miễn phí) · quiz

### Phân phối xác suất, hiệp phương sai và entropy

- Trung bình, trung vị và điểm eval khi một lần chạy cho điểm lệch hẳn · quiz
- Phân vị, p99 và đuôi dài của thời gian chờ khi phục vụ model · quiz
- Giá trị kỳ vọng và số token trung bình mỗi bước speculative decoding · quiz
- Phương sai, độ lệch chuẩn và phép chia cho căn bậc hai trong attention · quiz
- Phân phối binomial, Poisson, normal và số câu đúng trên bộ eval · quiz
- Hiệp phương sai, kỳ vọng toàn phần và điểm eval gộp từ nhiều nhóm · quiz
- Log xác suất, loss và perplexity khi train và đánh giá model · quiz
- Entropy, cross-entropy, KL và loss khi train language model · quiz

### Ước lượng và kiểm định giả thuyết trên bộ eval

- Tổng thể, mẫu thống kê và bộ eval đại diện cho dữ liệu nào · quiz
- Estimator, bias và đơn vị lấy mẫu trong đánh giá model · quiz
- Khoảng tin cậy, sai số và chênh lệch điểm eval giữa hai model · quiz
- Standard error, định lý giới hạn trung tâm và khoảng tin cậy cho điểm eval trung bình · quiz
- Xác suất và multiple comparisons khi giữ cấu hình có điểm cao nhất · quiz
- Kiểm định giả thuyết, p-value, power và so sánh hai checkpoint · quiz
- Bootstrap, permutation test và khoảng tin cậy cho F1 trên bộ eval · quiz

### Mẫu phụ thuộc, leakage và cách báo cáo độ bất định

- Mẫu phụ thuộc, cỡ mẫu hiệu dụng và cách chia bộ eval theo nhóm · quiz
- Selection bias, leakage và vai trò của các tập train, validation và test · quiz
- Hiệu chỉnh Bonferroni và Holm cùng bộ held-out để xác nhận kết quả · quiz
- Khoảng tin cậy của chênh lệch, giả định và báo cáo kết quả eval cho người ra quyết định · quiz
- Một nghìn dòng test có nói được chuyện ngoài đời không? · quiz · kit cho agent