---
title: "Xác suất thống kê cho AI Engineer - phân phối, entropy, khoảng tin cậy, kiểm định giả thuyết và bootstrap"
description: "Khóa xác suất thống kê cho AI Engineer, nối tiếp khóa Toán học cơ bản cho AI Engineer, đi từ định lý Bayes, phân phối và entropy tới khoảng tin cậy, kiểm định giả thuyết và bootstrap. Bạn tính tay trên ví dụ đời thường, rồi đọc loss, KL và điểm eval kèm độ bất định và giả định đứng sau chúng."
canonical: "https://200lab.io/courses/probability-and-statistics-for-ai-engineers"
type: "course"
course_type: "course"
learning_type: "free_form"
published: "2026-10-22T02:51:22Z"
students: 2
---

## Khóa học này mang lại gì cho bạn

Khóa học bắt đầu từ nền mà khóa Toán học cơ bản cho AI Engineer đã dựng, như cách tính xác suất bằng phép đếm, kỳ vọng và khoảng tin cậy của một tỉ lệ. Từ đó, bạn lần lượt học bốn chương của xác suất thống kê, mỗi khái niệm được mở đầu bằng một ví dụ đời thường đủ nhỏ để tính tay. Cuối mỗi bài, bạn thấy khái niệm ấy nằm ở đâu khi model được train, được đánh giá và sinh token.

- **Kiểm tra tính độc lập** — Trên bảng đếm 2 × 2, bạn đọc xác suất đồng thời, xác suất biên, xác suất có điều kiện. Khi model sai **30%** ở câu dài nhưng chỉ **10%** ở câu ngắn, bạn biết “trả lời sai” và “câu dài” không độc lập, dù bảng chưa cho thấy câu dài là nguyên nhân. Bạn cũng tính xác suất của cả một cụm token bằng quy tắc nhân dạng chuỗi.
- **Tính lại posterior khi prior đổi** — Model phân loại được train trên dữ liệu **50/50** cho một email xác suất **0,9** rằng email là email lừa đảo. Ở nơi dùng thật, email lừa đảo chỉ chiếm **5%**; nếu điểm của model khớp tỉ lệ thật trên dữ liệu train và email của từng lớp vẫn giống email cùng lớp lúc train, định lý Bayes cho thấy xác suất ấy chỉ còn xấp xỉ **32%**.
- **Chọn phân phối cho dữ liệu** — Bạn chọn binomial, Poisson hay normal theo cách con số được tạo ra, không theo dáng của histogram. Với **200** câu độc lập, mỗi câu đúng với xác suất **78%**, bạn tính được số câu đúng dao động quanh **156** câu với độ lệch chuẩn xấp xỉ **5,86** câu.
- **Đọc loss và KL** — Bạn tính entropy, cross-entropy và KL trên một bảng xác suất của **3** giá trị, hiểu vì sao loss khởi đầu xấp xỉ **10,82** nat mỗi token khi model chia đều xác suất cho **50.257** token. Khi distill hay fine-tune, bạn đặt hai phân phối trong KL theo đúng thứ tự, vì đổi chỗ hai phân phối thì KL thường ra số khác.
- **Đặt khoảng tin cậy cho điểm eval** — Bạn tính standard error và hiểu khoảng tin cậy là kết quả của một cách làm lặp lại được: lặp lại việc lấy mẫu nhiều lần thì xấp xỉ **95%** số khoảng tạo ra chứa giá trị thật. Với F1, khi không có công thức tính sẵn, bạn dùng bootstrap, rút lại mẫu theo đúng đơn vị lấy mẫu.
- **So sánh hai checkpoint** — Với mức chênh **2** điểm phần trăm trên cùng **600** câu, bạn tính p-value theo cặp, đọc nó mà không biến nó thành xác suất để hai checkpoint ngang nhau, và ước tính bộ eval cần bao nhiêu cặp câu để phát hiện mức chênh ấy.
- **Viết báo cáo eval có giả định** — Bạn nhận ra khi câu hỏi bị gom theo cùng tài liệu, khi có leakage hay khi bản cao nhất được chọn sau nhiều lần thử. Bạn hiệu chỉnh ngưỡng p-value bằng Bonferroni hay Holm, để dành một bộ held-out, rồi báo kết quả bằng khoảng tin cậy của chênh lệch kèm các giả định.

Đây là khóa toán ở mức đủ dùng cho nghề AI Engineer, không đi vào chứng minh. Các phép tính không gắn với một model hay bộ eval cụ thể nào; với mỗi bộ số liệu, bạn kiểm tra giả định của phép tính trước rồi mới dùng.

## Khóa học cung cấp những nền tảng nào

Ý xuyên suốt cả khóa học là nhiều con số trên báo cáo eval hay training log, như accuracy hay loss, được tính trên một mẫu có hạn để ước lượng kết quả trên dữ liệu mới. Con số ước lượng như vậy mang độ bất định, khác với những số đếm như **600** câu hay **40** tài liệu. Muốn hiểu đúng con số ước lượng ấy, bạn cần biết nó được tính thế nào và dựa trên những giả định nào.

Bốn chương dưới đây đi từ những khái niệm cơ bản của xác suất tới phân phối, rồi tới ước lượng và kiểm định, cuối cùng là những giả định hay không còn đúng trên bộ eval thật.

Nếu muốn tự đọc thêm, bạn có trang [Probability Distributions trên Seeing Theory](https://seeing-theory.brown.edu/probability-distributions/index.html) với các phân phối được vẽ thành hình động, sách miễn phí [OpenIntro Statistics](https://www.openintro.org/book/os/) về khoảng tin cậy và kiểm định giả thuyết, hay bài [Adding Error Bars to Evals](https://arxiv.org/html/2411.00640v1) về cách báo cáo độ bất định của điểm eval.

### 1. Xác suất đồng thời, định lý Bayes và biến ngẫu nhiên

Bạn bắt đầu với bảng đếm **200** cây kem bán trong buổi chiều, chia theo vị kem và topping. Trên bảng ấy, bạn đọc xác suất đồng thời, xác suất biên, xác suất có điều kiện và kiểm tra tính độc lập: ô sô-cô-la có topping chiếm 0,10, khác với tích hai xác suất biên 0,25 × 0,25. Quy tắc nhân dạng chuỗi vẫn đúng cả khi các biến cố phụ thuộc nhau.

Hai nhà máy cùng cấp bóng đèn, và một bóng vừa hỏng: nó đến từ nhà máy nào? Định lý Bayes trả lời câu hỏi ấy bằng prior, likelihood và posterior. Khi nhà máy B chỉ còn cấp **10%** số bóng, xác suất một bóng hỏng đến từ B tụt từ xấp xỉ **63,2%** xuống xấp xỉ **30,8%**. Cùng phép tính ấy cho thấy điểm của một model phân loại được train trên dữ liệu cân bằng phải được đọc lại ở nơi tỉ lệ thật khác hẳn.

Biến ngẫu nhiên là con số có giá trị tùy vào kết quả ngẫu nhiên, như số đèn đỏ bạn gặp trên ba ngã tư mỗi sáng; bạn mô tả nó bằng PMF và CDF. Thời gian bạn chờ trong một pha đèn đỏ dài **30 giây** thì phải mô tả bằng mật độ: với mật độ, diện tích dưới đường cong mới là xác suất.

Ở phía model, quy tắc nhân dạng chuỗi cho xác suất của cả cụm token: “Hà” có xác suất 0,5, “Nội” ngay sau “Hà” có xác suất 0,9, nên “Hà Nội” có xác suất 0,45. Bảng xác suất token sau softmax chính là PMF. Với điểm của model chấm (judge), xác suất điểm “trên 0,8” và xác suất điểm “từ 0,8 trở lên” có thể là **0,65** và **0,75** (giả định) khi có câu được chấm đúng 0,8.

### 2. Phân phối xác suất, hiệp phương sai và entropy

Với mẻ ấp **4** quả trứng, mỗi quả nở với xác suất 0,8 và các quả nở độc lập với nhau, số quả nở theo phân phối binomial. Số quả trứng vỡ mỗi tuần trong kho chỉ theo phân phối Poisson khi trứng vỡ lần lượt từng quả, độc lập với nhau, với tốc độ trung bình ổn định. Bạn chọn phân phối bằng cách hỏi con số được tạo ra thế nào.

Số câu đúng trên bộ eval theo binomial khi các câu độc lập và cùng xác suất đúng, còn phần lớn trọng số của GPT-2 được khởi tạo theo normal với độ lệch chuẩn 0,02.

Bạn tính hiệp phương sai trên bốn đơn pizza, mỗi đơn có quãng đường và thời gian giao. Phương sai của hiệu thì dùng cho hai checkpoint được chấm trên cùng **600** câu. Khi coi các câu độc lập, bài tính ra standard error của chênh lệch xấp xỉ **1,41** điểm phần trăm nếu so theo cặp, và xấp xỉ **2,26** nếu tính như thể hai mẫu riêng. Kỳ vọng toàn phần thì gộp loss của dữ liệu trộn từ web, code và toán thành một con số chung.

Bạn tính entropy, cross-entropy và KL bằng bit trên bản dự báo nắng, mây, mưa của đài dự báo thời tiết. Nếu bản dự báo q gán xác suất 0 cho trời mưa trong khi thời tiết thật p vẫn có ngày mưa, KL(p‖q) thành vô hạn, còn KL(q‖p) vẫn hữu hạn. Sang language model, bạn đổi sang nat mỗi token, đọc dòng loss đầu tiên của training log, và thấy KL lúc distill đổi giá trị khi đổi chỗ teacher với student.

### 3. Ước lượng và kiểm định giả thuyết trên bộ eval

Chủ vườn cân bưởi của hai trong năm cây rồi đoán sản lượng trung bình mỗi cây của cả vườn theo hai quy tắc. Qua hai cách đoán ấy, bạn phân biệt estimator lệch, khi lỗi nằm ở công thức tính, với mẫu lệch, khi lỗi nằm ở cách chọn mẫu. Báo điểm cao nhất trong **5** lần chạy với các seed khác nhau là estimator lệch lên. Chấm **2.000** lượt chat rút từ **200** cuộc chat thì cỡ mẫu thật vẫn là **200** cuộc chat.

Bạn cân bao gạo và mô phỏng để thấy standard error, luật số lớn, định lý giới hạn trung tâm. Khi các bao được lấy độc lập và độ lệch chuẩn giữ như cũ, cân **100** bao thay vì **25** bao thì standard error của trung bình còn một nửa. Còn nếu các bao cùng mẻ nặng nhẹ theo nhau, khoảng tin cậy ghi **95%** chỉ chứa giá trị thật chừng **82%** số lần trong mô phỏng.

Lò gốm mới nung thử **200** sản phẩm; bạn đặt H0, tức giả định lò mới làm vỡ cùng tỉ lệ với lò cũ, rồi tính p-value và xem lỗi loại I, lỗi loại II và power. Với hai checkpoint chấm trên cùng **600** câu, bạn tính p-value theo cặp cho mức chênh **2** điểm phần trăm, rồi tính cần bao nhiêu cặp câu để power đạt **80%** ở mức chênh ấy, sau khi chọn mức ý nghĩa và ước lượng phương sai của hiệu điểm từ lần chạy thử.

Sáu viên pin sạc của hai loại đủ để bạn làm permutation test và bootstrap, tức cách rút lại mẫu từ chính mẫu đã có khi không có công thức sẵn. Bài có thêm ví dụ riêng với **600** câu độc lập: rút lại từng cặp câu thì khoảng tin cậy bootstrap xấp xỉ **95%** của hiệu F1 giữa hai prompt đi từ 0,003 tới 0,094. Rút lại riêng kết quả từng câu của mỗi prompt thì khoảng tin cậy ở ví dụ ấy rộng ra và chứa 0.

### 4. Mẫu phụ thuộc, leakage và cách báo cáo độ bất định

Ở sáu mươi căn hộ trong sáu tòa nhà, căn hộ cùng tòa chịu chung nguồn ồn nên mức ồn hay giống nhau; đó là chỗ bạn gặp cụm, tương quan nội cụm, hệ số thiết kế và cỡ mẫu hiệu dụng. Với bộ eval có các câu cùng tài liệu hay đúng sai theo nhau, bạn tính lại standard error của accuracy. Đoạn Python ngắn chia các câu của bộ eval theo tài liệu; bạn chọn chia theo người dùng hay thời gian tùy điều cần đo.

Chiếc áo cắt theo rập đã chỉnh trên **5** người mẫu vừa cả **5** người, nhưng chỉ vừa **70%** khách mới. Từ ví dụ ấy, bạn phân biệt selection bias, leakage và contamination, rồi xem vai trò của tập train, tập validation và tập test. Khi **15%** câu test đã lọt vào dữ liệu train, accuracy chung **80,55%** cao hơn mức **78%** trên câu sạch, tức câu chưa có trong dữ liệu train.

Người đi câu thử **5** loại mồi mới cùng lúc, và càng thêm phép so sánh thì xác suất có loại trông tốt hơn do may mắn càng tăng. FWER đo đúng xác suất ấy, còn hiệu chỉnh Bonferroni và hiệu chỉnh Holm giữ nó không vượt mức đã chọn. So sánh model mới với model cũ trên **12** nhóm câu hỏi thì ngưỡng p-value cho mỗi nhóm theo Bonferroni còn xấp xỉ 0,0042. Kết quả cuối được xác nhận một lần trên bộ held-out chưa dùng để chọn.

Hãng xe điện ghi **320 km** mỗi lần sạc, rồi bản pin mới ghi **331 km**: chênh lệch ấy có thật không? Bạn dựng khoảng tin cậy của chênh lệch giữa hai mẫu lấy độc lập, và thấy hai khoảng tin cậy riêng có thể chồng nhau trong khi khoảng tin cậy của chênh lệch vẫn không chứa 0. Bài cuối kết bằng câu báo cáo cho người ra quyết định, nêu đủ giả định và điều chưa biết.

## Vì sao 200Lab tạo ra khóa học này

Học xong khóa Toán học cơ bản cho AI Engineer, bạn đã đọc được tỉ lệ đúng và khoảng tin cậy của tỉ lệ ấy. Công việc hằng ngày sớm đặt ra những câu hỏi khó hơn. Hai checkpoint chấm trên cùng bộ câu có khác nhau thật không, KL trong training log đo theo chiều nào, error bar trong paper là một hay hai standard error?

Cái bẫy là coi con số in ra như kết quả đã đo xong. Bạn giữ checkpoint cao hơn **2** điểm phần trăm, hay báo điểm trên chính bộ câu đã dùng để sửa prompt. Người chịu thiệt là chính bạn: bạn có thể tốn tiền train một bản model không tốt hơn bản cũ, gửi đi báo cáo lạc quan rồi thấy con số tụt xuống khi gặp người dùng thật, hay bỏ qua cải thiện có thật vì sai số bị tính quá lớn.

200Lab thấy người theo nghề AI Engineer thường phải học từ hai nguồn không nối được với nhau. Sách thống kê giải thích p-value bằng thí nghiệm y học, còn tài liệu về eval dùng bootstrap hay so sánh theo cặp như thể người đọc đã biết sẵn. Phần nối hai bên, tức cách dùng khái niệm thống kê cho bộ eval và training log, ít khi được viết ra từng bước.

Khóa học này viết phần nối đó. Bạn tính tay trên ví dụ quầy kem, bao gạo hay lò gốm, rồi dùng đúng phép tính ấy cho điểm eval, loss và KL. Cái lợi là bạn tự trả lời được con số đáng tin tới đâu và dựa trên giả định nào, trước khi quyết định giữ một checkpoint hay gửi một báo cáo.

## Những vấn đề thường gặp khi đọc kết quả eval và loss của model

Thói quen hay gặp là đọc mỗi con số trên báo cáo như sự thật chắc chắn, rồi quyết định ngay theo con số lớn hơn. Cách này nhanh, nhưng bỏ qua việc con số được tính từ mẫu nào, theo cách đếm nào và với giả định gì. Mỗi mục dưới đây là một lần bỏ qua như vậy.

- Checkpoint B hơn A **2** điểm phần trăm trên **600** câu với p-value xấp xỉ **0,16**, và cả team đọc thành “chỉ **16%** khả năng hai checkpoint ngang nhau” — p-value được tính khi đã giả định hai checkpoint ngang nhau, nên không thể là xác suất của chính giả định ấy. Con số 0,16 nói rằng nếu giả định ấy đúng, chênh lệch từ **2** điểm phần trăm trở lên, về phía nào cũng được, xuất hiện chừng **16** lần trong **100** lần chấm; nó được tính khi coi mọi câu độc lập và chưa chỉnh việc chọn checkpoint.
- Model phân loại cho một email xác suất **0,9** rằng email là email lừa đảo, và báo cáo ghi email ấy lừa đảo với xác suất **90%** — kể cả khi điểm ấy khớp tỉ lệ thật trên dữ liệu train **50/50**, nó chỉ đúng với prior của dữ liệu train. Ở nơi email lừa đảo chỉ chiếm **5%**, nếu email của từng lớp vẫn giống email cùng lớp lúc train, định lý Bayes cho posterior xấp xỉ **32%**.
- Hai model đạt **80%** và **83%** trên hai bộ **2.000** câu lấy độc lập, hai khoảng tin cậy riêng chồng lên nhau, và báo cáo ghi “chưa phân biệt được” — chỉ khoảng tin cậy của chênh lệch mới trả lời được hai model có khác nhau không. Khi hai model đã chốt từ trước, các câu trong mỗi bộ độc lập và hai bộ lấy ngẫu nhiên từ cùng nguồn câu hỏi cần đo, khoảng tin cậy xấp xỉ **95%** của chênh lệch đi từ xấp xỉ **0,5** tới **5,5** điểm phần trăm và không chứa 0.
- Bộ eval có **600** câu nên standard error của accuracy được tính như có **600** lần đo riêng — các câu lấy từ **40** tài liệu, mỗi tài liệu **15** câu, và câu cùng tài liệu hay đúng sai theo nhau. Khi đó standard error thật của accuracy lớn hơn con số tính khi coi mọi câu độc lập, và bạn tính lại nó theo cách các câu được gom theo tài liệu.
- Sau **30** lần sửa prompt trên cùng **200** câu, bản đứng đầu với **88%** được báo làm kết quả cuối — bộ câu dùng để chọn đã thành tập validation, và trên tập test chưa dùng, bản prompt ấy chỉ đạt **81%**.
- Accuracy trên tập test đạt **80,55%**, và con số ấy được hiểu là mức model đạt trên câu hỏi mới — **15%** câu test đã có trong dữ liệu train và **95%** số câu ấy được trả lời đúng, nên accuracy chung, vốn là trung bình có trọng số, bị phần câu đã lộ kéo lên cao hơn mức **78%** của câu sạch.
- Bảng **12** nhóm câu hỏi có **6** nhóm với p-value dưới 0,05, và nhóm trích xuất thông tin, với p-value 0,012, được chọn sau khi xem bảng rồi viết thành kết quả chính — nếu model mới thật ra không khác model cũ ở cả **12** nhóm, các phép so sánh độc lập và mỗi phép bác bỏ nhầm với xác suất 0,05, thì xác suất có ít nhất một nhóm qua ngưỡng do may mắn đã là xấp xỉ **46%**. Trong bảng ấy chỉ **3** nhóm còn qua ngưỡng sau hiệu chỉnh Holm, và nhóm trích xuất thông tin không nằm trong số đó.

Con số nào trong danh sách này cũng có một bài của khóa học tính lại từ đầu, bắt đầu bằng ví dụ ngoài AI.

## Bạn sẽ học theo cách nào

- **Ví dụ đời thường trước, model sau** — Mỗi bài mở bằng một ví dụ nhỏ tính được bằng tay, như bóng đèn của hai nhà máy, mẻ ấp trứng hay sáu viên pin sạc; phần ứng dụng bên trong model chỉ đến khi bạn đã tự tính ra con số.
- **Ảnh minh họa và phần tương tác** — Bảng đếm và phân phối được vẽ tay hoặc vẽ đúng tỉ lệ, đặt ngay cạnh phép tính. Ở các bài về CDF, phân phối binomial, khoảng tin cậy và power, bạn kéo thanh trượt để đổi một con số và xem kết quả đổi theo; ở bài bootstrap, bạn bấm rút mẫu nhiều lần và xem biểu đồ tần số dần thành hình.
- **Một khái niệm, một bài** — Bạn đi từ ví dụ tới câu định nghĩa chính xác kèm điều kiện, xem cách đọc sai thường gặp và vì sao người ta dễ đọc sai như vậy, rồi làm ngay một việc với số liệu của mình.
- **Bài nền đứng ngay trước bài cần đến nó** — Các bài của khóa Toán học cơ bản cho AI Engineer được xen vào lộ trình, mỗi bài nằm ngay trước bài mới dùng tới nó. Đây là chủ ý: học khóa đó trước là đường đi chắc nhất, và nếu đã học, bạn sẽ thấy các bài ấy được đánh dấu hoàn thành.
- **Quiz với số liệu mới** — Quiz ngắn cuối mỗi bài sau bài mở đầu đổi sang số liệu khác, và có câu để bạn đoán kết quả trước khi tính.

## Khóa học dành cho ai

1. **AI Engineer** — Bạn là developer chuyển sang làm AI hoặc sinh viên muốn theo nghề, và công việc đòi bạn so sánh hai checkpoint, đọc loss và KL, đặt khoảng tin cậy cho metric, chia tập train và tập test đúng cách; bốn chương đề cập đủ những việc ấy.
2. **Vibe coder muốn đi sâu** — Bạn dựng app cùng AI và bắt đầu đọc báo cáo eval hay bảng kết quả trong paper để chọn model; chương 1 và chương 3 là phần bạn dùng nhiều nhất.
3. **AI/Agent Builder** — Bạn chọn prompt, model hay cấu hình agent dựa trên điểm eval; khóa học giúp bạn biết cần hỏi điểm ấy được tính trên mẫu nào, với giả định nào, trước khi quyết định.

## Những điều cần lưu ý

- **Không chứng minh định lý** — Khóa học không chứng minh định lý; tích phân chỉ xuất hiện với nghĩa diện tích dưới đường cong. Khóa cũng không đi sâu vào Bayesian modeling hay causal inference; bù lại, bạn có đủ phép tính để tự kiểm tra số liệu của model.
- **Không giải thích cơ chế model** — Ở phần ứng dụng, bạn đọc loss, KL và điểm eval bằng phép tính vừa học, nhưng bài không giải thích vì sao model được dựng như vậy; cách đọc ấy không gắn với một model cụ thể nào.
- **Không cần viết code** — Các ví dụ tính tay chỉ cần giấy bút và một máy tính cầm tay. Những phép lặp hàng nghìn lần như bootstrap hay mô phỏng khoảng tin cậy do máy chạy, và bài cho sẵn kết quả. Đoạn Python ngắn ở phần bootstrap và phần mẫu phụ thuộc chỉ để đọc, giúp bạn nhận ra đoạn code bootstrap và cách chia bộ eval theo nhóm khi gặp trong repo eval.
- **Số liệu về model là số giả định** — Điểm eval, checkpoint và cấu hình trong bài được chọn để minh họa, trừ vài thông số công khai của GPT-2; phép tính thì dùng ngay được với số liệu thật của bạn.

## Bắt đầu từ đâu

Bài mở đầu cho bạn xem trang kết quả so sánh hai checkpoint trên **600** câu, từ tỉ lệ đúng tới p-value và KL, rồi hỏi mỗi con số cần khái niệm nào để đọc đúng. Bạn đổi mức chênh **2** điểm phần trăm ra **12** câu và ghép từng số với chương giải thích nó. Bài này đứng đầu vì chỉ cần phép nhân, phép trừ quen thuộc, và cho thấy bốn chương cùng hướng tới trang số liệu bạn gặp hằng tuần.

## Chương trình

- Xác suất, thống kê và số liệu trên trang kết quả eval của model (miễn phí)

### Xác suất đồng thời, định lý Bayes và biến ngẫu nhiên

- Xác suất, biến cố đối và bảng xác suất model dùng để chọn token · quiz
- Biến cố độc lập, quy tắc nhân và xác suất cả chuỗi token nháp được nhận · quiz
- Xác suất có điều kiện, recall và điểm eval của từng nhóm câu hỏi · quiz
- Xác suất đồng thời, tính độc lập và quy tắc nhân khi model sinh từng token (miễn phí) · quiz
- Tỉ lệ cơ sở và cảnh báo của model phân loại cho trường hợp hiếm · quiz
- Định lý Bayes, prior, posterior và kết quả của model phân loại (miễn phí) · quiz
- Biến ngẫu nhiên, PMF, PDF, CDF và cách đọc phân phối đầu ra của model (miễn phí) · quiz

### Phân phối xác suất, hiệp phương sai và entropy

- Trung bình, trung vị và điểm eval khi một lần chạy cho điểm lệch hẳn · quiz
- Phân vị, p99 và đuôi dài của thời gian chờ khi phục vụ model · quiz
- Giá trị kỳ vọng và số token trung bình mỗi bước speculative decoding · quiz
- Phương sai, độ lệch chuẩn và phép chia cho căn bậc hai trong attention · quiz
- Phân phối binomial, Poisson, normal và số câu đúng trên bộ eval · quiz
- Hiệp phương sai, kỳ vọng toàn phần và điểm eval gộp từ nhiều nhóm · quiz
- Log xác suất, loss và perplexity khi train và đánh giá model · quiz
- Entropy, cross-entropy, KL và loss khi train language model · quiz

### Ước lượng và kiểm định giả thuyết trên bộ eval

- Tổng thể, mẫu thống kê và bộ eval đại diện cho dữ liệu nào · quiz
- Estimator, bias và đơn vị lấy mẫu trong đánh giá model · quiz
- Khoảng tin cậy, sai số và chênh lệch điểm eval giữa hai model · quiz
- Standard error, định lý giới hạn trung tâm và khoảng tin cậy cho điểm eval trung bình · quiz
- Xác suất và multiple comparisons khi giữ cấu hình có điểm cao nhất · quiz
- Kiểm định giả thuyết, p-value, power và so sánh hai checkpoint · quiz
- Bootstrap, permutation test và khoảng tin cậy cho F1 trên bộ eval · quiz

### Mẫu phụ thuộc, leakage và cách báo cáo độ bất định

- Mẫu phụ thuộc, cỡ mẫu hiệu dụng và cách chia bộ eval theo nhóm · quiz
- Selection bias, leakage và vai trò của các tập train, validation và test · quiz
- Hiệu chỉnh Bonferroni và Holm cùng bộ held-out để xác nhận kết quả · quiz
- Khoảng tin cậy của chênh lệch, giả định và báo cáo kết quả eval cho người ra quyết định · quiz
- Một nghìn dòng test có nói được chuyện ngoài đời không? · quiz · kit cho agent