Bỏ qua điều hướng

Khóa họcHarness

Đo chất lượng model và ứng dụng AI

AI Evaluation: Metrics, Datasets, Graders & Decision-Making

Fig. 01Đo chất lượng model và ứng dụng AI

Khoá nền tảng về eval: đo chất lượng model và ứng dụng AI theo công việc cụ thể. Bạn học cách chọn metric, thiết kế case và dataset, kiểm tra AI judge và so sánh hai phiên bản để đưa ra đề xuất có căn cứ.

  • 8 bài
  • 2h35p
  • 7 quiz
  • 2 bài học thử miễn phí
  • 186 học viên

Bạn sẽ làm được gì

  1. Chọn metric phù hợp với công việc cần đánh giá, hiểu đúng mẫu số và chỉ ra loại lỗi mà điểm tổng đang che mất.
  2. Phân biệt lời Agent báo hoàn thành với trace và kết quả quan sát được, để biết bằng chứng hiện có xác nhận được điều gì.
  3. Thiết kế eval case và rubric đủ rõ để người khác chấm lại, kể cả khi có nhiều cách trả lời đúng hoặc chưa thống nhất được tiêu chuẩn.
  4. Đánh giá một dataset qua cách lấy mẫu, chia dữ liệu và sử dụng holdout, thay vì chỉ dựa vào số dòng hoặc điểm số cao.
  5. Kiểm tra AI judge bằng cách đối chiếu với reference đã được xem xét, tìm nhóm lỗi bị bỏ sót và xử lý bất đồng theo tiêu chí.
  6. Đề xuất có chấp nhận một thay đổi hay chưa, dựa trên việc so sánh từng case, kèm những điểm kém đi và giới hạn của kết luận.

Đây là khoá nền tảng về tư duy và phương pháp đánh giá AI, không phụ thuộc một model hay framework cụ thể.

Xem bản Markdown

Bạn có đang gặp những dấu hiệu này?

  • Accuracy cao nhưng ticket khẩn vẫn bị bỏ sótDùng điểm tổng làm bằng chứng rằng hệ thống đã làm tốt mục tiêu quan trọng nhất.
  • Output đúng JSON nhưng chọn sai priorityCoi việc qua kiểm tra định dạng là đã qua kiểm tra quyết định.
  • Điểm trên holdout tăng sau mỗi lượt sửa promptTiếp tục xem tập đã dùng để chỉnh là phép đo độc lập trên dữ liệu mới.
Xem đủ 6 dấu hiệu và vì sao có khóa học này

Khóa học này có hợp với bạn?

Khoá học dành cho ai

  1. Developer đang xây dựng hoặc đánh giá ứng dụng AI.Phù hợp nhấtBạn đã quen làm việc với input, output và test, muốn biết cách kiểm chứng một thay đổi prompt hay model.
  2. QA, technical lead và người phụ trách sản phẩm có nền kỹ thuật.Bạn cần đọc báo cáo eval và trao đổi với team phát triển về tiêu chí chấp nhận thay đổi.
  3. Người đã học nền Agent Harness.Bạn muốn đi tiếp từ đọc trace và bằng chứng sang thiết kế case, dataset và phép so sánh.

Những điều cần lưu ý

  1. Khoá học không yêu cầu ML training, GPU hay provider API; bạn học phương pháp qua ví dụ và dữ liệu được trình bày sẵn.
  2. Để theo kịp phần nền Harness, bạn nên quen với Agent, model, tool, call/result, state và điều kiện dừng; đây là lộ trình học tiếp cho người có nền tương ứng.
  3. Đây là khoá lý thuyết ứng dụng, không có bài lab gọi API của provider thật và không cam kết chất lượng production; bạn nhận được cách thiết kế và đọc phép đánh giá có giới hạn rõ ràng.

Bạn sẽ học theo cách nào

  1. Theo tình huống cụ thể.Ví dụ Agent gửi đơn, gửi hoá đơn và phân loại ticket giúp bạn nối tiêu chí với kết quả quan sát được.
  2. Đọc bảng số và ảnh minh hoạ.Các phép đếm, bảng so sánh và ảnh tĩnh làm rõ chỗ điểm số dễ gây hiểu nhầm.
  3. Học tiếp từ nền Harness.Hai bài nền Harness đã nằm sẵn trong khoá này; mua khoá này thì bạn không cần mua thêm khoá Harness để xem chúng. Nếu đã học, bạn có thể ôn nhanh rồi đi tiếp.

Mentor

Bắt đầu từ đâu

Bạn nên bắt đầu từ bài mở đầu “Nhìn ổn rồi, nhưng ổn cho việc gì?”. Câu hỏi này giúp bạn xác định mục tiêu trước khi chọn metric hay cách chấm. Từ đó, bạn xem mình cần học phần nền nào rồi đi tiếp vào các phép đo cụ thể.

Học thử bài đầu tiên