Đo chất lượng model và ứng dụng AI

Hai bài nền Harness giúp bạn dựng lại đường đi quan sát được của một run: model đề xuất gì, tool trả về gì, state thay đổi ra sao và run dừng vì lý do nào. Từ đó, bạn phân biệt công việc cần đánh giá, từng lần thử, trace, kết quả trong môi trường và grader dùng để chấm. Một demo thành công có giá trị, nhưng cần thêm các case và những lần thử theo cùng tiêu chí để thấy hệ thống ứng xử khi điều kiện thay đổi. Qua ví dụ gửi đơn và hoá đơn, bạn học cách xác định bằng chứng còn thiếu; sang phần phân loại ticket, cùng thói quen ấy giúp bạn giữ rõ ranh giới giữa nhãn đúng và việc ticket đã thật sự được xử lý.

Một hệ thống gọi mọi ticket là “thường” vẫn có thể đạt accuracy 90% nếu phần lớn dữ liệu thuộc nhóm thường. Ví dụ này đưa bạn vào cách đọc tử số, mẫu số, recall theo nhóm và vai trò của baseline: mỗi phép tính đang trả lời câu hỏi nào, trên những trường hợp nào. Bạn tiếp tục xem ngưỡng quyết định thay đổi việc bỏ sót và báo nhầm ra sao, rồi đặt hai loại lỗi cạnh chi phí thực tế của công việc. Nhờ vậy, khi điểm tổng giảm mà khả năng nhận ra ticket khẩn tăng, bạn có cơ sở để bàn về sự đánh đổi thay vì loại bỏ thay đổi chỉ vì một con số đi xuống.

Một eval case cần nói rõ input, context được phép dùng, hành vi mong đợi, lỗi không chấp nhận và cách kiểm tra. Bạn học cách tách đáp án khỏi phần model nhận được, kiểm tra nhãn bằng code khi phù hợp và dùng rubric mô tả hành vi cho những câu trả lời có nhiều cách diễn đạt đúng. Các ticket thiếu thông tin cho thấy vì sao hỏi lại có thể là câu trả lời đúng, còn JSON đúng định dạng vẫn có thể chứa quyết định sai. Bài học cũng tách sự mơ hồ của input khỏi chỗ chưa thống nhất trong policy, để những case chưa chấm được vẫn được ghi nhận cùng lý do thay vì biến mất khỏi báo cáo.

Một nghìn dòng dữ liệu có thể chỉ là nhiều phiên bản của một số ít sự cố; xáo trộn theo dòng dễ khiến cùng một chuyện xuất hiện ở cả tập chỉnh sửa lẫn tập đánh giá. Bạn học cách chọn đơn vị chia theo nhóm hoặc thời gian dựa trên điều muốn kiểm chứng, và vì sao holdout mất tính độc lập khi được dùng để chỉnh prompt hay chọn phương án. Khoá học phân biệt tập phản ánh dữ liệu dự kiến với tập cố tình gom ca khó, đồng thời hướng dẫn đọc kết quả theo nhóm kèm mẫu số. Các ví dụ về cỡ mẫu và khoảng tin cậy giúp bạn thấy độ bất định do lấy mẫu khác với biến động giữa các lần chạy model hay sự thay đổi của dữ liệu trong tương lai.

Khi người chấm và AI judge không đồng ý, khoá học hướng bạn quay lại output, rubric và bằng chứng nghiệp vụ để xem bên nào có căn cứ. Bạn học vì sao mức đồng ý cao vẫn che được nhiều lỗi, vì sao hai cột điểm cùng tăng chưa chắc cho cùng kết quả, và tại sao cần xem cả một số case mà hai bên đã đồng ý. Phần xử lý bất đồng chỉ rõ lúc nào có thể chốt nhãn, lúc nào cần người phụ trách nghiệp vụ quyết định policy, và lúc nào nên giữ trạng thái unresolved. Từ đó, bạn hiểu cách chỉnh rubric hoặc hướng dẫn cho judge trên tập dev rồi kiểm lại trên dữ liệu chưa dùng để chỉnh, giữ riêng nhãn gốc và phiên bản tiêu chí để các con số còn so sánh được.

Bài cuối đặt hai phiên bản cạnh nhau trên cùng các case và điều kiện đánh giá đã chốt, giúp bạn thấy bản mới sửa được lỗi nào và làm hỏng trường hợp nào vốn đang đúng. Bạn đọc bảng paired evaluation theo từng nhóm để nhận ra regression nằm ở đâu, kể cả khi điểm tổng tăng. Ví dụ cũng chỉ ra rằng mẫu nhỏ hạn chế kết luận về toàn bộ dữ liệu, nhưng không xoá đi một lỗi đã quan sát rõ trên case cụ thể. Phần decision note kết nối mục tiêu, phiên bản, kết quả, tiêu chí đặt trước và những điều chưa biết thành một đề xuất người khác có thể kiểm lại; quyết định release vẫn thuộc người có trách nhiệm với sản phẩm.