Một hệ thống đọc đúng tên nhà cung cấp nhưng đọc sai số tài khoản không tạo ra hai lỗi có hậu quả giống nhau. Vì vậy, ngưỡng duyệt dữ liệu AI cần được thiết kế theo từng trường và quyết định sử dụng, thay vì chọn một mức confidence rồi cho toàn bộ hồ sơ đi qua.
Bài này hướng dẫn thiết kế cơ chế kiểm tra trước khi triển khai. Các tình huống bên dưới là giả định, không phải kết quả đo của Onter hoặc cam kết độ chính xác của một mô hình.
Confidence trả lời câu hỏi nào?
Confidence là tín hiệu mô hình cung cấp cho kết quả được nhận diện; nó không tự chứng minh dữ liệu phù hợp để thanh toán, ghi sổ hay cập nhật hồ sơ. Tài liệu Microsoft về accuracy và confidence phân biệt điểm confidence với việc đánh giá độ chính xác bằng dữ liệu có nhãn, đồng thời lưu ý các loại kết quả có tín hiệu confidence khác nhau.
Hãy giữ riêng ba câu hỏi: mô hình đã đọc được gì, kết quả có khớp nguồn không, và tổ chức có cho phép dùng kết quả đó cho bước tiếp theo không. Nếu hệ thống không cung cấp confidence cho một trường, ghi “không có tín hiệu”; đừng tự điền một điểm.
Lập ma trận rủi ro trước khi chọn ngưỡng
| Trường | Hậu quả nếu sai | Kiểm tra bổ sung | Quyết định tham khảo |
|---|---|---|---|
| Tên tài liệu | Khó tìm lại hồ sơ | Đối chiếu trang nguồn | Có thể xử lý theo hàng đợi rủi ro thấp sau validation |
| Số tiền và tiền tệ | Sai giá trị nghiệp vụ | Đối chiếu đơn vị và tổng liên quan | Chặn khi dấu hoặc đơn vị mơ hồ |
| Thông tin nhận tiền | Chuyển sai nơi nhận | Đối chiếu nguồn được phép sử dụng | Giữ bước xác nhận theo chính sách nội bộ |
| Ngày hết hạn | Bỏ lỡ mốc xử lý | Kiểm tra định dạng ngày và ngữ cảnh | Đưa trường mơ hồ sang người duyệt |
Đây là khung phân tích, không thay quy trình tài chính hay pháp lý của doanh nghiệp. Trường có hậu quả lớn có thể cần người xác nhận dù confidence cao.
Dùng tập kiểm tra có nhãn để chọn chính sách
- Thu thập tài liệu được phép sử dụng, bao gồm các mẫu thường gặp và các mẫu khó: ảnh nghiêng, chữ mờ, bố cục khác hoặc ngôn ngữ khác.
- Ghi giá trị đúng cho từng trường và trang nguồn. Tách dữ liệu dùng điều chỉnh khỏi dữ liệu dùng đánh giá.
- Lưu kết quả thô, confidence nếu có, giá trị đúng và loại lỗi. Không chỉ lưu một tỷ lệ đúng chung cho cả hồ sơ.
- Thử các chính sách duyệt và đếm riêng trường sai được cho qua, trường đúng bị giữ lại, cùng lượng việc chuyển sang người kiểm tra.
- Chọn chính sách phù hợp hậu quả lỗi và khả năng xử lý hàng đợi; lưu lý do chọn, người chịu trách nhiệm và điều kiện xem xét lại.
Không có một mức confidence phổ quát cho mọi biểu mẫu. Một chính sách làm hàng đợi duyệt quá tải cũng chưa sẵn sàng vận hành, dù kết quả trên tập thử trông tốt.
Sổ quyết định cần lưu được gì?
Mỗi dòng nên có mã tài liệu, tên trường, giá trị thô, vị trí nguồn, confidence hoặc trạng thái thiếu, kết quả đối chiếu, lý do chuyển duyệt và quyết định cuối. Không đưa tài liệu riêng hoặc thông tin nhận tiền vào log công khai. Nếu vấn đề là phân biệt trường thiếu với số không, xem hướng dẫn riêng về dữ liệu thiếu, null và số không; đó là bước chuẩn hóa, không thay bước phê duyệt.
Khi nào cần mở lại ngưỡng?
Đổi mẫu tài liệu, nguồn scan, phiên bản mô hình hoặc cách sử dụng dữ liệu đều có thể làm chính sách cũ không còn phù hợp. Giữ một tập đối chiếu ổn định, thêm mẫu mới có nhãn và kiểm tra lại trước khi mở rộng tự động hóa. Nếu chưa đo lại, giữ trường liên quan ở trạng thái cần duyệt.
Góc nhìn biên tập của Onter
Đội ngũ Onter ưu tiên xác định quyết định nào được phép tự động trước khi bàn đến giảm lượt duyệt. Với dữ liệu hậu quả thấp, hàng đợi ngoại lệ có thể hữu ích; với trường chi phối giao dịch quan trọng, confidence nên hỗ trợ người quyết định. Cách lựa chọn phụ thuộc bằng chứng thử nghiệm của chính luồng đang triển khai.
Đọc thêm cách tổ chức quyền duyệt human in the loop. Nếu đang chuẩn bị một luồng AI đọc và xử lý tài liệu, hãy mô tả loại hồ sơ, trường dữ liệu, hậu quả sai và bước sử dụng tiếp theo khi trao đổi với Onter; chưa cần gửi tài liệu nhạy cảm trong yêu cầu ban đầu.
