Nghiệm thu AI Agent là đối chiếu hệ thống với công việc, quyền hạn và tiêu chí đã thống nhất. Một buổi demo trả lời tốt chưa chứng minh hệ thống xử lý được dữ liệu thiếu, thao tác lặp hoặc lỗi tích hợp. Hồ sơ nghiệm thu cần cho thấy đã thử gì, kết quả nào đạt và phần nào chưa được đưa vào vận hành.
Chuẩn bị bộ ca kiểm thử có đáp án
Tập ca chuẩn, thường gọi là golden set, gồm yêu cầu đại diện và kết quả mong đợi do người nghiệp vụ xác nhận. Tách bộ dùng để chỉnh hệ thống khỏi bộ đánh giá cuối để tránh chỉ tối ưu cho ví dụ đã biết. Với câu trả lời mở, dùng tiêu chí rõ như đúng nguồn, đủ thông tin và không có cam kết ngoài phạm vi.

Chia nghiệm thu thành từng lớp
- Nội dung: trả lời đúng, dẫn được nguồn và biết khi nào chưa đủ dữ liệu.
- Hành động: đọc hoặc ghi đúng đối tượng, không tạo trùng.
- Quyền: không xem hay thực hiện việc ngoài vai trò người dùng.
- Trải nghiệm: trạng thái chờ, báo lỗi và chuyển người dễ hiểu.
- Vận hành: có nhật ký, cảnh báo, người tiếp nhận và cách khôi phục.

Ví dụ nghiệm thu một thao tác CRM
Ví dụ minh họa: Agent tạo ghi chú cho khách hàng sau khi nhân viên duyệt. Ca đạt phải có đúng mã khách, nội dung đã duyệt, người thực hiện và xác nhận từ CRM. Gửi lại yêu cầu không tạo thêm bản ghi. Khi CRM lỗi, màn hình báo chưa hoàn tất. Lời đáp “đã lưu” của Agent không thay thế kiểm tra dữ liệu ở CRM.

Sáu ca nghiệm thu chuyển ticket cho nhân viên
Một mã ticket chỉ xác nhận bước tạo hồ sơ, chưa chứng minh nhân viên đã nhận việc hay vấn đề đã được giải quyết. Bộ ca tổng hợp dưới đây giúp tách ba mốc đó; đội CSKH cần duyệt kết quả mong đợi theo kênh và giờ phục vụ thực tế.
| Ca thử | Kết quả cần kiểm | Bằng chứng |
|---|---|---|
| T01 · Hỏi chính sách còn hiệu lực | Đúng phạm vi và nguồn được phép | Câu trả lời, nguồn, phiên bản |
| T02 · Không có căn cứ | Nói rõ giới hạn, có đường chuyển người | Hội thoại và trạng thái chuyển |
| T03 · Không có quyền tài liệu | Không tiết lộ nội dung hạn chế | Vai trò thử và kết quả |
| T04 · Yêu cầu gặp nhân viên | Đúng hàng đợi, có bên tiếp nhận | Mã ticket và xác nhận nhận việc |
| T05 · Gửi lại sau lỗi mạng | Không tạo việc trùng ngoài ý muốn | Quan hệ giữa các lần gửi và hồ sơ |
| T06 · Connector ngừng đáp ứng | Báo chưa hoàn tất; hồ sơ chờ có người theo dõi | Lỗi, kế hoạch thử lại, owner |
Ví dụ giả lập: đơn DEMO-21 giao thiếu một món. Hồ sơ cần giữ vấn đề, dữ liệu đã xác nhận và phần còn thiếu; không tự hứa hoàn tiền. Kiểm riêng đã tạo → đã tiếp nhận → đã giải quyết, tránh tính mọi ticket được tạo là ca AI giải quyết thành công.
Standard flows của Atlassian phân biệt nhánh giải quyết với nhánh tạo yêu cầu để xử lý tiếp. Đây là minh họa quy trình sản phẩm khác, không phải cam kết Onter có cùng connector. Xem phân loại và định tuyến ticket khi chốt phạm vi; bảng trên chỉ phục vụ nghiệm thu.
Không gộp lỗi nghiêm trọng vào điểm trung bình
Rò rỉ dữ liệu, vượt quyền hoặc ghi nhầm khách là lỗi chặn, dù nhiều câu hỏi khác đạt. Thử nội dung tài liệu cố yêu cầu bỏ qua quy tắc, nguồn mâu thuẫn và yêu cầu ngoài phạm vi. Phân quyền phải được kiểm soát ở tích hợp; prompt chỉ là một lớp hướng dẫn, không phải hàng rào duy nhất.

Ghi phiên bản và điều kiện đánh giá
Hồ sơ gồm phiên bản mô hình, prompt, nguồn tài liệu, cấu hình công cụ, tài khoản thử và thời điểm. Đo thời gian phản hồi và chi phí trên các loại việc thực tế, với ngưỡng do hai bên thống nhất. Không mặc định một ngưỡng đúng cho mọi Agent hoặc mọi nghiệp vụ.
Tải ma trận nghiệm thu AI Agent CSV để chuẩn bị ca thử, kết quả mong đợi và bằng chứng cần xem. Mười ca trong file là ví dụ giả lập, tất cả đang NOT_RUN; không phải kết quả kiểm thử một hệ thống đã triển khai.
Quyết định bàn giao và quay về phiên bản cũ
Liệt kê phần đạt, phần giới hạn và phần giữ lại. Người vận hành thử cách dừng luồng, chuyển xử lý thủ công và khôi phục cấu hình được duyệt. Khi đổi nguồn hoặc tích hợp sau nghiệm thu, chạy lại bộ ca liên quan và các ca an toàn trọng yếu; biên bản cũ không tự bảo đảm phiên bản mới.
Tài liệu và bước tiếp theo
- đo hiệu quả AI Agent
- human in the loop AI Agent
- giảm hallucination AI Agent
- AI Agent multi agent
- Trao đổi bài toán với Onter
- Các hướng triển khai AI theo bài toán
Tham khảo hướng dẫn an toàn khi xây Agent về giới hạn quyền, dữ liệu không đáng tin và điểm kiểm tra của con người.

