Giám sát & tinh chỉnh AI

Thông tin chung

Điều kiện tiên quyết

• Hệ thống AI đã vận hành theo SOP Xây dựng nền tảng AI (Brain + Knowledge) và (nếu có) SOP Triển khai AI tự động trả lời chat
• Tài khoản giám sát có quyền Cài đặt công ty (trên màn hình chọn quyền, tên hiển thị là Cài đặt cấu hình chung) để mở Công cụ AI > Request Logs — xem Phân quyền
• Có kênh tiếp nhận phản hồi từ nhân viên và CSKH về các câu AI trả lời sai (nhóm chat nội bộ, biểu mẫu ghi nhận)

Sơ đồ quy trình

Các bước thực hiện

Bước 1: Rà soát Request Logs định kỳ

• Ai làm: Quản trị hệ thống

• Thao tác: Vào menu Công cụ AI > Request Logs. Bảng nhật ký (chỉ đọc) gồm các cột: ID, Số token, Model, Trạng thái (giá trị Thành công / Thất bại, sắp xếp được). Bộ lọc hỗ trợ lọc theo Trạng thái. Mỗi kỳ rà soát:

  1. Lọc trạng thái Thất bại — đếm số lượng và ghi nhận model liên quan
  2. Xem cột Số token của các request gần đây để nắm mức tiêu thụ (lưu ý: cột này hiển thị token đầu vào, chưa gồm token đầu ra)
  3. Đối chiếu cột Model với model đã khai trong AI Settings — phát hiện cấu hình sai sau mỗi lần đổi cài đặt

  Chi tiết màn hình xem AI Request Log

• Kết quả mong đợi: Có ghi nhận rà soát kỳ này: số request Thất bại, model đang chạy, mức token — làm cơ sở so sánh với kỳ sau

Bước 2: Xử lý request Thất bại (lỗi kỹ thuật)

• Ai làm: Quản trị hệ thống
• Thao tác: Khi tỷ lệ Thất bại cao hoặc người dùng báo "AI không trả lời":
  1. Kiểm tra Request Logs: nếu KHÔNG có request phát sinh tại thời điểm lỗi, vấn đề nằm ở phía bật/tắt tính năng (công tắc AI của kênh, gói tính năng); nếu CÓ request trạng thái Thất bại, vấn đề nằm ở kết nối nhà cung cấp
  2. Với lỗi kết nối: vào Công cụ AI > Cấu hình kết nối kiểm tra API Key còn hiệu lực, đúng dịch vụ được chọn ở tab Cấu hình chung; kiểm tra hạn mức (quota) trên trang quản lý của nhà cung cấp OpenAI/Gemini — hết hạn mức là nguyên nhân thường gặp
  3. Sau khi sửa, tạo một request thử (ví dụ hỏi một câu trên tab AI của Chat Center) rồi mở lại Request Logs xác nhận request mới có trạng thái Thành công
• Kết quả mong đợi: Request mới trả về Thành công; nguyên nhân và cách xử lý được ghi nhận

Bước 3: Kiểm soát tiêu thụ token và chi phí

• Ai làm: Quản trị hệ thống
• Thao tác: Khi nghi ngờ chi phí AI cao bất thường:
  1. Xem Request Logs: mức Số token trên từng request và mật độ request có tăng đột biến so với kỳ trước không; xác định nhóm request chiếm nhiều nhất qua cột Model
  2. Đối chiếu với hoạt động thật: có đợt bật AI kênh mới, chiến dịch tạo nội dung/ảnh hàng loạt không
  3. Nếu cần giảm chi phí: cân nhắc đổi Mô hình xử lý (model) sang model nhẹ hơn trong AI Settings, hoặc thu hẹp phạm vi kênh bật AI trả lời tự động
  4. Lưu ý khi ước tính chi phí: cột token trên giao diện là token đầu vào; tổng chi phí phải tính cả token đầu ra theo bảng giá nhà cung cấp
• Kết quả mong đợi: Xác định được nguồn tiêu thụ chính; quyết định điều chỉnh (đổi model, thu hẹp phạm vi) được thực hiện và ghi nhận

Bước 4: Tinh chỉnh tri thức khi AI trả lời sai nội dung

• Ai làm: Trưởng nhóm CSKH (xác định nội dung sai), Quản trị hệ thống (thao tác hệ thống)
• Thao tác: Với từng câu trả lời sai được ghi nhận từ nhân viên hoặc hội thoại khách:
  1. Phân loại nguyên nhân: sai về chính sách/FAQ → cập nhật tài liệu trong AI Knowledge (thêm tài liệu mới, Vô hiệu hóa hoặc Lưu trữ tài liệu lỗi thời); sai về dữ liệu nghiệp vụ (sản phẩm, tồn kho, cửa hàng) → chạy Đồng bộ lại nhóm dữ liệu liên quan trong AI Brain; sai chỉ trên một kênh → kiểm tra AI Brain ID của kênh trong Cài đặt Chat & AI đa kênh
  2. Nếu sai sót nghiêm trọng (sai giá, sai chính sách hoàn tiền) đang ảnh hưởng khách thật: tắt tạm công tắc AI của kênh liên quan trước, tinh chỉnh xong mới bật lại — theo SOP Triển khai AI tự động trả lời chat
  3. Tận dụng số liệu tham khảo trên AI Knowledge (cột số lần truy xuất của tài liệu) để biết tài liệu nào đang được AI dùng nhiều — ưu tiên rà soát độ chính xác của các tài liệu đó
• Kết quả mong đợi: Tài liệu/dữ liệu nguồn đã cập nhật; câu hỏi từng sai được hỏi lại và trả lời đúng

Bước 5: Kiểm thử lại và ghi nhận kết quả

• Ai làm: Quản trị hệ thống cùng Trưởng nhóm CSKH
• Thao tác: Sau mỗi đợt xử lý (Bước 2, 3 hoặc 4): hỏi lại các câu kiểm thử liên quan trên tab AI của Chat Center hoặc nhắn thử trên kênh bị ảnh hưởng; cập nhật sổ theo dõi giám sát AI: ngày rà soát, vấn đề phát hiện, cách xử lý, kết quả sau xử lý
• Kết quả mong đợi: Vấn đề đã đóng với bằng chứng kiểm thử; sổ theo dõi đủ dữ liệu để so sánh giữa các kỳ

Xử lý ngoại lệ

Checklist hoàn thành

• Kỳ rà soát đã ghi nhận: số request Thất bại, model đang chạy, mức token so với kỳ trước
• Mọi đợt request Thất bại đã truy ra nguyên nhân và có request thử Thành công sau xử lý
• Các câu AI trả lời sai được phân loại nguyên nhân (Knowledge / Brain / Brain ID) và xử lý xong, đã hỏi lại xác nhận đúng
• Quyết định về chi phí (đổi model, thu hẹp phạm vi) nếu có đã thực hiện và ghi nhận
• Sổ theo dõi giám sát AI được cập nhật sau mỗi kỳ

Tài liệu liên quan

• SOP liên quan: Xây dựng nền tảng AI (Brain + Knowledge), Triển khai AI tự động trả lời chat, Sử dụng AI trong tác nghiệp
• Tính năng: AI Request Log, AI Settings, AI Knowledge, AI Brain, Cài đặt Chat & AI đa kênh