ITBench-AA cho thấy agent AI vẫn chưa vượt 50% trong vận hành IT doanh nghiệp
Điểm nổi bật
- 17:20 UTC ngày 27/05: Artificial Analysis và IBM công bố ITBench-AA, benchmark đầu tiên cho tác vụ IT doanh nghiệp kiểu agentic.
- Model dẫn đầu chỉ đạt 47%: Claude Opus 4.7 đứng đầu, tiếp theo là GPT-5.5 ở 46% và Qwen3.7 Max ở 42%.
- 59 bài test SRE mô phỏng sự cố Kubernetes, yêu cầu agent đọc log, trace, topology và xác định đúng root cause.
- Chi phí và hiệu quả chưa đi cùng nhau: Gemma 4 31B đạt 37% với 0,14 USD/tác vụ, trong khi các model mạnh hơn tốn nhiều tiền hơn nhưng không tạo khoảng cách quá lớn.
- Thông điệp thị trường: AI agent cho vận hành doanh nghiệp đã tiến xa, nhưng còn rất xa mức “tự xử lý production” với độ tin cậy mà CIO/CISO có thể ký duyệt rộng rãi.
Biểu đồ
Tóm tắt
ITBench-AA là một tín hiệu quan trọng cho thị trường AI doanh nghiệp vì nó đo đúng phần mà nhiều nhà cung cấp đang quảng bá mạnh nhất: AI agent có thể thay chuyên gia vận hành IT ở các quy trình phức tạp hay không. Câu trả lời hiện tại là: có tiến bộ rõ rệt, nhưng chưa đủ chín.
Điểm đáng giá của benchmark này nằm ở chỗ nó không đo khả năng trả lời đẹp hay viết demo, mà đo khả năng lần theo log, trace, dependency và chọn đúng thực thể gốc gây sự cố. Ở bài test kiểu này, ngay cả model hàng đầu cũng chưa vượt 50%, nghĩa là rủi ro false positive và chẩn đoán sai vẫn còn rất lớn.
Chi tiết
ITBench-AA do Artificial Analysis phối hợp với IBM Software Innovation Lab xây dựng, mở đầu bằng nhóm tác vụ Site Reliability Engineering (SRE) trên môi trường Kubernetes. Đây là lựa chọn rất đúng thời điểm. Trong 12 tháng qua, hầu như mọi hãng lớn đều cố đẩy narrative rằng AI agent có thể trở thành đồng nghiệp số cho đội vận hành, bảo mật và DevOps. Nhưng phần lớn minh họa ngoài thị trường vẫn là demo đẹp, kịch bản hẹp hoặc benchmark quá “sạch”. ITBench-AA đi theo hướng ngược lại: đưa agent vào môi trường snapshot của sự cố thật, buộc nó phải tìm nguyên nhân gốc trong ma trận logs, metrics, traces, topology và manifest.
Kết quả đáng chú ý nhất là không model nào vượt 50%. Claude Opus 4.7 dẫn đầu ở 47%, GPT-5.5 bám sát 46%, còn Qwen3.7 Max đạt 42%. Khoảng cách giữa top model không quá lớn, trong khi toàn bộ nhóm dẫn đầu vẫn ở dưới ngưỡng mà doanh nghiệp có thể coi là “đủ tin cậy để giao quyền vận hành độc lập”. Đây là điểm cần nhấn mạnh: benchmark không nói AI agent yếu, mà nói kỳ vọng thị trường hiện đang đi nhanh hơn năng lực thực tế.
Cấu trúc chấm điểm của ITBench-AA cũng khiến kết quả này có giá trị. Model không chỉ cần nêu đúng một nguyên nhân; nó phải xác định đủ tập root causes độc lập. Nếu bỏ sót bất kỳ nguyên nhân thật nào, điểm cho lần chạy đó về 0. Nếu nêu thêm thực thể không liên quan, độ chính xác bị kéo xuống. Cách chấm này phản ánh rất sát môi trường production: một chẩn đoán nghe hợp lý nhưng sai entity vẫn có thể dẫn đội vận hành đi sai hướng, kéo dài MTTR và làm tăng rủi ro outage.
Một tín hiệu khác rất quan trọng là “nhiều bước hơn không đồng nghĩa tốt hơn”. GPT-5.5 trung bình 31 lượt tương tác mỗi task và đạt 46%, trong khi Gemini 3.1 Pro Preview trung bình 83 lượt nhưng chỉ đạt 30%. Nói cách khác, chi tiêu token và thời gian suy luận chưa tự động chuyển thành chất lượng quyết định. Với các CIO, đây là điểm phải đưa vào mô hình ROI: agent càng nói dài chưa chắc càng đáng tin; đôi khi nó chỉ tạo thêm nhiễu và false positive.
Benchmark này cũng gợi ra một lớp định giá mới. Gemma 4 31B đạt 37% với chi phí chỉ 0,14 USD mỗi tác vụ, vượt Gemini 3.1 Pro Preview cả về điểm lẫn chi phí. Điều đó báo hiệu áp lực biên lợi nhuận sẽ tăng với các model đóng phí cao: khách hàng doanh nghiệp sẽ bắt đầu hỏi không chỉ “model nào mạnh nhất” mà còn “điểm chính xác trên mỗi USD là bao nhiêu”.
Về chiến lược, ITBench-AA có thể khiến thị trường agent doanh nghiệp bớt hưng phấn kiểu marketing và quay về câu hỏi vận hành thực tế: khi nào thì đủ tốt để giao ticket, khi nào phải có human-in-the-loop, và loại workflow nào nên tự động hóa trước. Kết luận hợp lý lúc này là agent AI đã sẵn sàng cho vai trò phụ tá chẩn đoán và tăng tốc điều tra, nhưng chưa sẵn sàng để thay thế hoàn toàn người vận hành trong các sự cố production phức tạp.