Điểm nổi bật
- Chủ đề nóng: post so sánh GPT-OSS-120B, Seed-OSS-36B-Instruct, Qwen3-Next-80B-A3B-Instruct và GLM-4.7 theo nhiều trục thay vì chỉ nhìn một benchmark.
- Luận điểm chính: GPT-OSS-120B được khen vì cân bằng tốt giữa truncation rate, completion length và hiệu năng tổng thể.
- Điểm gây tranh luận: tác giả nhận xét cơ chế
reason_effortcủa một số model hoạt động không ổn định, trong khi Seed-OSS-36B-Instruct cần giới hạn 4k để không lãng phí ngữ cảnh. - Ý nghĩa thực tế: thảo luận chuyển từ câu hỏi “model nào mạnh nhất” sang “đo cái gì mới phản ánh đúng hiệu quả agent trong môi trường thật”.
Biểu đồ
Tóm tắt
Post của mike-ravkine trên Hugging Face không dài, nhưng chạm đúng một điểm mà giới dùng model mở đang tranh luận suốt nhiều tháng: nếu agent ngày càng quan trọng, thì benchmark cũng phải phản ánh được khả năng hoàn thành việc thật, chứ không chỉ là điểm số reasoning đẹp trên bảng. Tác giả đưa ra một cách nhìn đa chiều hơn, kết hợp truncation rate, confusion rate, độ dài completion và performance có dải tin cậy.
Điều làm post này đáng chú ý là nó không chỉ tôn vinh model dẫn đầu. Nó còn gợi ý rằng các cơ chế kiểm soát suy luận như reason_effort có thể chưa ổn định như quảng bá, và việc giới hạn nỗ lực reasoning đôi khi lại cho kết quả thực dụng hơn. Đây là kiểu tranh luận rất sát nhu cầu của đội làm sản phẩm AI, nơi chi phí, độ dài trace và độ ổn định quan trọng không kém benchmark thuần túy.
Chi tiết
Về mặt nội dung, post đưa ra một ma trận xếp hạng khá trực diện. GPT-OSS-120B được đặt ở vị trí số một nhờ giữ cân bằng tốt trên nhiều trục, thay vì chỉ thắng ở một benchmark đơn lẻ. Seed-OSS-36B-Instruct được xem là bất ngờ lớn vì chen vào nhóm dẫn đầu, nhưng kèm theo cảnh báo rất thực tế: nếu để chế độ reasoning ở mức “unlimited” thì model có thể tiêu tốn quá nhiều token và làm giảm hiệu quả vận hành. GLM-4.7 được khen ở điểm ngược lại, tức trace ngắn và sạch hơn, cho cảm giác phù hợp hơn với các luồng agent cần phản hồi nhanh.
Điểm quan trọng ở đây không nằm ở ai đứng hạng nhất. Nó nằm ở cách cuộc thảo luận đang dịch chuyển. Trong giai đoạn đầu của làn sóng model mở, cộng đồng thường tập trung vào các câu hỏi kiểu “benchmark nào cao hơn” hoặc “model nào đánh bại ai”. Nhưng khi các framework agent, tool-use và coding workflow trở thành ứng dụng chính, nhiều nhóm bắt đầu nhận ra rằng benchmark truyền thống không đủ mô tả chi phí vận hành. Một model có thể đạt điểm reasoning tốt nhưng lại bị truncation nhiều, trace quá dài hoặc tạo cảm giác thiếu ổn định khi gắn vào chuỗi hành động nhiều bước.
Post này vì thế dễ khơi ra hai phe. Phe thứ nhất ủng hộ đánh giá đa biến, cho rằng doanh nghiệp không thể chỉ nhìn leaderboard một chiều. Với họ, confusion rate và completion length là chỉ dấu rất quan trọng vì liên quan trực tiếp đến độ ổn định và chi phí. Phe thứ hai nghi ngờ rằng ngay cả bộ đo mới cũng mới chỉ là xấp xỉ. Họ muốn benchmark bám chặt hơn vào nhiệm vụ thực tế như coding agent, browser agent hay long-horizon workflow thay vì các chỉ số tổng quát.
Từ góc độ biên tập, đây là một thảo luận đáng theo dõi vì nó báo hiệu thị trường open model đang trưởng thành. Câu hỏi chiến lược không còn là model nào “thông minh hơn” theo nghĩa marketing, mà là model nào tạo ra kết quả đủ tốt với dấu chân token hợp lý, trace kiểm soát được và ít gây nhiễu cho hệ thống orchestration. Khi cộng đồng bắt đầu soi cả truncation và độ dài suy luận, đó là dấu hiệu benchmark agent đang bước ra khỏi thời kỳ phô diễn sang thời kỳ tối ưu vận hành.