Benchmark cá nhân hóa cho thấy xếp hạng LLM tổng hợp đang lệch khỏi nhu cầu thực
Điểm nổi bật
- 115 người dùng hoạt động: Nhóm nghiên cứu dùng dữ liệu từ các người dùng Chatbot Arena có ít nhất 25 lần so sánh mô hình.
- Tương quan Bradley-Terry chỉ 0,04: Xếp hạng cá nhân theo sở thích người dùng gần như không khớp với bảng xếp hạng tổng hợp.
- 57% người dùng lệch mạnh khỏi bảng chung: Hơn một nửa có tương quan gần 0 hoặc âm so với xếp hạng trung bình.
- Tương quan ELO chỉ 0,43: Ngay cả khi dùng hệ ELO, độ bám giữa xếp hạng cá nhân và xếp hạng tổng hợp cũng chỉ ở mức vừa phải.
- 778 chiều đặc trưng: Nhóm tác giả kết hợp 10 đặc trưng chủ đề và 768 đặc trưng phong cách viết để dự đoán sở thích mô hình của từng người.
Biểu đồ
Tóm tắt
Paper mới từ Đại học Chicago đặt lại một câu hỏi căn bản của kỷ nguyên LLM, liệu bảng xếp hạng mô hình phổ biến hiện nay có thật sự phản ánh thứ mà từng người dùng cần hay không. Câu trả lời của nhóm tác giả là không, ít nhất là trong rất nhiều trường hợp. Khi chuyển từ xếp hạng trung bình sang xếp hạng theo từng người, thứ tự mô hình thay đổi mạnh hơn dự kiến.
Điểm đáng chú ý là nghiên cứu này không chỉ phê bình benchmark hiện tại mà còn gợi mở một hướng đi rõ ràng hơn cho tương lai AI, đó là đánh giá mô hình theo từng kiểu nhu cầu, chủ đề và phong cách giao tiếp. Nếu kết luận này đứng vững, thị trường AI sẽ phải dịch từ cuộc đua model tốt nhất sang cuộc đua model phù hợp nhất.
Chi tiết
Trong giai đoạn AI tạo sinh bùng nổ, ngành công nghiệp đã quen với việc theo dõi một vài bảng xếp hạng lớn để kết luận mô hình nào mạnh nhất. Cách tiếp cận đó có lợi thế là đơn giản, dễ truyền thông và thuận tiện cho mua sắm công nghệ. Nhưng nghiên cứu "Personalized Benchmarking: Evaluating LLMs by Individual Preferences" chỉ ra rằng tính đơn giản ấy có thể đang che lấp sai số rất lớn ở tầng người dùng thực tế.
Nhóm tác giả sử dụng dữ liệu từ Chatbot Arena và tập trung vào 115 người dùng hoạt động mạnh, mỗi người có ít nhất 25 lần so sánh cặp mô hình. Từ đó, họ tính xếp hạng mô hình riêng cho từng người bằng hai cách phổ biến là ELO và Bradley-Terry. Kết quả cho thấy mức lệch giữa xếp hạng cá nhân và xếp hạng tổng hợp cao hơn nhiều so với giả định chung của thị trường. Với Bradley-Terry, tương quan trung bình chỉ là 0,04, tức gần như không có quan hệ đáng kể giữa bảng xếp hạng trung bình và sở thích mô hình của từng cá nhân. Với ELO, con số tốt hơn nhưng vẫn chỉ là 0,43, nghĩa là bảng chung mới phản ánh một phần nhu cầu thực.
Ý nghĩa của phát hiện này rất rộng. Trong môi trường doanh nghiệp, không phải mọi nhân sự đều cần cùng một kiểu AI. Người làm kỹ thuật có thể thích câu trả lời ngắn, chính xác, nhiều ví dụ mã. Người làm marketing có thể ưu tiên diễn đạt giàu ngôn ngữ và gợi ý sáng tạo. Người làm điều hành có thể cần câu trả lời súc tích, có cấu trúc và dễ hành động. Khi tất cả được ép vào một bảng điểm trung bình, doanh nghiệp dễ chọn nhầm mô hình tối ưu cho số đông tưởng tượng thay vì tối ưu cho các nhóm công việc thật.
Nghiên cứu còn cố gắng giải thích nguồn gốc khác biệt đó bằng cách phân tích hai lớp tín hiệu, chủ đề truy vấn và phong cách viết. Tác giả xây dựng biểu diễn người dùng từ 10 đặc trưng chủ đề và 768 đặc trưng phong cách, sau đó dùng chúng để dự đoán xếp hạng mô hình theo từng người. Đây là điểm quan trọng vì nó biến câu chuyện từ một nhận định trực giác thành hướng triển khai có thể đo lường được. Nếu sở thích mô hình gắn với kiểu câu hỏi và phong cách giao tiếp, thì việc gợi ý hoặc tự động chuyển tuyến tới mô hình phù hợp là hoàn toàn khả thi.
Về mặt chiến lược, paper này gợi ra một chuyển dịch lớn cho tương lai con người và AI. Thay vì hỏi mô hình nào mạnh nhất, tổ chức sẽ phải hỏi mô hình nào phù hợp nhất cho từng nhóm người dùng, từng workflow và từng ngữ cảnh rủi ro. Điều đó kéo theo thay đổi trong cách benchmark, mua phần mềm, thiết kế trợ lý nội bộ và cả cách định giá AI. Nhà cung cấp nào chứng minh được khả năng cá nhân hóa lựa chọn model hoặc xây lớp định tuyến đủ tốt có thể sẽ thắng lớn hơn nhà cung cấp chỉ chăm chăm đẩy một bảng điểm tổng hợp. Nói ngắn gọn, thời kỳ benchmark một cỡ cho mọi người có thể đang đi tới giới hạn của nó.