Điểm nổi bật
- Định vị rõ ràng:
wazalà CLI / framework để tạo, kiểm tra và benchmark agent skills. - Khả năng cốt lõi: scaffold project, tạo eval từ
SKILL.md, record task từ prompt, chạy benchmark, grade và compare kết quả đa model. - Giá trị hạ tầng: dự án đẩy skill từ vai trò “file hướng dẫn” sang artifact có thể kiểm thử trong CI/CD.
- Tín hiệu thị trường: xuất hiện trong GitHub Trending Go với khoảng 585 stars và 148 stars hôm nay, cho thấy chủ đề quality/evals cho agent đang nóng lên.
- Ý nghĩa chiến lược: khi đội ngũ bắt đầu dùng agent trong production, nhu cầu đo chất lượng skill thay vì chỉ viết thêm prompt sẽ tăng rất nhanh.
Biểu đồ
Tóm tắt
Waza đáng chú ý vì nó giải một khoảng trống rất thật trong hệ sinh thái agent: ai cũng nói về skill, prompt và harness, nhưng ít công cụ coi skill như một đối tượng kỹ thuật có thể test, benchmark và theo dõi regression một cách có cấu trúc. Repo của Microsoft đi thẳng vào khoảng trống đó bằng bộ CLI thiên về vòng đời kỹ thuật hơn là demo.
Nếu agent là phần mềm, thì skill không thể mãi là một tệp markdown chỉ được tin bằng cảm giác. Waza vì vậy có thể trở thành một mắt xích quan trọng trong làn sóng “software engineering for agents”, nơi chất lượng không còn được đo bằng độ hay của prompt mà bằng khả năng lặp lại, so sánh và kiểm soát qua pipeline.
Chi tiết
waza tự mô tả là một Go CLI để đánh giá AI agent skills: scaffold eval suite, chạy benchmark và so sánh kết quả giữa các model. Cách định vị này rất đáng chú ý vì nó chạm vào một nhu cầu đang tăng nhanh trong cộng đồng agent. Trong giai đoạn đầu, nhiều đội chỉ cần viết prompt và vài tệp hướng dẫn để agent làm việc tốt hơn. Nhưng khi agent bắt đầu tham gia vào quy trình thật, skill trở thành một phần của hệ thống sản xuất. Khi đó, câu hỏi không còn là “skill này nghe có hợp lý không” mà là “skill này có ổn định, có regression, có bền qua model change hay không”.
Waza cố gắng đưa ra một câu trả lời khá đầy đủ. Repo hỗ trợ tạo workspace tách riêng skills/ và evals/, scaffold skill mới, generate eval từ SKILL.md, record task từ một prompt chạy thật, rồi benchmark bằng nhiều chế độ như parallel run, multi-model comparison, baseline testing, caching và output reporter cho CI. Chỉ riêng việc coi SKILL.md là đầu vào để sinh eval suite đã là bước tiến quan trọng: nó chuyển skill từ tài liệu mô tả sang đối tượng có thể kiểm chứng.
Một điểm khác khiến dự án đáng theo dõi là nó nhấn mạnh toàn bộ vòng đời chất lượng. Không chỉ “run” mà còn “grade”, “compare”, “coverage”, “tokens count”, “tokens suggest”. Nghĩa là nhóm phát triển không xem vấn đề của skill chỉ là accuracy, mà còn là độ phủ đánh giá, ngân sách token và khả năng so sánh thay đổi theo thời gian. Đây là tư duy rất gần với testing hiện đại trong phần mềm truyền thống.
Ở góc nhìn chiến lược, Waza phản ánh sự trưởng thành của thị trường agent. Khi số lượng skills và custom agents tăng lên, tổ chức sẽ cần governance mới: skill nào sẵn sàng đưa vào production, model nào cho kết quả tốt nhất với cùng một eval, thay đổi prompt nào làm hiệu quả giảm, token budget nào bắt đầu vượt ngưỡng. Nếu không có lớp công cụ kiểu Waza, phần lớn quyết định đó sẽ vẫn dựa vào cảm giác, demo đẹp hoặc vài ví dụ cherry-pick.
Rủi ro là thị trường này còn sớm. Một framework eval cho skill chỉ thành công nếu cộng đồng chấp nhận định nghĩa chuẩn cho task, grader và outcome. Tuy vậy, ngay cả trong trạng thái đầu, Waza vẫn là tín hiệu mạnh rằng “agent quality engineering” đang trở thành hạng mục sản phẩm riêng. Và đó là dấu hiệu rất quan trọng của sự trưởng thành trong hệ sinh thái agent open source.