ERAI News

Context Mode giải bài toán thất thoát context của coding agent

4 giờ trước

Điểm nổi bật

  • 238 sao trong ngày: repo tăng trưởng nhanh nhờ chạm đúng điểm đau của agent coding.
  • Hứa hẹn giảm 98% dữ liệu thô: sandbox tool output để tránh làm đầy context window.
  • Ghi nhớ liên tục bằng SQLite + FTS5: không nhồi lại toàn bộ lịch sử vào prompt khi compact.
  • Phủ 12 nền tảng: từ Claude Code, Gemini CLI đến Cursor và OpenCode.
  • Thông điệp cốt lõi: để LLM viết script xử lý dữ liệu thay vì đọc hết dữ liệu thô trong context.

Biểu đồ

flowchart LR A[Tool output thô] --> B[Context Mode sandbox] B --> C[Giảm dữ liệu vào prompt] C --> D[Giữ context lâu hơn] D --> E[Agent ổn định hơn]

Tóm tắt

Nếu SuperHQ giải bài toán an toàn chạy agent, thì Context Mode nhắm vào một nút thắt khác: context window bị bào mòn quá nhanh bởi output dài từ terminal, web fetch, log và snapshot. Repo này gây chú ý vì không chỉ đưa ra mẹo prompt, mà thiết kế hẳn một lớp MCP để chặn dữ liệu thô, lưu dấu vết phiên làm việc và chỉ bơm lại những gì thật sự liên quan.

Điều hấp dẫn ở đây là mức độ thực dụng. Tác giả không hứa agent thông minh hơn nhờ model mới, mà hứa agent bớt “mất trí nhớ”, bớt lặp và bớt đốt token vô ích trong quá trình làm việc dài.

Chi tiết

Context window đang là một trong những chi phí ẩn lớn nhất của làn sóng coding agent. Một agent trông có vẻ chạy tốt trong 10 phút đầu thường bắt đầu suy giảm sau 30 đến 60 phút, không hẳn vì model dở, mà vì bối cảnh hội thoại bị lấp đầy bởi những thứ không mang nhiều giá trị suy luận: log dài, nội dung file lớn, snapshot HTML, hoặc kết quả công cụ mà đáng ra nên được tóm tắt hoặc xử lý ngoài băng prompt.

Context Mode chọn cách giải rất “systems-oriented”. Thay vì cố dạy model nhớ tốt hơn, nó kiểm soát dòng dữ liệu vào model. Các sandbox tools giữ output thô bên ngoài prompt, trong khi các sự kiện phiên làm việc, file edit, git operation và quyết định của người dùng được ghi lại trong SQLite rồi đánh chỉ mục bằng FTS5. Khi cần hồi phục, agent truy lại phần liên quan thay vì nhét nguyên lịch sử vào ngữ cảnh.

Đây là một tư duy quan trọng vì nó chuyển trọng tâm từ “cửa sổ ngữ cảnh thật lớn” sang “đường ống ngữ cảnh hợp lý”. Trong môi trường doanh nghiệp, cách tiếp cận này có thể tiết kiệm chi phí đáng kể hơn là chỉ đợi model có context dài hơn. Nó cũng tạo lợi ích phụ về độ ổn định: agent biết mình đã làm gì, thay vì phải suy luận lại từ đống văn bản dài.

Một điểm đáng chú ý khác là thông điệp “think in code”. Repo nhấn mạnh rằng LLM nên viết script để đếm, lọc, tổng hợp hay phân tích thay vì đọc 50 file trực tiếp trong prompt. Đây là một thay đổi phương pháp quan trọng. Nếu được áp dụng rộng, nó sẽ làm thay đổi cách đội ngũ triển khai agent nội bộ: ít dựa vào context khổng lồ, nhiều dựa vào công cụ tính toán và script trung gian hơn.

Việc hỗ trợ nhiều nền tảng, từ Claude Code đến Cursor, Gemini CLI và OpenCode, cho thấy Context Mode đang nhắm vào lớp hạ tầng chung chứ không chỉ phục vụ một công cụ duy nhất. Đây là hướng rất khôn ngoan trong giai đoạn thị trường phân mảnh. Bên thắng lâu dài có thể không phải một IDE hay một model riêng lẻ, mà là lớp middleware giúp agent làm việc bền hơn ở mọi nơi.

Nếu lời hứa giảm 98% output thô và giữ liên tục phiên làm việc được chứng minh trong thực tế, Context Mode sẽ không chỉ là một tiện ích tối ưu token. Nó có thể trở thành một mảnh ghép nền tảng cho thế hệ agent dài hơi hơn, nơi hiệu quả đến từ kiểm soát luồng ngữ cảnh chứ không chỉ từ model mạnh hơn.

Nguồn

© 2024 AI News. All rights reserved.