Điểm nổi bật
- Engagement: 154 upvotes, 27 comments trong vài giờ, nổi bật trong nhóm LocalLLaMA nhờ số đo benchmark chi tiết.
- Luận điểm chính 1: Qwen3.5-9B đạt 85 tok/s, nhanh hơn baseline 3.3x trên M5 Max 64GB với MLX.
- Luận điểm chính 2: thread nhấn mạnh đặc tính unified memory của Apple Silicon làm bài toán speculative decoding khác hẳn CUDA, nhiều kernel tùy biến còn chậm hơn mặc định.
- Luận điểm chính 3: cộng đồng quan tâm nhất tới nghịch lý quantized target, nơi draft bf16 lại trở thành nút cổ chai thay vì verifier.
Biểu đồ
Tóm tắt
Thread trên r/LocalLLaMA bàn về một triển khai DFlash native cho MLX đã thu hút chú ý vì nó cung cấp đúng thứ cộng đồng thích nhất: benchmark cụ thể, phần cứng cụ thể và giải thích kỹ thuật khá sâu. Tác giả cho biết Qwen3.5-9B bf16 đạt 85 token/giây trên M5 Max, trong khi Qwen3.5-4B có lúc tăng tới 133 token/giây ở ngữ cảnh dài hơn. Với người theo dõi local inference, đây là tín hiệu cho thấy Apple Silicon vẫn còn dư địa tối ưu đáng kể.
Điều làm thread thú vị hơn nằm ở phần bài học rút ra. Tác giả chỉ ra nhiều kernel Metal tùy biến không thắng được MLX mặc định, còn trên model quantized thì verifier quá nhanh khiến draft model thành nút thắt. Cộng đồng vì thế không chỉ bàn về “nhanh hơn bao nhiêu”, mà còn tranh luận về giới hạn cấu trúc của speculative decoding trên kiến trúc unified memory.
Chi tiết
Ở bề mặt, thread này có vẻ chỉ là một bài benchmark trình diễn. Nhưng thực chất nó chạm vào ba câu hỏi lớn của cộng đồng LocalLLaMA: local inference trên Mac còn tăng tốc được tới đâu, speculative decoding có còn đáng đầu tư hay không, và Apple Silicon có thể trở thành nền tảng phát triển agent/local coding stack nghiêm túc đến mức nào. Tác giả chia sẻ một loạt con số đủ cụ thể để tạo niềm tin: Qwen3.5-9B bf16 từ 26 tok/s lên 85 tok/s ở đoạn sinh 1024 token, còn bản 4B tăng từ khoảng 41 tok/s lên 109 đến 133 tok/s. Riêng với Qwen3.5-27B quantized, hệ số tăng tốc giảm xuống còn khoảng 1.7x đến 2.5x tùy thiết lập 4bit hay 8bit.
Nhưng phần bình luận tập trung nhiều hơn vào lý do phía sau các con số. Điểm đầu tiên là bản chất bandwidth-bound của unified memory. Trong hệ CUDA truyền thống, nhiều kỹ sư quen nghĩ rằng viết kernel chuyên biệt sẽ mang lại tốc độ tốt hơn. Ở đây, tác giả cho biết những tối ưu như batched GEMV, fused gated SiLU hay custom SDPA lại chậm hơn stock MLX steel GEMM. Điều này gợi ra một nhận định quan trọng: với Apple Silicon, cuộc chơi không phải cứ hạ xuống tầng thấp hơn là thắng, mà là phải tối ưu rất sát với đặc điểm nạp trọng số và luồng dữ liệu của hệ.
Điểm thứ hai là nghịch lý của target quantized. Trực giác thông thường cho rằng verifier là khâu nặng, còn draft chỉ là mô hình nhỏ để đẩy nhanh quá trình. Nhưng trong thiết lập mà verifier đã được nén mạnh, draft bf16 lại trở thành phần chậm hơn. Điều đó khiến speculative decoding không còn là câu chuyện “càng nhiều draft token càng tốt”, mà thành bài toán cân bằng giữa kích cỡ draft, kiểu lượng tử hóa, và chi phí đồng bộ CPU-GPU. Tác giả còn chỉ ra việc cắt sync từ 2 lần xuống 1 lần mỗi chu kỳ giúp tiết kiệm khoảng 0.5ms ở tốc độ cao, một chi tiết nhỏ nhưng rất có giá trị với cộng đồng tối ưu inference.
Điểm cuối cùng khiến thread được chú ý là lời hứa “sẽ open source khi sẵn sàng”. Điều này mở ra tranh luận quen thuộc của LocalLLaMA: cộng đồng có nên xem những bài benchmark chưa mã nguồn là tín hiệu đáng theo dõi hay chỉ là teaser. Dù còn hoài nghi, consensus chung vẫn nghiêng tích cực vì bài đăng không chỉ khoe kết quả mà còn thừa nhận rõ các giới hạn, như tốc độ giảm khi KV cache dài ra và nhu cầu phải nén draft cho model 27B. Với nhóm xây local agents hoặc inference stack trên Mac, thread này đáng chú ý vì nó cho thấy trần hiệu năng chưa đóng lại, nhưng đường đi tiếp theo không nằm ở việc bê nguyên công thức từ GPU server sang Apple Silicon.