Inkling 2 Mini lặp lớp xử lý để suy luận ít chữ mà vẫn chạy được trên laptop

XTelegram
Inkling 2 Mini đạt 20 điểm Intelligence Index của Artificial Analysis, ngang Qwen3.8 27B

Inkling 2 Mini dẫn đầu nhóm mô hình mở dưới 100 tỷ tham số ở bài kiểm tra lập trình agentic, dùng giấy phép Apache 2.0 và chạy được trên Mac 32 GB.

⚡ MIGOVI TL;DR

  • Thinking Machines phát hành Inkling 2 Mini, mô hình mở chạy lặp 12 trong 24 lớp ba lần cho mỗi token
  • 26.4 tỷ tham số, 5.4 tỷ hoạt động trên mỗi token, xử lý văn bản lẫn hình ảnh, ngữ cảnh 1 triệu token
  • Dẫn đầu mô hình mở dưới 100 tỷ tham số ở lập trình agentic: 48.2% DeepSWE v1.1, 46.5% Vals Index v2.2
  • Chạy cục bộ trên Mac từ 32 GB bộ nhớ hoặc NVIDIA DGX Spark, tải về từ Hugging Face

Cách looped transformer hoạt động

Thinking Machines vừa phát hành Inkling 2 Mini, một mô hình thuộc dạng looped transformer, tức là một số lớp xử lý được cho chạy lặp lại nhiều lần với mỗi token. Ở Inkling 2 Mini, 12 trong tổng số 24 lớp được chạy ba lần liên tiếp. Theo hãng, cách làm này cho mô hình thêm thời gian suy luận bên trong mà không phải viết thêm chữ nào ra ngoài, nhờ vậy nó tìm được đáp án đúng với ít token hơn.

Về cấu hình, đây là mô hình mixture-of-experts (MoE) mở với 26.4 tỷ tham số, trong đó hãng cho biết chỉ có 5.4 tỷ tham số hoạt động trên mỗi token do cách lặp lớp này. Mô hình xử lý được cả văn bản lẫn hình ảnh, có cửa sổ ngữ cảnh 1 triệu token, còn giấy phép là Apache 2.0 nên người dùng có thể tải về và dùng khá thoải mái.

Kết quả kiểm tra

Ở mảng lập trình agentic, Inkling 2 Mini đứng đầu trong các mô hình mở dưới 100 tỷ tham số, với 48.2% trên DeepSWE v1.1 và 46.5% trên Vals Index v2.2. Điều đáng để ý là kết quả này đến từ một mô hình còn cách khá xa ngưỡng 100 tỷ, vì tổng cộng nó chỉ có 26.4 tỷ tham số.

Inkling 2 Mini đạt 20 điểm Intelligence Index của Artificial Analysis, ngang Qwen3.8 27B
Inkling 2 Mini đạt 20 điểm trên Intelligence Index của Artificial Analysis

Trên Intelligence Index của Artificial Analysis, Inkling 2 Mini được 20 điểm, ngang Qwen3.8 27B, nhưng chi phí thấp hơn khoảng sáu lần, tốc độ nhanh gấp bốn lần. Con số này cho thấy việc cho mô hình lặp lại một phần số lớp có thể là cách lấy thêm chất lượng mà không cần phình số tham số lên.

Chạy tại máy và cách tải về

Về chuyện chạy tại nhà, Inkling 2 Mini chạy cục bộ được trên máy Mac có từ 32 GB bộ nhớ trở lên cũng như trên NVIDIA DGX Spark. Bạn có thể tải trọng số (weights) từ Hugging Face, kèm một phiên bản nghiên cứu cho phép thay đổi số vòng lặp. Ai chỉ muốn xem thử mô hình làm được gì thì có thể dùng bản có sẵn trên Tinker Playground.

GÓC NHÌN MIGOVI

Migovi thấy giá trị của Inkling 2 Mini nằm ở hướng đi nhiều hơn ở các con số, vì cho một nửa số lớp chạy lặp để mô hình nghĩ lâu hơn rồi tìm ra đáp án với ít token hơn là cách tăng chất lượng mà không phải đổi bằng một mô hình cồng kềnh. Tuy vậy các điểm số dẫn đầu mới được công bố nên cần thêm người dùng thử trên công việc thực tế rồi mới kết luận được. Với người dùng Việt Nam, bản mở theo Apache 2.0 chạy được trên Mac 32 GB là cơ hội đáng thử cho ai muốn có một trợ lý lập trình chạy ngay trên máy, còn máy có bộ nhớ thấp hơn thì nên chờ hãng hoặc cộng đồng nêu rõ cấu hình tối thiểu trước khi tải về.

Nguồn: The Decoder (AI)

Kiểm duyệt bởi: Hero Association

Chia sẻ cảm nhận nhé ^^

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Góc nhìn

Mục lục

  1. Cách looped transformer hoạt động
  2. Kết quả kiểm tra
  3. Chạy tại máy và cách tải về