Claude Mythos Preview rút thời gian đưa AI lên GPU AMD còn khoảng 3 ngày

XTelegram
Chip AMD Instinct MI350 nhìn từ trên, gắn với Claude Mythos Preview

Anthropic cho biết Claude Mythos Preview đưa mô hình AI chạy trên GPU AMD MI355X chỉ trong khoảng 3 ngày, thay vì 6 đến 12 tháng như trước đây.

⚡ MIGOVI TL;DR

  • Anthropic cho biết Claude Mythos Preview đưa một mô hình của hãng chạy trên GPU AMD MI355X trong khoảng 3 ngày, so với 6 đến 12 tháng theo cách làm truyền thống.
  • Mythos viết hoặc chuyển đổi gần như 100% số kernel, với rất ít sự can thiệp của con người.
  • Con số nằm trong tài liệu gửi nhà đầu tư IPO, nhưng Anthropic chưa công bố hiệu năng so với NVIDIA.
  • Hào nước CUDA của NVIDIA đang hẹp lại, song chưa biến mất vì AI viết mã vẫn cần phần cứng để thử nghiệm.

Ba ngày thay cho nhiều tháng

Anthropic nói với nhà đầu tư trong đợt IPO rằng Claude Mythos Preview đã làm xong phần việc phần mềm để AI của hãng chạy trên GPU AMD trong khoảng 3 ngày, với "gần như không có sự can thiệp của con người". Trước đây công việc này mất từ 6 đến 12 tháng. Mốc 3 ngày áp dụng cho khâu xử lý prompt (prefill) của một mô hình Anthropic trên GPU AMD MI355X, ở mức hiệu năng "đủ dùng". Mythos đã chuyển đổi hoặc tự viết "gần như 100% số kernel".

Loại mã cấp thấp này gắn một mô hình AI với chip của một hãng cụ thể. Từ lâu nó là một phần hào nước CUDA của NVIDIA. Nếu AI viết được chỉ trong vài ngày, hào nước đó coi bộ đang bị bào mòn.

Claude Mythos Preview

Tom Brown, đồng sáng lập kiêm giám đốc điện toán của Anthropic, là người đưa ra phép so sánh thời gian này. Theo ông, cách làm cũ cần một đội "hàng chục kỹ sư". Anthropic vốn chạy mô hình trên nhiều loại chip như GPU NVIDIA, GPU AMD, TPU của Google hay AWS Trainium. Hãng quản lý toàn bộ như "một hồ tài nguyên tính toán có thể hoán đổi". Brown gọi quyết định đi đa chip từ sớm là "một canh bạc khác thường". Nước đi này có thể là khôn ngoan, vì TPU nay chạy được trực tiếp các mô hình viết bằng PyTorch. Meta cũng đang dùng TPU trong môi trường sản xuất.

Chi phí chuyển đổi khỏi CUDA

CUDA đã gần hai thập niên tuổi nên rất chín muồi. AMD có nền tảng tương đương là ROCm, với HIP làm lớp lập trình. Mã viết cho CUDA phải được chuyển đổi mới chạy được ở đây và AMD thậm chí làm hẳn công cụ HIPify cho việc này. Chi phí khi chuyển sang vẫn còn đó. Anush Elangovan, phó chủ tịch phần mềm AI của AMD, nói với EE Times hồi tháng 4 rằng "Claude tốt hơn HIPify vì có sẵn tính năng tìm kiếm web".

Claude Mythos Preview - AMD ROCm

AMD đã nhiều lần đưa lập luận rằng AI viết được loại mã này. Vamsi Boppana, phó chủ tịch cấp cao mảng AI của AMD, cho biết kỹ sư hãng dùng mô hình AI để tạo kernel GPU. Có trường hợp kernel còn "tốt hơn bản tinh chỉnh thủ công". Theo thỏa thuận hồi tháng 7, AMD cũng dùng Claude để tối ưu tác vụ cho GPU Instinct và đẩy nhanh quá trình phát triển ROCm. Tại sự kiện Advancing AI, Philippe Tillet của OpenAI kể rằng một kỹ sư đã xác nhận hệ thống Helios chạy ổn chỉ trong vài ngày.

Những con số còn thiếu

Điểm khác lần này là thông tin đến từ chính Anthropic, gửi cho nhà đầu tư của mình. Anthropic mua chip chứ không bán chip. Hãng sắp IPO nên cách tiếp cận đa chip, giờ đã có thêm vài con số, nặng ký hơn lời của một nhà sản xuất chip. Bản cáo bạch cũng viết rằng hãng "có thể đưa nền tảng chip mới vào sử dụng chỉ trong một phần nhỏ thời gian trước đây", dù không kèm con số. Thỏa thuận giữa Anthropic và AMD hiện có quy mô lên đến 2 GW.

Vẫn còn nhiều chỗ chưa rõ. Mốc 3 ngày chỉ nói về khâu prefill, tức bước mô hình đọc và xử lý đầu vào trước khi trả lời. Anthropic chưa nói khâu decode (tạo câu trả lời) có nằm trong đó không. Biểu đồ của hãng có hai đường cùng chạm mốc "~100%" nhưng không ghi rõ 100% của cái gì. Hãng cũng chưa công bố tốc độ chạy trên GPU AMD so với GPU NVIDIA. Đó mới là phép so sánh cho biết chip AMD chạy mã do AI viết có theo kịp NVIDIA hay không.

Biểu đồ so sánh Claude Mythos Preview 3 ngày với 6 đến 12 tháng
Biểu đồ trong video giới thiệu của Anthropic cho nhà đầu tư.

Phía NVIDIA có góc nhìn khác. CEO Jensen Huang nói trong một cuộc phỏng vấn hồi tháng 4 rằng NVIDIA cũng dùng AI cho kernel của mình. Ông cho rằng "không ai hiểu kiến trúc của chúng tôi hơn chúng tôi". Khi được hỏi vì sao các phòng thí nghiệm như Anthropic dùng chip khác, ông gọi Anthropic là "một trường hợp riêng, không phải xu hướng". Điều thú vị là NVIDIA và AMD nằm trong nhóm bảy công ty mua cổ phiếu Anthropic trị giá 26 tỷ USD theo giá IPO.

Hào nước hẹp lại nhưng chưa biến mất

Hồi cuối tháng 7, SemiAnalysis đăng bài "Can AMD break the CUDA Moat?" với nhận định phần mềm không còn là hào nước như một năm trước. Tuy vậy, họ chỉ ra một điểm vướng cho AMD. Với lập trình bằng agent, "mỗi agent cần GPU để chạy thử mã của nó". Nghĩa là AI viết mã vẫn cần phần cứng. SemiAnalysis ghi nhận AMD thiếu GPU nội bộ cho mảng này và đó có thể là nút thắt mới.

Vì vậy CUDA đang đứng ở khoảng giữa. Đưa một mô hình lên chip mới từng là việc tốn kém nhất, giờ có vẻ đang rẻ đi. Hồ tài nguyên của Anthropic cũng không hoàn toàn hoán đổi được, chẳng hạn TPU ngày càng chuyên biệt hóa. Hào nước đang hẹp lại nhưng chưa mất. Chip AMD MI450 đầu tiên của Anthropic, trong các rack Helios, dự kiến về vào nửa đầu 2027. Đó là thế hệ mới, cũng là dịp thử xem quy trình 3 ngày có lặp lại được hay không.

GÓC NHÌN MIGOVI

Nếu con số 3 ngày đứng vững, thứ thay đổi trước hết là bài toán chi phí và thời gian khi chọn chip, chứ chưa phải thế thượng phong của AMD. Độc giả nên chờ ba mảnh dữ liệu: số liệu hiệu năng so với NVIDIA, kết quả ở khâu decode và việc quy trình này có lặp lại được với MI450 hay không. Đến lúc đó mới đánh giá được CUDA còn giữ được bao nhiêu lợi thế.

Nguồn: Tom's Hardware

Kiểm duyệt bởi: Hero Association

Chia sẻ cảm nhận nhé ^^

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Góc nhìn

Mục lục

  1. Ba ngày thay cho nhiều tháng
  2. Chi phí chuyển đổi khỏi CUDA
  3. Những con số còn thiếu
  4. Hào nước hẹp lại nhưng chưa biến mất