Computex 2024: Chip AI Intel Gaudi 2/3 có giá cực kỳ 'hạt dẻ'

Tuy không dành cho người dùng cá nhân nhưng nếu so với Blackwell của NVIDIA thì chi phí "tậu trâu" Gaudi thực sự dễ chịu hơn rất nhiều.

Cách đây không lâu, các chuyên gia tài chính HSBC từng hé lộ con chip GB200 vừa ra mắt của NVIDIA có giá từ 60.000 ~ 70.000 USD. Nhưng đáng nói hơn, là nhà khổng lồ đồ hoạ dường như "thích bán sỉ" một hệ thống server với 72 con chip GB200 hơn là "gom bạc lẻ". Và một hệ thống NVL72 như thế chỉ tốn đâu đó có 3 triệu USD...

Nên hiểu theo cách nào đấy, nếu công ty phần mềm của bạn có quy mô khiêm tốn, hầu bao có hạn thì tốt nhất là đừng nghĩ tới Blackwell làm gì...

1 hệ thống UBB có 8 chip Gaudi 3

Gaudi 3 (trái) và Gaudi 2 (phải)

Song bạn vẫn có thể ghé thăm gian hàng của Intel ở Computex để xem qua Gaudi 2/3. Đáng nói hơn là với chi phí chỉ vừa đủ để mua 1 con chip GB200, bạn có thể rinh về cả một hệ thống UBB có tới 8 chip Gaudi 2! Intel cho biết, một rack UBB Gaudi 2 có giá 65.000 USD, còn Gaudi 3 là 125.000 USD. Tất nhiên, vẫn không trong tầm với của một người bình thường nhưng với một công ty quy mô vừa và nhỏ thì không phải là quá tầm tay như Blackwell.

Intel công bố giá 2 hệ thống Gaudi 2 & 3

Một trong các yếu tố giúp Gaudi có giá cực thấp như vậy ngoài việc dùng tiến trình TSMC N7/N5, là vì nó chỉ dùng giao tiếp Ethernet vốn là tiêu chuẩn mở công nghiệp, không phải bản quyền độc quyền như InfiniBand bên NVIDIA. Có nghĩa khách hàng không phải lệ thuộc quá nhiều vào việc tìm thiết bị mạng để thay thế nếu có sự cố về hạ tầng phần cứng.

Ngoài ra, dù Blackwell là sản phẩm mới nhất của NVIDIA nhưng mẫu chip AI bán chạy nhất hiện nay vẫn là Hopper H100 (vì giá rẻ hơn và cũng dễ sản xuất hơn). Nên Intel dùng H100 làm cơ sở đối chiếu về hiệu năng lẫn giá cả. Theo đó, trên mỗi đồng bỏ ra cho Gaudi 3, hiệu năng inference gấp H100 2,3 lần và hiệu năng training gấp 1,9 lần.