Axelera AI giới thiệu Titania, chip suy luận AI cho data center
Axelera AI công bố kiến trúc Titania dạng chiplet, dùng LPDDR6 thay HBM, nhắm đến suy luận AI trong data center hiện có với mức điện năng thấp hơn.
- Titania là kiến trúc silicon thế hệ thứ ba của Axelera AI, thiết kế dạng chiplet và dùng nhân RISC-V lập trình được.
- Hãng cho biết hiệu năng trên mỗi watt cao gấp tối đa 7 lần, TCO tốt hơn tối đa 20 lần so với server data center tốt nhất hiện nay.
- Mỗi gói hỗ trợ 128 GB bộ nhớ LPDDR6, không phụ thuộc HBM vốn khan hiếm.
- Titania dự kiến sản xuất vào quý 3 năm 2027, hãng nhận hơn 300 triệu USD cam kết đặt hàng.
Nội dung bài viết
Titania nhắm vào bài toán suy luận AI quy mô lớn
Axelera AI vừa công bố chi tiết về Titania, kiến trúc silicon thế hệ thứ ba của hãng, thiết kế theo hướng chiplet. Mục tiêu là chạy suy luận AI hiệu năng cao ngay trong giới hạn điện và tản nhiệt của data center hiện hữu. Các hệ thống GPU mật độ cao nhất hiện nay thường cần rack tản nhiệt chất lỏng trên 100 kilowatt.
Mỗi gói system-in-package (SiP) gồm hai chiplet Titania. Gói này sẽ có nhiều dạng, từ card PCIe tiêu chuẩn đến bo UBB theo chuẩn OCP với tám module OAM nối trong mạng scale-up. Các đối tác OEM sẽ phân phối server suy luận dùng tản nhiệt gió hoặc chất lỏng. Theo hãng, Titania đã có hơn 300 triệu USD cam kết đặt hàng.
Hãng nêu mục tiêu hiệu năng tối đa gấp 7 lần trên mỗi watt và TCO tốt hơn tối đa 20 lần. Đây là con số do nhà sản xuất đưa ra, chưa có kiểm chứng độc lập.
Kiến trúc D-IMC và bộ nhớ LPDDR6
Titania kế thừa kiến trúc Digital In-Memory Computing (D-IMC) từ Metis và Europa. Thế hệ mới bổ sung hỗ trợ dấu phẩy động, nhiều nhân nhỏ hơn và cơ chế điều phối dữ liệu tốt hơn. Phần mềm chạy trên bộ công cụ Voyager, hỗ trợ sẵn tensor, expert và pipeline parallelism, cùng speculative decoding và KV cache offloading.
Thay vì HBM, Titania dùng LPDDR6 giá thấp và dễ mua, mỗi gói đạt 128 GB với mức tiêu thụ điện thấp hơn. Hãng lập luận rằng với các mô hình mixture-of-experts thưa, dung lượng và mức tận dụng bộ nhớ quan trọng hơn băng thông đỉnh. Cách làm này cũng tránh được rủi ro nguồn cung HBM và yêu cầu đóng gói phức tạp.
Server tham chiếu AX8 và lộ trình ra mắt
Server tham chiếu AX8 dùng tám SiP, đặt trong khung 4U tản nhiệt gió. Cấu hình này cho 20 PFLOPS ở FP8, bộ nhớ 1 TB và băng thông 19.6 TB/s, với mức tiêu thụ điển hình 5 - 6 kW. Một server chứa được mô hình 1.6 trillion tham số ở FP4 cùng phần dự trữ cho KV cache. Rack 15 kW chạy được hai server, còn rack 30 kW tản nhiệt gió chạy được năm server.
Card PCIe Titania được thiết kế thay thế trực tiếp Axelera Server 250p, card FHFL bốn chip Europa, nên mô hình hiện có chuyển sang không cần port lại. Chip còn giải mã 8K và mã hóa 4K với H.265 và AV1, giúp giảm tải CPU máy chủ khi xử lý video. Titania dự kiến vào sản xuất quý 3 năm 2027, với cam kết triển khai kéo đến đầu năm 2028.
Thiết kế tại châu Âu
Titania được phát triển tại châu Âu với hỗ trợ từ sáng kiến DARE thuộc EuroHPC Joint Undertaking. Axelera AI sẽ trình bày chi tiết kỹ thuật tại SC26, từ ngày 15 đến 19 tháng 11 ở Chicago, gian hàng 3251 tại McCormick Place.
Hướng đi dùng LPDDR6 thay HBM là điểm đáng chú ý, vì nguồn cung HBM đang là nút thắt của nhiều hãng chip AI. Tuy vậy, các con số 7 lần và 20 lần đều là mục tiêu từ nhà sản xuất, còn sản phẩm phải đến năm 2027 mới vào sản xuất. Độc giả nên chờ kết quả đo độc lập, nhất là về băng thông thực tế khi chạy các mô hình lớn, trước khi so sánh với GPU hiện hành.
Nguồn: TechPowerUp
Kiểm duyệt bởi: Hero Association
