GPU AMD Instinct MI400 Series ra mắt với 2 biến thể gồm MI455X và MI430X, dựa trên vi kiến trúc CDNA 5 sản xuất bởi tiến trình TSMC N2 và N3P.

GPU AMD Instinct MI400 Series

Khi các mô hình ngôn ngữ lớn (LLM) cùng hệ thống AI đa phương thức mở rộng tới hàng ngàn tỷ tham số thì khả năng tính toán của máy chủ đơn lẻ không còn đủ sức đáp ứng. Yêu cầu thực tế này đòi hỏi sự tối ưu hóa toàn diện từ cấp độ vi mạch silicon, chuẩn bộ nhớ, giao thức kết nối cho tới thiết kế hệ thống cấp rack (rack-scale). GPU AMD Instinct MI400 Series ra đời như là giải pháp phần cứng được chuyên biệt hóa cho từng tải công việc riêng biệt.

Instinct MI400 Series được chia thành 2 phiên bản chính gồm AMD Instinct MI455X và AMD Instinct MI430X. Phiên bản MI455X được tối ưu cho định dạng ma trận/vector AI, tập trung phục vụ các trung tâm dữ liệu AI quy mô siêu lớn (Frontier AI, AI Factory) nhờ hiệu năng ma trận OCP MXFP4 đạt mức 40.26 PFLOPS. Trong khi đó, phiên bản MI430X tối ưu cho độ chính xác kép/đơn khoa học, hướng đến tính toán khoa học chuyên dụng, HPC và Sovereign AI, cung cấp năng lực tính toán FP64 bằng phần cứng lên tới 288 TFLOPS.

Vi kiến trúc CDNA 5 và công nghệ chiplet

Vi kiến trúc AMD CDNA 5 chứ tới 320 tỷ bán dẫn trên 1 gói chip duy nhất bằng công nghệ đóng gói CoWoS-L. Cấu trúc silicon này kết hợp nhiều die chiplet chức năng được gia công trên các tiến trình bán dẫn hiện đại nhất của TSMC. Việc phân chia die giúp tối ưu hóa mật độ bán dẫn cũng như hiệu suất tiêu thụ điện năng cho toàn hệ thống.

Layout của CDNA 5 gồm 8 XCD (Accelerator Complex Die) sản xuất trên tiến trình TSMC N2, cùng 2 FCD (Fabric and Cache Die) và 2 IOD (I/O Die) sản xuất trên tiến trình TSMC N3P. Mỗi GPU chứa tổng cộng 8 XCD, với mỗi XCD chia thành 2 Shader Engine và 32 cụm xử lý WGP (Work Group Processor). Các FCD đặt song song cho phép kết nối toàn bộ 256 cụm WGP với 12 chồng bộ nhớ HBM4 xung quanh đế chip.

Thay đổi nền tảng trên vi kiến trúc CDNA 5 là việc chuyển đổi mô hình thực thi luồng từ Wave64 sang Wave32. Trong các kiến trúc CDNA trước đây, mỗi wave (nhóm luồng thực thi đồng thời) gồm 64 luồng. Thiết kế nhóm 32 luồng đồng thời giúp giảm độ trễ lệnh (Instruction Latency) và hạn chế tối đa chi phí xử lý khi xảy ra hiện tượng rẽ nhánh điều kiện (Branch Divergence Penalties). Đồng thời, cấu trúc mới này giảm áp lực lên tập thanh ghi (Register Pressure), cho phép mỗi wave truy cập tới 1024 thanh ghi vector cho mỗi luồng, cao hơn gấp 4 lần so với thế hệ MI355X tiền nhiệm (chỉ có 256 thanh ghi). Tập thanh ghi vô hướng (SGPR - Scalar General-Purpose Register) phân bổ 128 thanh ghi 32-bit cho mỗi wave, tương ứng 8 KB cho mỗi SIMD (Single Instruction, Multiple Data) và 32 KB cho mỗi WGP.

Năng lực tính toán và cơ chế xử lý dữ liệu TDM

Mỗi cụm WGP trên GPU MI400 Series trang bị 1 khối phần cứng chuyên dụng mang tên Tensor Data Mover (TDM). Đơn vị TDM này có nhiệm vụ giải mã trực tiếp các sơ đồ phân mảnh (tiling schemes) ma trận hoặc tensor tối đa 5 chiều dựa trên các mô tả giao dịch (descriptors) nạp từ SGPR. TDM có khả năng truyền dữ liệu thẳng từ bộ nhớ đệm nội bộ LDS SRAM sang bộ nhớ chính HBM4 DRAM mà không cần đi trung gian qua thanh ghi, giúp giảm độ trễ và tiết kiệm tài nguyên tính toán.

Về khả năng xử lý dữ liệu vi mô (microscaling formats), CDNA 5 hỗ trợ hệ số chia tỷ lệ dạng phân số cấp khối (block-level fractional scale) cho định dạng MXFP4, giúp hạn chế sai số lượng hóa khi huấn luyện mô hình. Bên cạnh đó, phiên bản MI455X đạt hiệu năng FP8/MXFP8 ở mức 20.13 PFLOPS và tăng tốc gấp 2 lần tốc độ xử lý các hàm vượt cấp (transcendental operations) như tanh (tang hyperbol - hyperbolic tangent) so với MI355X, hỗ trợ đắc lực cho các hàm kích hoạt (activation) và Softmax trong mạng thần kinh nhân tạo (neural network).

Bộ nhớ đệm và nâng cấp HBM4

Hệ thống bộ nhớ đệm trên CDNA 5 được phân tầng rõ ràng nhằm đảm bảo luồng dữ liệu liên tục tới các nhân tính toán. Điểm đáng chú ý là bộ nhớ đệm L2 được nâng dung lượng lên mức 192 MB, phân chia thành 96 khối nằm trên 2 FCD với tổng băng thông đạt 54 TB/s. Ngoài ra, tính năng Đọc Đa điểm (Multicast Memory Read) bằng phần cứng cho phép phát truyền dữ liệu trọng số tới nhiều WGP cùng lúc, giảm các truy xuất lặp lại trên bus bộ nhớ.

Việc chuyển sang chuẩn bộ nhớ HBM4 đem lại cải tiến lớn về băng thông và dung lượng lưu trữ. Chuẩn HBM4 mở rộng độ rộng giao diện bus từ 1024 bits lên 2048 bits cho mỗi chồng bộ nhớ. Với 12 chồng HBM4, Instinct MI400 Series đạt tổng dung lượng 432 GB và băng thông tới 23.3 TB/s, tăng khoảng 2.9 lần so với mức 8.0 TB/s của thế hệ MI355X dùng HBM3E, hạn chế tối đa rào cản nghẽn băng thông bộ nhớ. Nhờ đó, các mô hình AI sẽ có cửa sổ ngữ cảnh (context window) lớn hơn và hỗ trợ số lượng người dùng đồng thời cao hơn trên từng node GPU.

Phân mảnh GPU và bảo mật phần cứng

Để phục vụ các môi trường điện toán đám mây chia sẻ nhiều người dùng, AMD Instinct MI400 Series hỗ trợ tính năng Phân mảnh GPU theo Không gian (Spatial Partitioning). Hệ thống cho phép thiết lập linh hoạt từ 1 đến 8 phân vùng độc lập gồm:

• Cấu hình SPX (Single Partition - NPS1): 1 Phân vùng / 1 Máy ảo (VM), sở hữu toàn bộ 8 XCD và 432 GB HBM4.
• Cấu hình DPX (Dual Partition - NPS2): 2 Phân vùng / 2 VM, mỗi VM sở hữu 4 XCD và 216 GB HBM4.
• Cấu hình QPX (Quad Partition - NPS2): 4 Phân vùng / 4 VM, mỗi VM sở hữu 2 XCD và 108 GB HBM4.
• Cấu hình CPX (Octal Partition - NPS2): 8 Phân vùng / 8 VM, mỗi VM sở hữu 1 XCD và 54 GB HBM4.

Mỗi phân vùng được cách ly an toàn ở cấp độ phần cứng thông qua công nghệ ảo hóa SR-IOV (Single-Root I/O Virtualization) theo tiêu chuẩn PCI-SIG. MI400 Series tích hợp cơ chế Silicon Root of Trust trên die SOC tuân thủ chuẩn DMTF SPDM để xác thực phần mềm hệ thống. GPU còn hỗ trợ Môi trường Thực thi Tin cậy (TEE - Trusted Execution Environment) với Trusted I/O cùng bộ mã hóa phần cứng AES-256-GCM trên các liên kết Scale-Up UALOE. Điều này đảm bảo tính toàn vẹn của dữ liệu trong quá trình truyền tải giữa các GPU trên cùng mạng dùng chung.

Giải pháp hạ tầng rack AMD Helios

Khả năng kết nối hệ thống được đảm bảo nhờ 36 liên kết UALOE (Ultra Accelerator Link over Ethernet) cung cấp băng thông Scale-Up 2 chiều 3.6 TB/s, cùng giao tiếp Scale-Out đạt 600 GB/s và kết nối CPU EPYC 9006 đạt 256 GB/s. Trên quy mô lớn, giải pháp rack AMD Helios kết hợp 72 card GPU MI455X và 18 CPU EPYC trong tủ rack tiêu chuẩn OCP Open Rack Wide. Toàn bộ hệ thống Helios cung cấp sức mạnh tính toán AI đạt đỉnh 2.9 ExaFLOPS cùng tổng dung lượng bộ nhớ HBM4 lên đến 31 TB. Trong khi đó Helios còn có tổng băng thông Scale-Up toàn rack đạt 260 TB/s 2 chiều và tổng băng thông Scale-Out khả dụng tới 43 TB/s.