Google ra TPU 8tx và TPU 8i Max cho AI agent và suy luận bảo mật

Google bổ sung TPU 8tx cho suy luận bảo mật dùng AMD EPYC và TPU 8i Max ghép hai chip 8i trên một package, dành cho tác vụ ngữ cảnh dài của AI agent.

Hai biến thể mới trong họ TPU thế hệ 8

Hồi tháng 4, Google công bố TPU 8t cho huấn luyện mô hình AI và TPU 8i cho suy luận. Nay hãng bổ sung TPU 8tx, xây trên cùng silicon với 8t, hướng đến suy luận bảo mật, cô lập phần cứng cho doanh nghiệp chịu quản lý chặt và các cơ quan nhà nước. Cùng lúc là TPU 8i Max, ghép 2 chip 8i trên 1 package để phục vụ AI agent cần ngữ cảnh dài.

Theo Google, cách tiếp cận module giúp hãng làm ra hệ thống chuyên biệt "trong vài tháng thay vì vài năm". Hãng cho biết TPU hiện có gần 100 khách hàng, trong đó có Meta.

TPU 8i Max và bài toán băng thông bộ nhớ

Về bản chất, 8i Max chỉ là 2 chip 8i trong 1 package. Điều đáng chú ý là hệ thống nhồi được gấp đôi silicon vào cùng không gian rack hiện có. Google nói hiệu suất tính toán trên mỗi foot vuông và mỗi watt cũng cao hơn.

Theo ước tính trong bài gốc, 8i Max đạt khoảng 20.2 PFLOPS FP4, 768 MB SRAM và khoảng 17.2 TB/s băng thông HBM. Để so sánh, NVIDIA Rubin R200 được công bố 50 PFLOPS FP4 và 22 TB/s HBM4 mỗi socket, còn AMD MI455X đạt 40 PFLOPS FP4. Khoảng cách về tính toán đang thu hẹp dần.

Tăng gấp đôi băng thông cũng là cách né việc phải chuyển sang HBM4. Với cửa sổ ngữ cảnh lớn, mô hình nhắm tới 1 triệu token, KV cache phình ra và mỗi token mới đều phải đọc lại cache từ bộ nhớ. Đây là hướng đi khác với LPX của NVIIDA: dồn băng thông vào 1 package, thay vì dùng thêm loại chip giải mã riêng và tầng lưu trữ cho ngữ cảnh.

Google cũng đưa ra phần mềm đi kèm. TPU Sync là lớp quản lý trạng thái mô hình mã nguồn mở, đẩy KV cache từ HBM xuống DRAM của máy chủ và thử nghiệm xuống bộ lưu trữ chia sẻ. Hãng nói độ trễ truyền KV giảm hơn 90%. Ngoài ra còn có Agent Compute Engine trên Google Cloud, tạm dừng các phiên agent đang rảnh và dời bộ nhớ làm việc đi chỗ khác.

Google đánh giá stack vLLM-TorchTPU đạt mức giá/hiệu năng hàng đầu trên InferenceX và AgentX. Tuy vậy, số liệu bên thứ 3 hiện chỉ có cho Ironwood đời trước. Trong thử nghiệm InferenceX của SemiAnalysis hồi tháng 9 với Qwen3.5 397B ở FP8, Ironwood cho nhiều hơn 50.4% token trên mỗi USD so với NVIDIA B200 và 96.0% so với B300. Chưa có kết quả nào của thế hệ 8.

TPU 8tx cho suy luận bảo mật

TPU 8tx được tối ưu cho suy luận bảo mật và huấn luyện quy mô nhỏ. Cơ chế cô lập trong phần cứng nhằm chặn việc dòm ngó dữ liệu nhạy cảm, kể cả trọng số mô hình. Thông thường dữ liệu phải được mở khoá trong bộ nhớ khi xử lý và đây là khâu mà cơ chế cô lập hướng tới bảo vệ.

Chip này nhắm đến doanh nghiệp chịu quản lý chặt và các cơ quan nhà nước, nhất là nơi dùng mô hình frontier hoặc độc quyền. Các đơn vị này có thể tinh chỉnh mô hình bằng dữ liệu riêng, chưng cất mô hình lớn thành mô hình nhỏ và huấn luyện agent mà không cần chuyển dữ liệu nhạy cảm giữa các cụm. Private AI Compute của Google vốn đã chạy dịch vụ bảo mật trên TPU, nên 8tx có vẻ là phiên bản sản phẩm hoá cho khách hàng.

Máy chủ của 8tx dùng CPU AMD EPYC thế hệ 5, thay vì Axion nền Arm như 8t. Google không nêu lý do. Tuy nhiên danh sách cấu hình Confidential VM của hãng chỉ có chip AMD và Intel, không có chip Arm.

8tx cũng dùng mạng Boardfly của 8i thay cho torus của 8t. Google nói độ trễ thấp hơn tới 2 lần so với TPU 8t, dù chưa rõ cách đo. Với Boardfly, số bước nhảy tối đa là 7, so với 16 ở cấu hình 1024 chip.

Những thông tin còn thiếu

Google chưa công bố bảng thông số đầy đủ, dung lượng HBM, quy mô pod, ngày bán, giá và khách hàng cho cả hai hệ thống. Chi tiết về attestation (khả năng để khách tự xác minh tính bảo mật) của 8tx cũng chưa có. Hiện 8tx và 8i Max cùng 8i, 8t đều ghi "coming soon" trên trang Cloud TPU.

Nguồn: Tom's Hardware

Kiểm duyệt bởi: Hero Association