NVIDIA Lyra 2.0 biến một bức ảnh thành thế giới 3D có thể khám phá
NVIDIA Lyra 2.0 dựng cả thế giới 3D có thể khám phá từ 1 bức ảnh duy nhất, giữ được tính nhất quán khi người dùng quay lại những khu vực cũ.
- Lyra 2.0 của NVIDIA tạo ra môi trường 3D có thể khám phá từ 1 bức ảnh duy nhất, cho phép người dùng tự điều khiển camera.
- Hệ thống dùng bộ nhớ không gian dựa trên hình học 3D để giảm tình trạng "quên không gian" và "trôi theo thời gian".
- Bản distilled giảm từ 35 xuống 4 bước denoising, nhanh hơn khoảng 13 lần so với mô hình đầy đủ.
- Kết quả có thể xuất sang 3D Gaussian Splats hoặc polygonal meshes, đưa vào NVIDIA Isaac Sim.
- Công nghệ vẫn hạn chế ở cảnh tĩnh, mã nguồn nằm trên GitHub còn trọng số mô hình chỉ dùng cho nghiên cứu.
Nội dung bài viết
Từ bức ảnh thành không gian có thể di chuyển
NVIDIA vừa giới thiệu Lyra 2.0 - framework AI có khả năng biến một tấm ảnh thành môi trường 3D để người dùng đi vào khám phá. Điểm đáng chú ý là thế giới ảo này vẫn giữ được sự nhất quán khi người dùng di chuyển ra ngoài phạm vi bức ảnh gốc.
Lyra 2.0 do Spatial Intelligence Lab (SIL) của NVIDIA phát triển, kết hợp giữa tạo video bằng AI với dựng lại không gian 3D. Nghiên cứu được công bố từ tháng 4/2026. NVIDIA nay nhắc lại công nghệ này trước thềm SIGGRAPH Asia 2026. Hướng đi này có thể mở ra nhiều khả năng cho phát triển game, thực tế ảo (VR) và mô phỏng robot.
Các công cụ image-to-video thông thường chỉ cho ra 1 chuỗi hình định sẵn. Lyra 2.0 thì khác: người dùng tự quyết định quỹ đạo camera, còn hệ thống sinh dần các góc nhìn mới khi camera đi tới.
Hai bài toán khó của AI tạo sinh
Theo NVIDIA, Lyra 2.0 nhắm vào 2 điểm yếu lâu nay của AI tạo sinh. Thứ nhất là spatial forgetting (quên không gian): mô hình mất dấu những khu vực đã tạo, nên khi người dùng quay lại thì cấu trúc có thể không còn khớp. Thứ hai là temporal drifting (trôi theo thời gian): lỗi hình ảnh và hình học cứ tích tụ dần khi quá trình tạo kéo dài.
Để xử lý, nhóm nghiên cứu xây dựng hệ thống bộ nhớ không gian. Hệ thống này dùng thông tin hình học 3D để truy xuất những khung hình lịch sử có liên quan. Mô hình còn được huấn luyện trên chính các kết quả chưa hoàn hảo của nó, nhờ vậy học cách sửa lỗi tích tụ thay vì khuếch đại thêm.
Hiệu năng cải thiện đáng kể
NVIDIA phát triển 1 mô hình distilled, rút quy trình tạo video từ 35 bước denoising xuống còn 4 bước. Thời gian tạo giảm khoảng 13 lần. Theo bài báo nghiên cứu, đoạn 80 frame mất khoảng 15 giây trên GPU NVIDIA GB200, trong khi mô hình đầy đủ cần 194 giây.
Con số này chưa phải là tạo thế giới theo thời gian thực. Việc đó vẫn đòi hỏi rất nhiều tài nguyên tính toán.
Xuất ra 3D để dùng trong mô phỏng
Các chuỗi video sau khi tạo có thể được dựng lại thành 3D Gaussian Splats hoặc polygonal meshes. Cách làm này cho phép render theo thời gian thực. Môi trường cũng có thể được xuất sang các ứng dụng như NVIDIA Isaac Sim.
Công nghệ hiện vẫn chủ yếu dành cho môi trường tĩnh. Cảnh có chuyển động còn là thách thức và đôi lúc vẫn xuất hiện những điểm thiếu nhất quán về hình ảnh.
Về game, Google từng giới thiệu Project Genie - hệ thống AI thử nghiệm cũng tạo được thế giới ảo để khám phá. Lyra 2.0 đi hướng khác: nội dung sinh ra được dựng lại thành hình học 3D tường minh, có thể render và dùng trong môi trường mô phỏng. Còn lâu mới có chuyện tạo ra tựa game hoàn chỉnh từ 1 tấm ảnh. Tuy vậy, AI hỗ trợ dựng môi trường có thể dần thành công cụ hữu ích cho nhà phát triển.
NVIDIA đã đưa phần triển khai Lyra 2.0 lên GitHub. Trọng số mô hình nằm trên Hugging Face nhưng chịu giới hạn giấy phép chỉ dành cho nghiên cứu.
Giá trị lớn nhất của Lyra 2.0 nằm ở đầu ra 3D tường minh, chứ không phải ở chuyện tạo thế giới từ ảnh. Dữ liệu hình học có thể render và đưa vào Isaac Sim thì dùng được trong dựng cảnh, thử nghiệm ý tưởng và mô phỏng robot. Với người làm game, đây hiện là công cụ thử nghiệm hơn là giải pháp sản xuất, vì còn hạn chế ở cảnh tĩnh, tốc độ chưa theo thời gian thực và giấy phép chỉ dành cho nghiên cứu.
Nguồn: Wccftech
