Cựu nhà nghiên cứu Jacob Coxon cho rằng Anthropic có thể huấn luyện lại Mythos với một phần nhỏ lượng compute ban đầu nhờ hiệu quả thuật toán tăng nhanh.
- Jacob Coxon, cựu nhà nghiên cứu của OpenAI và Anthropic, rời Anthropic sau khoảng bốn tháng, một phần vì slide trong buổi roadshow IPO của công ty.
- Biểu đồ trong slide cho thấy lượng compute cần để huấn luyện mô hình, với đường cong vẫn dốc dù trục được nén.
- Coxon cho rằng Mythos là một điểm trên đường siêu hàm mũ (superexponential), không phải trường hợp đơn lẻ.
- Ông muốn tạm dừng phát triển mô hình frontier vào năm sau để đối thủ có thời gian bắt kịp.
Nội dung bài viết
Biểu đồ khiến Coxon rời Anthropic
Jacob Coxon từng làm việc tại OpenAI và Anthropic. Ông cho biết một slide trong buổi roadshow IPO của Anthropic là lý do then chốt khiến ông rời công ty sau khoảng bốn tháng. Biểu đồ này thể hiện lượng compute mà Anthropic cần theo thời gian để huấn luyện các mô hình của mình.
Trục của biểu đồ bị nén lại nên mức tăng 10 lần và 100 lần nhìn gần như không khác nhau. Dù vậy, đường cong vẫn leo dốc. Theo Coxon, điều đó cho thấy hiệu quả thuật toán không chỉ cải thiện nhanh mà còn đang tăng tốc. Ông viết: "Đây là một biểu đồ điên rồ, tôi ngạc nhiên là họ công khai nó."
Mythos nằm trên đường siêu hàm mũ
Mythos là mô hình của Anthropic với bước nhảy năng lực lớn hồi mùa xuân. Coxon cho rằng đây không phải một lần lệch chuẩn đơn lẻ mà chỉ là một điểm trên đường siêu hàm mũ. Ông nhận định Anthropic hiện đã có thể huấn luyện lại Mythos với một phần nhỏ lượng compute ban đầu.
Theo ông, các cải tiến thuật toán đang ở ngưỡng được tự động hóa. Vì vậy, Coxon muốn việc phát triển mô hình frontier được tạm dừng vào năm sau để các đối thủ theo kịp. Ông viết rằng một đợt tạm dừng sẽ "đại trà hóa trí tuệ ở cấp độ con người" và "chỉ gây thiệt cho OpenAI và Anthropic".
Coxon từng huấn luyện mô hình AI tại OpenAI, gần đây nhất là tại Anthropic. Hồi tháng 9, ông thu hút sự chú ý rộng rãi nhờ những cảnh báo công khai về rủi ro của các hệ thống AI tiên tiến. Một số nhân vật khác trong ngành cũng lặp lại các cảnh báo này. Một trong những nỗi lo là AI tự cải thiện có thể vượt khỏi tầm kiểm soát.
Đây là nhận định của một cựu nhà nghiên cứu, chưa phải số liệu do Anthropic xác nhận và bài gốc cũng không nêu phản hồi từ công ty. Điểm đáng theo dõi là một slide dành cho nhà đầu tư lại trở thành lý do khiến người trong cuộc rời đi. Độc giả nên đọc đường cong hiệu quả thuật toán như một tín hiệu về hướng đi của ngành, đồng thời chờ thêm dữ liệu độc lập trước khi kết luận về tốc độ thực tế.
Nguồn: The Decoder (AI)
Kiểm duyệt bởi: Hero Association
