Coxon:Anthropic 重新訓練 Mythos 只需當初一小部分運算資源

Jacob Coxon nói Anthropic Mythos có thể huấn luyện lại với ít compute hơn

前研究員 Jacob Coxon 認為,隨著演算法效率快速提升,Anthropic 如今只需動用最初一小部分的運算資源,就能重新訓練 Mythos。

⚡ MIGOVI TL;DR

  • 曾任職於 OpenAI 與 Anthropic 的研究員 Jacob Coxon 在 Anthropic 待了約四個月後離職,原因之一是該公司 IPO 路演中的一張投影片。
  • 投影片中的圖表呈現訓練模型所需的運算量,即使座標軸經過壓縮,曲線依然陡峭。
  • Coxon 認為 Mythos 只是超指數(superexponential)曲線上的一個點,並非個案。
  • 他希望明年能暫停開發前沿模型,讓競爭對手有時間迎頭趕上。

讓 Coxon 離開 Anthropic 的那張圖表

Jacob Coxon 曾任職於 OpenAI 和 Anthropic。他表示,Anthropic IPO 路演中的一張投影片,是他在約四個月後離開公司的關鍵原因。這張圖表呈現 Anthropic 訓練旗下模型所需的運算量隨時間的變化。

圖表的座標軸經過壓縮,因此 10 倍與 100 倍的成長看起來幾乎沒有差別。即便如此,曲線仍持續向上攀升。Coxon 認為,這顯示演算法效率不僅提升得快,而且還在加速。他寫道:「這是一張瘋狂的圖表,我很驚訝他們竟然公開了。」

Anthropic IPO 路演投影片,呈現程式碼預訓練運算量係數的變化
Anthropic IPO 路演投影片:程式碼預訓練運算量隨時間的變化,縱軸為對數座標。

Mythos 位於超指數曲線上

Mythos 是 Anthropic 在春季推出、能力大幅躍進的模型。Coxon 認為,這並非單一的異常值,而只是超指數曲線上的一個點。他判斷,Anthropic 現在已經可以只用最初一小部分的運算資源,重新訓練 Mythos。

在他看來,演算法改進正逼近可自動化的門檻。因此 Coxon 希望前沿模型的開發能在明年暫停,讓競爭對手趕上來。他寫道,暫停將「讓人類等級的智慧走向普及」,而且「只會損害 OpenAI 和 Anthropic 的利益」。

Coxon 曾在 OpenAI 訓練 AI 模型,最近則是在 Anthropic。今年 9 月,他因公開示警先進 AI 系統的風險而廣受關注。業界也有其他人士呼應這些警告,其中一項擔憂是,AI 自我改進可能失控。

MIGOVI 觀點

這是一位前研究員的判斷,並非 Anthropic 證實的數據,原文也沒有提及該公司的回應。值得留意的是,一張給投資人看的投影片,竟成了內部人士離職的原因。讀者不妨把演算法效率曲線視為產業走向的訊號,同時等待更多獨立資料,再對實際速度下結論。

來源:The Decoder (AI)

審核人: Hero Association

分享您的想法 ^^

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

觀點