2025年2月2日 星期日

DeepSeek - 2. FP8 Training = 用更少的調味料,做出類似美味的菜

前情提要:
OpenAI 訓練一位世界超級大廚ChatGPT,精通人類史上所有的料理,訓練的方法就是先找出全世界各地各式各樣的食譜,然後讓他全部都學起來,從米其林三星套餐到台灣街邊小吃,從愛斯基摩人祖傳料理到非洲原始部落風味餐,可以想像ChatGPT大廚需要大量的時間加上無數的食譜才能被養成、鍛鍊出來。

而DeepSeek就像是個橫空殺出的小廚神,號稱去了幾年神秘、無人聽過的少林廚藝學院,居然燒菜燒得有模有樣、買菜錢還比較省、有時上菜更快,某些美食大賽還贏了大廚ChatGPT,這到底是甚麼黑魔法!?

2. FP8 Training

這是一個精細度問題,我們試著這樣理解。

大廚ChatGPT非常講究料理味道的精準和細膩度,所以,他準備的調味料細分為非常多種,比如三分熟的炭烤熟成肋眼牛排旁邊,就擺上一排、16種提味的佐料,光鹽就分:法國鹽之花、西班牙燻鹽、喜馬拉雅岩鹽、夏威夷竹葉鹽,芥末籽、辣根醬、黑胡椒粒、哇沙米、薄煎蒜片、酥炸九層塔洋蔥細末、生洋蔥丁佐薄醬油、蘑菇洋蔥醬、奶油炒蒜末、紅酒肉汁醬、百里香拌炒迷迭香、紅人A1牛排醬。

小廚神DeepSeek則是用較少的8種調味料去控制食材味道的精細度,雖然精細度未必如大廚ChatGPT,但對一般人而言,比如我,鹽只要一種,也能達到美味的效果,如果一來,是不是也提升了資源的節省與上菜的速度。

佐料敘述得太詳細,講的有點餓了...

這張圖讓大家知道越精細的資料,需要越大的儲存空間,自然也需要更多時間來運算。






沒有留言:

張貼留言

Alexandr Wang:從找出優格小偷到創辦 AI 獨角獸的億萬富翁

如果你對 AI 所需的龐大數據感到好奇,那麼你應該認識 Alexandr Wang——這位年僅 27 歲的 AI 獨角獸創業家。他是 Scale AI 的創辦人兼 CEO,也是美國最年輕的白手起家億萬富翁。但他的創業靈感,竟然源自於一罐失蹤的優格。 物理學家之家長大的數學天才 A...