池州眯伪工程有限公司

DeepSeek被稱為AI界拼多多,訓練2個月僅花費了557.6萬美元!

24直播網(wǎng)
體育資訊1月28日報道宣稱 據(jù)錢江晚報報道,此次DeepSeek-V3在AI行業(yè)引發(fā)關(guān)注,關(guān)鍵的原因在于——超低的預訓練成本。

“預訓練”是AI大模型學習中的一種方法,指的是通過海量的數(shù)據(jù),訓練一個大模型。訓練時需要大量的數(shù)據(jù)和算力支持,每次迭代可能耗資數(shù)百萬至數(shù)億美元。

官方技術(shù)論文披露,DeepSeek-V3在預訓練階段僅使用2048塊GPU訓練了2個月,且只花費557.6萬美元。這個費用是什么概念?

據(jù)報道,GPT-4o的模型訓練成本約為1億美元。簡單粗暴地說,這相當于DeepSeek-V3比同等性能的AI大模型,降了十幾倍的成本。

早在2024年5月,深度求索發(fā)布DeepSeek-V2時,就曾因給模型的定價太過于便宜,開啟了中國大模型的價格戰(zhàn),被稱之為“AI界的拼多多”。

undefined

“相比于說它是‘拼多多’,它更像小米,貼近成本定價,并且自產(chǎn)自銷?!瘪R千里認為,訓練成本比較低的原因,離不開深度求索團隊自研的架構(gòu)和算力,他們自身的算力儲備可以與大廠比肩,并且更注重底層的模型。

“ChatGPT走的是大參數(shù)、大算力、大投入的路子,DeepSeek-V3的路徑用了更多的巧思,依托數(shù)據(jù)與算法層面的優(yōu)化創(chuàng)新,從而高效利用算力,實現(xiàn)較好的模型效果?!瘪R千里說道。