Fri Jan 03 2025 23:59:59

全球詞元短缺如何解?

詞元短缺現象,是全球算力格局深度調整的縮影。唯有兼顧短期優化與長期布局,統籌技術迭代與產能建設,才能推動AI產業平穩有序發展,在激烈的國際科技競爭中贏得主動。

今年以來,全球AI領域出現了一個新挑戰──「詞元短缺」。多家國際頂尖模型廠商與科技巨頭對AI服務實施了不同程度的限量供應與呼叫限制。例如,Claude模型的開發者美國Anthropic公司調整了使用條款,以遏制高峰時段的過量使用;亞馬遜公司表示,「產能限制」已拖累其成長步伐;OpenAI公司甚至暫停或放緩了類似視訊應用Sora等非核心項目的資源投入,將寶貴的算力集中於可產生直接營收的業務板塊。

所謂詞元,通俗來講,就是大模型處理資訊的最小單元。就像我們的閱讀以字為單位一樣,AI在處理文字、圖片或程式碼時,會將資訊拆解為一個個可計算的最小單位。大模型每處理一個詞元,都要消耗對應的計算資源。因此,詞元短缺本質上是算力短缺的一種具象表達,它直觀反映了AI時代算力資源的使用成本與供需矛盾。

當前,全球部分國家和地區出現的算力緊張局面,一方面與芯片製造、電力供應等物理層面的瓶頸有關,更關鍵的原因在於,AI需求的爆發式增長超出了現有供給的承載能力。全球AI模型聚合平台OpenRouter公司的數據顯示,今年第一季,每周詞元消耗量翻了兩番(即原來的4倍)。這種需求的快速上升,主要源自於AI應用範式的深刻轉變。

AI應用不同以往 算力消耗大幅增加

一、是AI正從「輔助工具」跨越到「任務代理」。過去,AI主要用於聊天問答、內容生成等簡單場境。如今,一些新型AI代理已能直接操作電腦,完成程式碼編寫、文件整理、跨軟體協作等複雜任務。這種從「動嘴」到「動手」的轉變,使單次任務的算力消耗大幅增加,部分複雜任務甚至可提升數個數量級。

二、是頂尖供應商堅持「以算力換智力」。為了提升AI完成任務的可靠性與準確性,全球頂尖模型廣泛採用「推理時擴展」技術。模型在回答前,會像人類一樣在後台進行多輪分析、推演檢查。例如,在處理「調查某行業並撰寫報告」這項任務時,AI需要自主開啟網頁、讀取財報、呼叫分析工具,單任務可持續運行數小時,詞元消耗量可達​​數百萬級。

三、是商業化應用突破關鍵臨界點。隨着高性能模型在穩定性、準確性上實現質的突破,AI開始在金融、醫療、企業核心業務等場境中創造實際收益。企業大規模調用模型的意願顯著增強,算力需求正從「技術嚐鮮」轉向「業務剛需」。

在AI時代,算力成為類似水、電一樣的基礎性策略資源。(Shutterstock) 
 

優化資源配置是破局關鍵

面對詞元短缺帶來的挑戰,全球科技企業正積極探索應對之策。短期來看,優化資源配置是破局的關鍵。一個普遍的做法是透過演算法最佳化來降低任務對高端算力的依賴。例如,OpenAI和Anthropic等公司的程式代理程式已經能夠對輸入資訊進行「上下文壓縮」,先處理摘要信息,必要時再查詢原始資料,以節約算力。

中國企業在推理效率提升方面也取得明顯進展。一些國際平台統計顯示,中國AI模型周度的全球呼叫量一度超過海外模型,這是中國模型憑藉較高性價比和算力使用效率,承擔大量高頻、通用型任務的體現。這也證明,透過技術創新提升單位算力的產出效率,是緩解算力焦慮的有效方法。

長期來看,擴充產能與推進技術替代同樣重要。目前,全球科技企業正在加速建置資料中心,擴大高階晶片採購規模。同時,為降低對單一供應鏈的依賴,一些企業也積極探索替代路線。例如Google提出強化自研TPU芯片體系,試圖透過軟硬整合的客製化芯片來降低成本、穩固供應。此外,邊緣運算、更有效率的模型架構(如混合專家模型)以及新型儲存與互聯技術,也逐漸走向成熟,可望從不同維度緩解集中的算力壓力。

詞元短缺現象,是全球算力格局深度調整的縮影。在AI時代,算力成為類似水、電一樣的基礎性策略資源。唯有兼顧短期優化與長期布局,統籌技術迭代與產能建設,才能推動AI產業平穩有序發展,在激烈的國際科技競爭中贏得主動。

原刊於《沈建光博士宏觀研究》,本社獲作者授權轉載。

沈建光