張量運算

剛過的一周所發生的災禍叫人心傷，願因火災失去生命的遇難者和救人英雄安息，因火災失去至親的朋友能從悲傷中逐步走出幽谷，因火災失去居所的住戶可以安頓並重建家園，因火災受傷的人士早日康復。

當天下午，從友人轉發的起火視頻開始，收到訊息的大部分人也預料不到後面的巨變。因此，如果我們不能把事情的始末理順，找出整件災禍的起因、關鍵的根本因素的話，恐怕，有愧於遇難者及災民，更辜負了選擇留在香港想安居樂業的市民。我們經常說人命傷亡之事一件也嫌多，但不從根源處抽出因由並進行根本性的改革，恐怕災禍只會重至。

TPU vs. GPU

最近，谷歌（美：GOOGL）推出新一代的人工智能（AI）大模型Gemini 3，獲得不少用家好評，多種應用場境如跨文字、圖像、影片、音訊進行推理，個人AI助理和coding模型等都完勝競爭對手。當中，圖像生成已令不少玩家樂而忘返，Gemini Agent收件匣整理和旅遊規劃更是驚艷，令電腦用家像有了一個智能助手般，感覺這傢伙開始懂你 !

正當普羅投資者都為谷歌這優秀孩子喝采之際，谷歌又再展示它深藏不露的研發成就。市場消息報道，Meta計劃準備直接採購谷歌TPU芯片用於自家算力中心。過往，谷歌為研發AI大模型自家所專門設計的AI芯片TPU對外只租不賣。

今次兩大科企龍頭的合作，可能為AI芯片現有的供應格局做成巨大衝擊 ! 眾所周知，現時有訓練AI大模型的企業主要是以英偉達（美：NVDA）的GPU芯片作為主要算力的核心。有分析報告指出，英偉達目前在AI芯片市場擁有超過90%的份額。所以，若然谷歌TPU贏得更多企業垂青，對英偉達的領導地位會否帶來衝擊呢？大家不禁問：這跟不少英偉達長期股東，如軟銀、Chris Wood全數沽出股票是否有關呢？

市場消息報道，Meta計劃準備直接採購谷歌TPU芯片用於自家算力中心。（Shutterstock）

分析以上的猜想，不少投資大神已經在他們的投資部落格中發表正反意見，在此不贅。當中問題的核心是有關GPU與ASIC（Application-Specific Integrated Circuit）在AI的發展中，到底誰勝誰負呢？

效益的比拼

筆者在了解TPU的時候，問了身邊的朋友：GPU的G是Graphics，那TPU的T是代表什麼？問了一圈，懂科技的他說Ｔ是Tensor。再追問一下，Tensor是什麼，回來的只是迴音。深入了解後，知道Tensor是「張量」，在數學世界裏，標量（scalar）是一個單純的數字，向量（vector）是既包含大小又指出方向的數學物件，矩陣（matrix）是以列和行排列而成的陣列，可以視之為二維。如果以這些結構演變出來的數學物件，三維或以上的就是張量。

一張簡單的香蕉圖片，要讓AI大模型「看」得懂就需要將圖片的訊息轉換為張量（包括長、闊和色彩通道RGB），這就是為什麼在AI大模型中懂得張量運算的重要性，亦是谷歌從2015年設計並開發自家AI大模型專用芯片稱它為TPU的原因。從這裏同時亦可以明白得到，數學在未來研究的重視角色，給孩子培養出一身好的數學根底是給他們的最好禮物啊！

可能你會問，有如此專門開發的芯片，為什麼現在卻是GPU大行其道呢？這可能要拜Alex Krizehvsky和Ilya Sutskever（OpenAI創辦人之一）在2012年共同研發的AlexNet所賜。他們當時都是Geoffrey Hinton（被稱為AI教父，2024年諾貝爾物理獎得主）的博士生，在一次ImageNet大賽中，他們只利用了2個英偉達GTX580顯示器，在120萬張、1000個不同類別的圖片中利用電腦去自行識別，成功將以往普遍的錯誤率25%至26％，大幅下降至15.3%。讓世人認識到，英偉達GPU不單單只用於打遊戲和挖礦，原來它是開啟AI的鑰匙！

GPU原本是為電腦圖形和遊戲設計的硬件，它擅長同時進行大量簡單運算，在AlexNet啟示後，公司不斷開發算力生態圈，以供AI研發的發展。2016年，英偉達黃仁勳送貨，還有Elon Musk的OpenAI的那一幕成了經典。再往後的發展大家就已經耳熟能詳了！

由於GPU原先的設計並不是完全從AI發展出發，例如矩陣乘法的效率就會不如專用為AI開發的芯片，因此，各家有意發展AI訓練的科技巨企都投入資源去發展專屬芯片。因為有數據顯示，在同一能耗下，ASIC的算力性能可以超越GPU，而且，專門為矩陣乘法設計的ASIC可以減少數據搬運的次數，使利用率達峰值。