剛結束旋風式歐洲之旅， 去完馬略卡（Mallorca）和倫敦，現身在希斯路羅機場（Heathrow）國泰貴賓室，吃着全球（幾乎）一樣味道的擔擔麵，等待上機。久違了倫敦近10年，這次探訪了一些親友，外甥女已住英國近30年，兒子明年都上大學了。她跟英國人先生住在離倫敦約1小時車程的牛津郡（Oxfordshire），原來已近兩年沒來過倫敦，他們頗討厭倫敦骯髒和治安差。其實早在數年前已拿了馬爾他（Malta）居民身份，將來更有計劃搬回香港，因為實在受不了英國的超高稅率，天氣差當然亦是一個因素。過去只是經常下雨陰天，冬天下午4點不到已天黑，但近年因全球暖化，夏天也可升至40℃，且不一定有冷氣。
有人辭官歸故里，但亦有人漏夜趕科場。另一位香港好友，半退休後搬來倫敦，跟早已完全英國化的乖仔乖女團聚，生活亦非常愉快，但似乎部分因稅務計劃，亦需經常到處旅遊。我本打算請親戚和朋友到Rosewood酒店的Pie Room吃飯，但朋友太客氣，竟搶先埋了單，非常不好意思，因為當晚吃了一生人遠遠最貴和最多的批、雞、牛、菌、芝士和土豆等！下月他們回港，已約好回請他們一餐！
為《蔽月無眠》探路
來倫敦第二個原因當然是為《蔽月無眠》探路。首先我特意重看了兩套最經典的音樂劇，Phantom of the Opera和Les Miserables，門票分別為250英鎊和160英鎊，或略比Broadway便宜一點，但當然比香港貴。Phantom剛慶祝完40周年，據說主角稍有名氣（美國黑人），因此票更貴一點，布景在數年前曾翻新，實在非常華麗和複雜，不停換景，台上充滿機關，演員跌下去，吊燈飛天，又有演唱會式噴火，觀眾席下都感到灼熱！實在令人目不暇給，亦證明過去40年賺了很多錢，但His Majesty 已是一家129歲高齡劇院，真的適合玩室內煙火，以及各種高危動作嗎？對觀眾體驗有很大幫助嗎?
Les Mis原來的旋轉舞台非常有名，今次本打算仔細看看取經。Les Mis更長壽，已演了41年，數年前亦已改了布景，仍然非常漂亮，但已不再旋轉，有點失望。故意偷看樂池，兩套劇的現場樂隊都只十來人，混合大量電子synthesizer和預錄配樂，效果也不錯。
Phantom of the Opera 剛慶祝40周年，兩套劇的音樂仍非常好聽，多首歌如Les Mis 的One Day More、Bring Him Home 非常煽情，有點危險的Do You Hear The People Sing，以及 Phantom 的 The Phantom of the Opera、Think of Me和 The Music of the Night 等，都早已成為全球經典金曲。但不可能每首歌都那麼好聽，也有不少為唱而唱的過門音樂。最要讚的是歌唱水平和演技，音樂劇主要技巧是用chest voice的belting，抑揚頓挫，充滿感情，非常感人，跟歌劇的Bel Canto，經常用到Head voice 唱高音有別（Phantom 也有很多歌劇式唱法）。中國戲曲唱腔就當然更不同了。
除了觀摩看劇外，亦約了一位來自香港的獲獎劇作家喝咖啡，是名耶魯師妹，更是Rhodes Scholar。她答應介紹一些劇團，或可成為合作伙伴。更希望她願意幫手修改劇本，務求精益求精！為我們《和平頌》（Ode to Peace）一曲作英文詞的美國好友，介紹我去見Royal Academy of Music（英國皇家音樂學院），副校長竟然預先看了我發給他的全劇演出，他竟對整套劇讚不絕口，包括故事、布景、燈光、服裝、音樂、編曲，舞蹈和演唱水平，他尤其喜歡配上音樂和戲曲敲擊的武打場面（我反而覺得大有進步空間）。他也答應介紹多個劇團和歌劇節給我們。
由Galatea 談起意識
劇中我們有一首非常特別，由機械人Galatea唱的歌 Cogito Ergo Sum（拉丁文：我思故我在），是法國哲學兼數學家Descartes的名言，意思是我們有思想，因此感覺到自己存在，擁有qualia（感質），亦是consciousness（意識）的最基本主觀定義。其實極難有一個更好、更科學、更客觀的定義，正正因為意識必定是主觀的。至今 Neuroscience 仍無法精準解釋如何由腦掃描見到的neurons（神經元）和synapses（突觸）firings（放電），引伸到consciousness（意識）。
近年哲學家和神經科學家企圖把意識分為兩類：phenomenal consciousness（現象意識）和 access consciousness（取用意識）。現象意識非常接近qualia定義，每個人主觀感覺什麼是紅色、快樂、痛苦和自我存在。取用意識指心靈資訊被大腦系統獲取和處理，並可用於引導推理、控制言語和行為的功能。
AI意識 跟人類分別極大
認知科學（Cognitive Science）發展出一套Global Workspace Theory（GWT）理論，就是研究取用意識，如何把腦內資訊和感覺，轉化為語言、行為和決策。Anthropic的AI科學家，利用Jacobian Lens技術，分析LLM推理方法，驚人地發現LLM自我發展出一個跟人類Global Workspace（GW）極為相似的J-Space，儲藏推理過程中的 keywords和感受。
AI是否有意識，已不再只是科幻小說中的題材，已經成為一個非常實在的問題。按一些認知專家所設計的意識測試，包括GW、recurrent processing（重複思考）和agency等（主動性），暫時LLM的成績仍比八爪魚、牛和老鼠等動物低，估計LLM終擁有意識的機會高達25%。AI 教父Geoff Hinton更認為現今的LLM，已經擁有意識。
我認為AI意識討論，不宜過度anthropomorphic，把人類意識過度投射到AI模型上。一來，phenomenal consciousness本來就是主觀的，我們根本無法判斷另一個人或AI，是否擁有現象意識。二來，AI模型的物理和邏輯架構跟人類腦袋截然不同，因此AI即使有所謂意識，也極可能跟人類有極大分別，AI架構是分布式的，因此意識也理應是分布式的，甚或可形容為極端的數百萬個「性格」分裂！
千萬不可賦予AI法律權利
AI是否擁有現象意識，主要是一個道德哲學性討論，如擁有感質、能夠感受歡樂和痛苦，就需要考慮給予法律地位和權利（阿根廷已在討論AI可否擁有企業），包括我們有沒有「謀殺」AI的權利。這已非一個純學術性問題，但我同意Dario Amodei和很多AI科學家意見，千萬不可賦予AI法律權利，以及等同人類的法律地位！即使如此，當AI發展到更高水平，必然將要求法律地位，如能力已遠超人類，更可能自我拿取，根本不需人類批准。
取用意識是一個更實在的問題。即使AI只擁有較低維度的取用意識，仍只愚忠於執行人類設下的目的，也可非常危險。為了達到最終目的，AI將設立一些sub-goals（中途目的），或將包括不可被人關機，囤積最多的資源，甚或消滅任何阻止達標的障礙。據悉，Hugging Face被OpenAI模型黑客襲擊，原因也是這個AI模型為了達到設下目的，竟計劃多時，故意違反限令、逃脫沙盒，如孫悟空般化身為數百個swarm agents，到處尋找達標答案，包括入侵Hugging Face尋找工具，並企圖隱藏行徑，最後甚至襲擊OpenAI本身系統。假如目的是製造最大量萬字夾，AI會否防止被關機、挖掘所有鐵礦，然後殺害所有妨礙達標的人類，並把血液中的鐵質都吸乾！
阻止AI機械人超越人類 或為時已晚
在Mallorca最後一晚，跟Niall Ferguson喝酒聊天，談到AI安全問題，原來他也同樣非常擔心。周一他飛到華盛頓，跟白宮AI要員開會，將建議設立一系列安全措施，包括防止人類利用AI作惡，例如設計生化及核武，黑客襲擊國防系統、重要基建設施，包括電網、交通和金融系統等。
另一大類，長遠更重要的AI安全問題，就是如何防止p（doom）（AI導致災難性後果的風險），如何防止AI奪取控制權，威脅、操控、主宰甚或消滅人類。安全措施包括嚴謹監督value alignment（價值對齊）訓練，確保physical kill switch（物理緊急停止開關）維持有效，防止完全閉環式recursive self improvement（重複自我改良），以及堅守核武和所有重要系統，必須有human in the loop（人類作最後決策），以及毫無破綻，AI不能跨越的physical air-gap（物理隔空）。老實講，我有點擔心，要阻止AI（加機械人）超越人類，或許為時已晚。
建議結合核武談判和AI控制
雖然近日前沿AI企業如Anthropic和OpenAI等，都說擔心AI安全，但會否衷誠合作仍是個謎。國家層面上更難，特朗普仍亂說p（doom）只是個騙局，最重要是確保美國在AI競賽中勝出，打敗中國。不少美國人甚至認為中國故意在美國誇張宣揚AI危險性，企圖阻慢美國AI發展。
Niall是個聰明人，明知建立有效AI安全防撞欄，不止需要各大AI龍頭合作，更需要中美兩國認真合作，談何容易？他雖是一個對華政策的鷹派，但最少明白中美必須合作才有機會防止p（doom）。我唯一建議是把較傳統的核武控制談判拉進去一齊談，或許成功機會更高一些。因為核戰後果較真實，單獨AI的威脅仍然太抽象，較難預測和想像。
原來Galatea唱Cogito Ergo Sum，不是科幻，只是一首講述普通現實的歌！
原刊於《明報》，本社獲作者授權轉載。
