不久前，香港跨國工程公司Arup的一名員工經歷了一場足以載入AI犯罪史的騙局：他受邀參加一場視訊會議，螢幕上出現的CFO及多位高管面容熟悉、談吐自然，會議中敲定了一項秘密收購計劃。會後，他按「高管」的指令將2億港元轉入指定帳戶，5天後才發現，整場會議除他之外，全是AI生成的虛擬人。這案件並非個例，香港金管局最新資料顯示，2024年以來本地深度偽造詐騙案同比暴增30倍，生成式AI正將「說謊」能力轉化為現實危害。
技術如何說謊？
作為AI領域的研究者，我始終認為技術本身無善惡，但深度偽造技術的平民化正在打破安全平衡。早年的換臉技術需要專業團隊和百萬級設備支援，如今在暗網，9.9元即可定製1分鐘換臉視頻，開源工具讓普通人只需要三張目標照片就能生成動態影像。其核心原理是通過生成式模型拆解目標人物的面部特徵點、語音語調，再結合即時動作捕捉技術重組。Arup案中，犯罪分子正是利用高管公開演講視頻訓練模型，讓虛擬人精準還原了其神態和專業術語表達。
深度偽造的危害早已超越個體詐騙，正向社會信任體系滲透。在香港金融市場，有詐騙集團利用AI生成假新聞操控股價；社交媒體上，偽造的名人言論引發多次輿論風波。更令人擔憂的是信任侵蝕效應：當市民發現視頻、音訊等傳統可信證據可被輕易篡改，對資訊的懷疑會蔓延至公共事務領域。奇安信報告顯示，2023年全球基於深度偽造的釣魚郵件增長1000%，部分APT組織已將其用於政治滲透，這種「數字迷霧」對香港這樣的國際資訊樞紐而言，風險尤為突出。
面對這場信任危機，技術防禦始終是第一道防線。值得欣慰的是，香港已啟動以AI反AI的防禦布局。在金管局第二期GenA.I.沙盒中，PAObank與金融壹賬通聯合研發的反欺詐平台入選，其透過分析視頻中的生理微特徵識別偽造──AI生成的虛擬人無法模擬真實人類的瞳孔收縮、面部微顫，該系統正是捕捉這些細節，檢測防禦率超過99%，已攔截黑客攻擊逾2萬起。目前該技術已與兩家本地銀行合作，未來將覆蓋七成零售銀行用戶的eKYC（electronic Know Your Customer）場境，為跨境匯款、大額轉帳等業務築牢防線。
害人之心不可有
技術之外，監管與教育的協同更關鍵。香港的優勢在於擁有完善的金融監管體系，可借鑒沙盒監管模式，一方面允許企業在可控範圍內測試深度偽造防禦技術，另一方面明確技術濫用的法律邊界。建議特區政府參考歐盟《AI法案》，將深度偽造納入高風險AI應用範疇，要求生成內容必須添加「數位浮水印」──類似傳統檔的防偽標識，讓受眾可通過工具驗證資訊真實性。
對普通市民而言，建立數位資訊核驗意識迫在眉睫。面對涉及金錢交易、重要決策的指令，即便視頻核實也需多重驗證：可要求對方說出隨機約定的暗號，或通過官方管道回電確認。企業更應升級內控流程，Arup案暴露的單一指令執行漏洞需要警惕，建議大額轉帳採用多人交叉驗證機制，將技術核驗跟人工審核結合。
有人將深度偽造比作AI時代的核武器，但我更傾向於將其視為對社會治理能力的考驗。香港正憑藉金融科技優勢構建防禦體系，金管局GenA.I.沙盒新增的協創實驗室，正推動銀行、科技公司、高校聯合研發下一代檢測技術。作為AI研究者，我始終相信：技術帶來的問題終將用更先進的技術解決，但在此之前，我們需要用監管劃定邊界，用教育築牢意識，讓AI始終成為服務人類的工具，而非侵蝕信任的「謊言機器」。
畢竟，AI可以學會「說謊」，但人類不能放棄對真實的堅守──這正是我們與機器最本質的區別。
