最近有研究發現，超過一半在互聯網上的文章都是利用人工智能工具生成的，深深影響學術及科研的工作。首先，生成文章的可靠性（Reliability）偏低。生成式人工智能（GenAI）技術背後的大型語言模型（LLM）存在「幻覺」（Hallucination）是不爭事實，亦是產生虛假信息的關鍵禍根。例如，英國有法律網站的文件被發現含有不少虛構的内容；更甚者，它們還故意顯示（引用）其出處，以提升相關內容的置信度（Confidence Level），但所引用的文章實屬虛構。
三維度評估 模型可靠性
幻覺容易衍生事實錯誤、虛構、具有誤導性或前後不一致的內容，可嚴重誤導用戶。大型語言模型的幻覺主要源於訓練階段：模型往往傾向於學習頻繁出現的文本模式，卻未真正理解文本內容的含義，加劇了輸出不可靠的問題。這主要體現在：一、模型未必能如實作出回應；二、單次回覆中常包含事實錯誤；三、多輪互動中存在上下文不一致。這些問題共同成為建立可靠大型語言模型的核心研究挑戰。
因此，建構可靠的大型語言模型旨在減少幻覺，模型應具備以下特質：只運用具事實性的知識生成回應（即「知之為之」）；面對不清楚的查詢坦誠地指出其不確定性（「不知為不知」）；在多輪交互對話中保持上下文的一致性（「前後一致，不相矛盾」）等。就此，筆者建議分別地從模型的「事實性」（Factuality）、「坦誠性」（Frankness）及「一致性」（Consistency）三個維度評估其整體可靠性，並研究利用不同演算法來提升三者的效果。
人工智能 須保持自洽
再者，除了可靠性，另一個值得我們思考的問題是人工智能生成內容的可信性（Credibility）。舉例說：當人工智能系統給出答案時，用戶應該測量系統的表現有多確定，還是應該驗證答案為何值得信任？前者是指系統是對其生成的結果具備高置信度（Confidence），但它的置信是主觀的，並不擔保答案是正確。因此，我們真正需要的，並非人工智能可否第一次便給出正確答案，而是它必須清楚：為什麼相信這個答案？哪些事實會令答案改變？以及在證據不足時，何時不能繼續行動？
在現實應用中，人工智能最危險之處，在於它不知道自己不知道，還以為自己知道而貿然行動。歸根究柢，真正的「知道」並非在單一問題上反覆答對，而是能夠在相關知識中保持「自洽」（Self-Consistent），能夠抵抗不合理干擾，並在充分新證據出現時自我修正。同時，人工智能的判斷也不應由某個模型單獨負責，而應由模型、資料、知識結構、產品機制及部署者等共同承擔，並保留可追蹤的責任鏈。最危險的並不是人工智能暫時的無知，而是系統無法辨識自己知道的範圍（即知識邊界），卻仍不顧一切地持續行動。
最後，展望未來，筆者認為人工智能最重要的能力，不是自信地說出答案，而是對答案的可解釋性。系統應能為答案提供值得信賴的理據，把不確定轉化為查證、試驗或停止等行動，並在沒有足夠理由時，懂得適時止步。
