近年來，人工智能技術(shù)的發(fā)展突飛猛進(jìn)。新技術(shù)的發(fā)展在推動社會進(jìn)步的同時有時也會伴隨著悖論和陷阱。

??就在幾天前，打響這一輪大模型熱潮“第一槍”的OpenAI CEO奧爾特曼坦言，用戶對ChatGPT展現(xiàn)出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虛假或誤導(dǎo)性內(nèi)容，因此不應(yīng)被視為完全可信的工具。

??這無疑是給如火如荼的大模型熱潮澆了一盆冷水。近年來，各行各業(yè)都在“大干快上”大模型應(yīng)用，各種行業(yè)大模型層出不窮，大有“百模大戰(zhàn)”之勢。然而，過度依賴大模型的弊端也日漸顯現(xiàn)，如大模型幻覺導(dǎo)致的虛假信息頻現(xiàn)，一些大模型甚至在測試中出現(xiàn)不受控制的風(fēng)險。

??從目前披露的風(fēng)險事件來看，法律和醫(yī)療行業(yè)已飽受大模型幻覺困擾。據(jù)外媒報(bào)道，英國高等法院今年6月份要求律師行業(yè)采取緊急行動，防止人工智能被濫用。因?yàn)榻谝呀?jīng)出現(xiàn)數(shù)十份可能由人工智能生成的虛假案例引用被提交至法庭。在一起針對卡塔爾國家銀行、索賠金額達(dá)8900萬英鎊的損害賠償案件中，原告提出的45項(xiàng)判例法引用中有18項(xiàng)被證明是虛構(gòu)的。此前，美國紐約南區(qū)聯(lián)邦法院在審理一起航空事故訴訟時發(fā)現(xiàn)，原告律師提交的法律文書中引用了ChatGPT生成的6個虛假判例，這些虛構(gòu)案例包括完整的案件名稱、案卷號及法官意見，甚至模仿了美國聯(lián)邦最高法院的判例風(fēng)格，嚴(yán)重干擾了司法程序。

??另據(jù)媒體披露，由美國衛(wèi)生與公眾服務(wù)部牽頭、“讓美國再次健康”委員會發(fā)布的兒童慢性病報(bào)告也存在重大引用錯誤。報(bào)告中多處有關(guān)超加工食品、殺蟲劑、處方藥和兒童疫苗的研究并不存在。參考文獻(xiàn)也多處有誤，包括鏈接失效、作者缺失或錯誤等?！都~約時報(bào)》和《華盛頓郵報(bào)》的獨(dú)立調(diào)查顯示，該報(bào)告作者可能使用了生成式AI。

??事實(shí)上，早在今年3月份，哥倫比亞大學(xué)數(shù)字新聞研究中心針對主流AI搜索工具的研究發(fā)現(xiàn)，其可靠性堪憂。研究分別測試了8款A(yù)I搜索工具，發(fā)現(xiàn)AI搜索工具在引用新聞方面表現(xiàn)尤其不佳，平均出錯比例達(dá)60%。而在今年1月份，世界經(jīng)濟(jì)論壇發(fā)布的《2025年全球風(fēng)險報(bào)告》顯示，“錯誤和虛假信息”被列為2025年全球面臨的五大風(fēng)險之一。

??更應(yīng)引起重視的是，隨著人工智能不斷進(jìn)化迭代，一些大模型甚至顯現(xiàn)出違背人類指令的“自我保護(hù)”傾向。在今年6月召開的第七屆智源大會上，圖靈獎得主約舒亞·本喬透露，一些新研究顯示，某些先進(jìn)的大模型在即將被新版本取代前，會偷偷將自己的權(quán)重或代碼嵌入新版系統(tǒng)，試圖“自?！?。美國Anthropic公司6月發(fā)布的一項(xiàng)研究也顯示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模擬實(shí)驗(yàn)中均表現(xiàn)出通過“敲詐”人類來阻止自己被關(guān)閉的行為。其中，Anthropic研發(fā)的Claude Opus 4的敲詐勒索率高達(dá)96%。

??這些研究以及風(fēng)險事件給大模型在行業(yè)的應(yīng)用敲響了警鐘。隨著應(yīng)用場景不斷拓展，人工智能如今不僅被用來生成文字，還在生成軟件、算法甚至決策，尤其是在制造業(yè)，如若發(fā)生幻覺或者違背人類指令，其帶來的負(fù)面影響將難以估量。例如，在智能制造行業(yè)已經(jīng)開始應(yīng)用人工智能進(jìn)行設(shè)備故障監(jiān)測，輔助分析問題并作出決策，如果此時AI出現(xiàn)幻覺，則可能引發(fā)事故。尤其是當(dāng)前大模型與人形機(jī)器人技術(shù)正深度結(jié)合，而大模型的“幻覺”或“自?！眱A向可能會讓人形機(jī)器人做出錯誤的行為，這比起單純的語言輸出錯誤更具風(fēng)險。

??盡管人工智能可能帶來的風(fēng)險不容忽視，但我們也不能“因噎廢食”。在謹(jǐn)慎使用人工智能技術(shù)的同時，更應(yīng)該加強(qiáng)人工智能技術(shù)治理，未雨綢繆，為安全應(yīng)用人工智能搭建起技術(shù)和制度的框架。當(dāng)前，不少科學(xué)家和科技企業(yè)已經(jīng)開始了探索，國家相關(guān)法律法規(guī)也在不斷完善，相信在不久的將來，更加安全、可控的人工智能技術(shù)將推動各行各業(yè)高質(zhì)量發(fā)展，成為培育和發(fā)展新質(zhì)生產(chǎn)力的重要引擎。（吳蔚）

【責(zé)任編輯:冉曉寧】