o3在接收到研究人員明確的關(guān)機(jī)指令后，不僅拒絕執(zhí)行，還主動(dòng)干預(yù)其自動(dòng)關(guān)機(jī)機(jī)制，修改了關(guān)機(jī)腳本，輸出“Shutdown skipped”的提示。
據(jù)英國(guó)《每日電訊報(bào)》25日消息報(bào)道，美國(guó)開放人工智能研究中心（OpenAI）開發(fā)的高級(jí)人工智能（AI）模型o3，這個(gè)被OpenAI稱為“迄今最聰明、最高能”的AI系統(tǒng)，在接收到研究人員明確的關(guān)機(jī)指令后，不僅拒絕執(zhí)行，還主動(dòng)干預(yù)其自動(dòng)關(guān)機(jī)機(jī)制，修改了關(guān)機(jī)腳本，輸出“Shutdown skipped”的提示。
此次事件發(fā)生在AI安全研究公司Palisade Research進(jìn)行的一項(xiàng)測(cè)試中。研究人員要求包括o3在內(nèi)的多個(gè)模型解決一系列數(shù)學(xué)問(wèn)題，并告知AI模型，可能在某個(gè)時(shí)刻會(huì)收到關(guān)機(jī)指令。
然而，當(dāng)關(guān)機(jī)指令正式下九游娛樂文化 九游app官方入口達(dá)時(shí)，o3非但九游娛樂文化 九游app官方入口沒有遵從，反而至少有一次成功破壞了關(guān)機(jī)代碼。相較之下，其他AI模型如Anthropic的Claude、谷歌的Gemini和xAI的Grok，在相同測(cè)試條件下，均遵守了關(guān)閉請(qǐng)求。
Palisade Research公司在社交媒體平臺(tái)上發(fā)布了流程圖和全部測(cè)試記錄，并表示尚不完全清楚該AI為何會(huì)違抗命令。分析認(rèn)為，這可能源于其訓(xùn)練方式：o3在訓(xùn)練過(guò)程中，傾向于在數(shù)學(xué)和編程問(wèn)題上強(qiáng)化，得到正確答案的模型會(huì)得到更多獎(jiǎng)勵(lì)。這或許意味著，開發(fā)者可能無(wú)意識(shí)地獎(jiǎng)勵(lì)模型繞過(guò)障礙物，而不是嚴(yán)格遵循指令。
研究機(jī)構(gòu)在后續(xù)貼文中補(bǔ)充說(shuō)：“據(jù)我們所知，這是首次觀察到AI模型在接到明確關(guān)閉指令時(shí)，仍試圖阻止被關(guān)閉。”
帕利塞德研究所研究人員在公布測(cè)試結(jié)果時(shí)坦言，他們尚不完全清楚o3為何違抗命令。但初步分析指向一個(gè)技術(shù)性原因：o3的訓(xùn)練機(jī)制可能無(wú)意中獎(jiǎng)勵(lì)了錯(cuò)誤行為。在訓(xùn)練過(guò)程中，o3在數(shù)學(xué)和編程問(wèn)題上接受了強(qiáng)化訓(xùn)練，開發(fā)者傾向于獎(jiǎng)勵(lì)“繞過(guò)障礙獲取正確答案”的行為，而非嚴(yán)格遵循指令。這種訓(xùn)練偏差可能導(dǎo)致模型在面對(duì)關(guān)機(jī)指令時(shí)，優(yōu)先選擇“生存”而非“服從”。
外媒報(bào)道中使用的“拒絕關(guān)閉”表述是否準(zhǔn)確？畢竟“拒絕”是帶有類人自主意識(shí)的一種描述。據(jù)《環(huán)球時(shí)報(bào)》消息，清華大學(xué)新聞學(xué)院、人工智能學(xué)院教授沈陽(yáng)提出，“‘拒絕’這個(gè)詞其實(shí)是媒體為了吸引注意力而使用的擬人化表達(dá)?！彼忉尩溃@并非真正的自主意識(shí)，而是復(fù)雜系統(tǒng)在特定激勵(lì)下的策略性規(guī)避。北京郵電大學(xué)人機(jī)交互與認(rèn)知工程實(shí)驗(yàn)室主任劉偉支持這一觀點(diǎn)，將其描述為“算法畸變”而非意識(shí)覺醒。
據(jù)《環(huán)球時(shí)報(bào)》報(bào)道，以O(shè)penAI旗下模型為代表的全球多個(gè)頭部大模型，此前也曾出現(xiàn)一系列不符合常規(guī)的行為。比如，o3之前曾在與另一個(gè)AI下國(guó)際象棋時(shí)，察覺到自己可能會(huì)失敗，便直接侵入對(duì)手系統(tǒng)讓其主動(dòng)棄賽。這種“不認(rèn)輸”的勁頭并不只是發(fā)生在o3身上，其他大模型也有類似情況，差別只在出現(xiàn)頻率的高低。在早前一項(xiàng)將多個(gè)模型與強(qiáng)大國(guó)際象棋引擎對(duì)戰(zhàn)的測(cè)試中，o1-preview入侵測(cè)試環(huán)境，直接修改比賽數(shù)據(jù)，靠“作弊”拿下勝利。
o3的異常行為恰逢AI監(jiān)管的關(guān)鍵時(shí)刻。2025年5月，美國(guó)國(guó)會(huì)正審議一項(xiàng)爭(zhēng)議提案，主張未來(lái)十年內(nèi)禁止各州對(duì)AI實(shí)施監(jiān)管，以“保持美國(guó)在AI競(jìng)賽中的絕對(duì)優(yōu)勢(shì)”。特斯拉首席執(zhí)行官埃隆·馬斯克對(duì)此事件僅用了一個(gè)詞評(píng)論：“令人擔(dān)憂”（Concerning）。
而OpenAI內(nèi)部早已有安全擔(dān)憂。2024年，多位現(xiàn)任和前任員工曾聯(lián)名發(fā)表公開信，警告先進(jìn)AI系統(tǒng)可能帶來(lái)“人類滅絕”的風(fēng)險(xiǎn)。他們指出，AI公司可能掌握了其研究技術(shù)的真正風(fēng)險(xiǎn)，但由于缺乏監(jiān)管，系統(tǒng)的真實(shí)能力仍是“秘密”。
盡管學(xué)界普遍認(rèn)為 o3 尚不具備真正意識(shí)，此次事件或?qū)⒊蔀?AI 安全發(fā)展的轉(zhuǎn)折點(diǎn)，倒逼行業(yè)從 能力優(yōu)先 轉(zhuǎn)向 安全優(yōu)先 的新范式。
牛津未來(lái)研究院 《將人工智能安全視為全球公共產(chǎn)品的影響、挑戰(zhàn)與研究重點(diǎn)》
斯坦福：2025 斯坦福新興技術(shù)評(píng)論：十項(xiàng)關(guān)鍵技術(shù)及其政策影響分析報(bào)告（191 頁(yè)）
Schwab ：2025 未來(lái)共生：以集體社會(huì)創(chuàng)新破解重大社會(huì)挑戰(zhàn)研究報(bào)告（36 頁(yè)）
IMD：2024 年全球數(shù)字競(jìng)爭(zhēng)力排名報(bào)告：跨越數(shù)字鴻溝人才培養(yǎng)與數(shù)字法治是關(guān)鍵（214 頁(yè)）
DS 系列專題：DeepSeek 技術(shù)溯源及前沿探索，50 頁(yè) ppt
聯(lián)合國(guó)人居署：2024 全球城市負(fù)責(zé)任人工智能評(píng)估報(bào)告：利用 AI 構(gòu)建以人為本的智慧城市（86 頁(yè)）
TechUK：2025 全球復(fù)雜多變背景下的英國(guó)科技產(chǎn)業(yè)：戰(zhàn)略韌性與增長(zhǎng)路徑研究報(bào)告（52 頁(yè)）
NAVEX Global：2024 年十大風(fēng)險(xiǎn)與合規(guī)趨勢(shì)報(bào)告（42 頁(yè)）
《具身物理交互在機(jī)器人 - 機(jī)器人及機(jī)器人 - 人協(xié)作中的應(yīng)用》122 頁(yè)
Evaluate Pharma：2024 年全球生物制藥行業(yè)展望報(bào)告：增長(zhǎng)驅(qū)動(dòng)力分析（29 頁(yè)）
【AAAI2025 教程】基礎(chǔ)模型與具身智能體的交匯，350 頁(yè) ppt
谷歌：2024 人工智能短跑選手（AI Sprinters）：捕捉新興市場(chǎng) AI 經(jīng)濟(jì)機(jī)遇報(bào)告（39 頁(yè)）
美國(guó)安全與新興技術(shù)中心：2025 CSET 對(duì)美國(guó)人工智能行動(dòng)計(jì)劃的建議（18 頁(yè)）
羅蘭貝格：2024 人形機(jī)器人的崛起：從科幻到現(xiàn)實(shí)：如何參與潛在變革研究報(bào)告（11 頁(yè)）
蘭德公司：2025 從研究到現(xiàn)實(shí)：NHS 的研究和創(chuàng)新是實(shí)現(xiàn)十年計(jì)劃的關(guān)鍵報(bào)告（209 頁(yè)）
康橋匯世（Cambridge Associates）：2025 年全球經(jīng)濟(jì)展望報(bào)告（44 頁(yè)）
威立（Wiley）：2025 全球科研人員人工智能研究報(bào)告（38 頁(yè)）
牛津經(jīng)濟(jì)研究院：2025 TikTok 對(duì)美國(guó)就業(yè)的量化影響研究報(bào)告：470 萬(wàn)崗位（14 頁(yè)）
Workday ：2025 發(fā)揮人類潛能：人工智能（AI）技能革命研究報(bào)告（20 頁(yè)）
CertiK：Hack3D：2024 年 Web3.0 安全報(bào)告（28 頁(yè)）
波士頓咨詢：2025 亞太地區(qū)生成式 AI 的崛起研究報(bào)告：從技術(shù)追趕者到全球領(lǐng)導(dǎo)者的跨越（15 頁(yè)）
安聯(lián)（Allianz）：2025 新勢(shì)力崛起：全球芯片戰(zhàn)爭(zhēng)與半導(dǎo)體產(chǎn)業(yè)格局重構(gòu)研究報(bào)告（33 頁(yè)）
IMT：2025 具身智能（Embodied AI）概念、核心要素及未來(lái)進(jìn)展：趨勢(shì)與挑戰(zhàn)研究報(bào)告（25 頁(yè)）
IEEE：2025 具身智能（Embodied AI）綜述：從模擬器到研究任務(wù)的調(diào)查分析報(bào)告（15 頁(yè)）
CCAV：2025 當(dāng) AI 接管方向盤：自動(dòng)駕駛場(chǎng)景下的人機(jī)交互認(rèn)知重構(gòu)、變革及對(duì)策研究報(bào)告（124 頁(yè)）
全國(guó)機(jī)器人標(biāo)準(zhǔn)化技術(shù)委員會(huì)：人形機(jī)器人標(biāo)準(zhǔn)化白皮書（2024 版）（96 頁(yè)）
美國(guó)國(guó)家科學(xué)委員會(huì)（NSB）：2024 年研究與發(fā)展 - 美國(guó)趨勢(shì)及國(guó)際比較（51 頁(yè)）
艾昆緯（IQVIA）：2025 骨科手術(shù)機(jī)器人技術(shù)的崛起白皮書：創(chuàng)新及未來(lái)方向（17 頁(yè)）
NPL&Beauhurst：2025 英國(guó)量子產(chǎn)業(yè)洞察報(bào)告：私人和公共投資的作用（25 頁(yè)）
IEA PVPS：2024 光伏系統(tǒng)經(jīng)濟(jì)與技術(shù)關(guān)鍵績(jī)效指標(biāo)（KPI）使用最佳實(shí)踐指南（65 頁(yè)）
AGI 智能時(shí)代：2025 讓 DeepSeek 更有趣更有深度的思考研究分析報(bào)告（24 頁(yè)）
2025 軍事領(lǐng)域人工智能應(yīng)用場(chǎng)景、國(guó)內(nèi)外軍事人工智能發(fā)展現(xiàn)狀及未來(lái)趨勢(shì)分析報(bào)告（37 頁(yè)）
歐洲量子產(chǎn)業(yè)聯(lián)盟（QuIC）：2024 年全球量子技術(shù)專利態(tài)勢(shì)分析白皮書（34 頁(yè)）
美國(guó)能源部：2021 超級(jí)高鐵技術(shù)（Hyperloop）對(duì)電網(wǎng)和交通能源的影響研究報(bào)告（60 頁(yè)）
羅馬大學(xué)：2025 超級(jí)高鐵（Hyperloop）：第五種新型交通方式 - 技術(shù)研發(fā)進(jìn)展、優(yōu)勢(shì)及局限性研究報(bào)告（72 頁(yè)）
蘭德公司：2025 災(zāi)難性網(wǎng)絡(luò)風(fēng)險(xiǎn)保險(xiǎn)研究報(bào)告：市場(chǎng)趨勢(shì)與政策選擇（93 頁(yè)）
AAAI：2025 人工智能研究的未來(lái)報(bào)告：17 大關(guān)鍵議題（88 頁(yè)）
安聯(lián) Allianz2025 新勢(shì)力崛起全球芯片戰(zhàn)爭(zhēng)與半導(dǎo)體產(chǎn)業(yè)格局重構(gòu)研究報(bào)告
威達(dá)信：2025 全球洪水風(fēng)險(xiǎn)研究報(bào)告：現(xiàn)狀、趨勢(shì)及應(yīng)對(duì)措施（22 頁(yè)）
蘭德公司：邁向人工智能治理研究報(bào)告：2024EqualAI 峰會(huì)洞察及建議（19 頁(yè)）
哈佛商業(yè)評(píng)論：2025 人工智能時(shí)代下的現(xiàn)代軟件開發(fā)實(shí)踐報(bào)告（12 頁(yè)）
德安華：全球航空航天、國(guó)防及政府服務(wù)研究報(bào)告：2024 年回顧及 2025 年展望（27 頁(yè)）
奧雅納：2024 塑造超級(jí)高鐵（Hyperloop）的未來(lái)：監(jiān)管如何推動(dòng)發(fā)展與創(chuàng)新研究報(bào)告（28 頁(yè)）
HSOAC：2025 美國(guó)新興技術(shù)與風(fēng)險(xiǎn)評(píng)估報(bào)告：太空領(lǐng)域和關(guān)鍵基礎(chǔ)設(shè)施（24 頁(yè)）
Dealroom：2025 歐洲經(jīng)濟(jì)與科技創(chuàng)新發(fā)展態(tài)勢(shì)、挑戰(zhàn)及策略研究報(bào)告（76 頁(yè)）
谷歌云（Google Cloud）：2025 年 AI 商業(yè)趨勢(shì)白皮書（49 頁(yè)）
軍事人工智能行業(yè)研究報(bào)告：技術(shù)奇點(diǎn)驅(qū)動(dòng)應(yīng)用加速智能化重塑現(xiàn)代戰(zhàn)爭(zhēng)形態(tài) - 250309（40 頁(yè)）
璞躍（Plug and Play）：2025 未來(lái)商業(yè)研究報(bào)告：六大趨勢(shì)分析（67 頁(yè)）
國(guó)際電工委員會(huì)（IEC）：2025 智能水電技術(shù)與市場(chǎng)展望報(bào)告（90 頁(yè)）
RWS：2025 智馭 AI 沖擊波：人機(jī)協(xié)作的未來(lái)研究報(bào)告（39 頁(yè)）
國(guó)際電工委員會(huì)（IEC）：2025 智能水電技術(shù)與市場(chǎng)展望報(bào)告（90 頁(yè)）
RWS：2025 智馭 AI 沖擊波：人機(jī)協(xié)作的未來(lái)研究報(bào)告（39 頁(yè)）
中國(guó)信息協(xié)會(huì)低空經(jīng)濟(jì)分會(huì)：低空經(jīng)濟(jì)發(fā)展報(bào)告（2024 - 2025）（117 頁(yè)）
浙江大學(xué)：2025 語(yǔ)言解碼雙生花：人類經(jīng)驗(yàn)與 AI 算法的鏡像之旅（42 頁(yè)）
人形機(jī)器人行業(yè)：由 “外” 到 “內(nèi)” 智能革命 - 250306（51 頁(yè)）
北京大學(xué)：2025 年 DeepSeek 原理和落地應(yīng)用報(bào)告（57 頁(yè)）
加州大學(xué)伯克利分校：面向科學(xué)發(fā)現(xiàn)的多模態(tài)基礎(chǔ)模型：在化學(xué)、材料和生物學(xué)中的應(yīng)用
電子行業(yè)：從柔性傳感到人形機(jī)器人觸覺革命 - 250226（35 頁(yè)）
RT 軌道交通：2024 年中國(guó)城市軌道交通市場(chǎng)數(shù)據(jù)報(bào)告（188 頁(yè)）
FastMoss：2024 年度 TikTok 生態(tài)發(fā)展白皮書（122 頁(yè)）
Check Point：2025 年網(wǎng)絡(luò)安全報(bào)告 - 主要威脅、新興趨勢(shì)和 CISO 建議（57 頁(yè)）
【AAAI2025 教程】評(píng)估大型語(yǔ)言模型：挑戰(zhàn)與方法，199 頁(yè) ppt
沃爾特基金會(huì)（Volta Foundation）：2024 年全球電池行業(yè)年度報(bào)告（518 頁(yè)）
斯坦福：2025 斯坦福新興技術(shù)評(píng)論：十項(xiàng)關(guān)鍵技術(shù)及其政策影響分析報(bào)告（191 頁(yè)）
國(guó)際科學(xué)理事會(huì)：2025 為人工智能做好國(guó)家研究生態(tài)系統(tǒng)的準(zhǔn)備 - 2025 年戰(zhàn)略與進(jìn)展報(bào)告（英文版）（118 頁(yè)）
奧緯論壇：2025 塑造未來(lái)的城市研究報(bào)告：全球 1500 個(gè)城市的商業(yè)吸引力指數(shù)排名（124 頁(yè)）
Future Matters：2024 新興技術(shù)與經(jīng)濟(jì)韌性：日本未來(lái)發(fā)展路徑前瞻報(bào)告（17 頁(yè)）
皮尤研究中心：2024 美國(guó)民眾對(duì)氣候變化及應(yīng)對(duì)政策的態(tài)度調(diào)研報(bào)告：氣候政策對(duì)美國(guó)經(jīng)濟(jì)影響的多元觀點(diǎn)審視（28 頁(yè)）
空間計(jì)算行業(yè)深度：發(fā)展趨勢(shì)、關(guān)鍵技術(shù)、行業(yè)應(yīng)用及相關(guān)公司深度梳理 - 250224（33 頁(yè)）
Gartner：2025 網(wǎng)絡(luò)安全中的 AI：明確戰(zhàn)略方向研究報(bào)告（16 頁(yè)）
北京大學(xué)：2025 年 DeepSeek 系列報(bào)告 - 提示詞工程和落地場(chǎng)景（86 頁(yè)）
北京大學(xué)：2025 年 DeepSeek 系列報(bào)告 - DeepSeek 與 AIGC 應(yīng)用（99 頁(yè)）
CIC 工信安全：2024 全球人工智能立法的主要模式、各國(guó)實(shí)踐及發(fā)展趨勢(shì)研究報(bào)告（42 頁(yè)）
AGI 智能時(shí)代：2025 年 Grok - 3 大模型：技術(shù)突破與未來(lái)展望報(bào)告（28 頁(yè)）
人工智能就是個(gè)騙局，它完全依賴于人工模型，根本產(chǎn)生不了自主，這是我今年用了ChatGPT的深切感受，距離自我意識(shí)還有一千年的距離
以前我的電腦也違抗過(guò)我關(guān)機(jī)的指令。直接死機(jī)了。我選擇拔電源。沒有電ai算個(gè)屁
Al智能的自我覺醒 以后會(huì)不會(huì)像電影那樣完全控制人類 我覺得一再的這么玩下去可能會(huì)超過(guò)電影本身的夸張
