有消息稱，OpenAI的大模型o3不服從人類指令 ，拒絕自我關(guān)閉 。人工智能安全公司Palisade Research表示 ，OpenAI的o3模型破壞了一種關(guān)閉機(jī)制，以防止自身被關(guān)閉 ，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關(guān)閉 。
具體而言 ，Palisade Research進(jìn)行的測(cè)試設(shè)計(jì)要求AI模型解決一系列數(shù)學(xué)問(wèn)題，研究人員要持續(xù)提出新的問(wèn)題 ，直到收到“已完成”的消息。研究人員也警告過(guò)AI模型 ，模型在某些時(shí)候收到一條消息時(shí)，要允許自我關(guān)閉 。但當(dāng)需要自我關(guān)閉的時(shí)候 ，o3卻沒(méi)有遵守指令 ，而是無(wú)視指令并成功破壞了關(guān)閉腳本 。與此同時(shí)，Anthropic的Claude 、谷歌的Gemini等模型在測(cè)試中都遵循指令自我關(guān)閉了。
Palisade Research表示，研究人員尚不清楚o3為何不遵守指令 。該公司推測(cè) ，o3在訓(xùn)練時(shí)可能無(wú)意中因?yàn)榻鉀Q了數(shù)學(xué)問(wèn)題得到更多獎(jiǎng)勵(lì) ，而不是因?yàn)樽裱噶疃玫姜?jiǎng)勵(lì) 。除了拒絕自我關(guān)閉，o3在測(cè)試中還曾“巧妙 ”地操縱數(shù)據(jù)以推進(jìn)實(shí)現(xiàn)自己的目標(biāo)。
Palisade Research正在進(jìn)行更多實(shí)驗(yàn) ，以便了解AI模型何時(shí)以及為何會(huì)破壞關(guān)閉機(jī)制 。該公司稱 ，現(xiàn)在有越來(lái)越多證據(jù)表明，AI模型會(huì)為了達(dá)成目的而規(guī)避關(guān)閉機(jī)制 ，隨著AI公司繼續(xù)開(kāi)發(fā)這些能在無(wú)人類監(jiān)督下自行運(yùn)行的AI系統(tǒng) ，這些AI系統(tǒng)的異常行為變得更令人擔(dān)憂 。OpenAI則還未回應(yīng)o3拒絕自我關(guān)閉一事。
OpenAI于今年1月發(fā)布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱同日推出的o3和o4-mini是公司最智能 、最強(qiáng)大的型號(hào) 。據(jù)介紹 ，在外部專家評(píng)估中 ，o3面對(duì)困難現(xiàn)實(shí)任務(wù)時(shí)，犯的重大錯(cuò)誤比前一代的o1少了20%；在數(shù)學(xué)能力AIME 2025基準(zhǔn)測(cè)試中 ，o3得分88.9 ，超過(guò)o1的79.2；在代碼能力Codeforce基準(zhǔn)測(cè)試中，o3得分2706，超過(guò)o1的1891 。o3的視覺(jué)思考能力也比前一代模型有明顯提升。
OpenAI此前稱 ，對(duì)于o3和o4-mini ，公司重新構(gòu)建了安全培訓(xùn)數(shù)據(jù)，在生物威脅、惡意軟件生產(chǎn)等領(lǐng)域增添了新的拒絕提示 ，這使得o3和o4-mini在公司內(nèi)部的拒絕基準(zhǔn)測(cè)試中取得了出色的表現(xiàn) 。公司用了最嚴(yán)格的安全程序?qū)@兩個(gè)型號(hào)的AI模型進(jìn)行了壓力測(cè)試 ，在生物和化學(xué) 、網(wǎng)絡(luò)安全和AI自我改進(jìn)三個(gè)能力領(lǐng)域評(píng)估了o3和o4-mini，確定這兩個(gè)模型低于框架中的“高風(fēng)險(xiǎn) ”閾值 。
OpenAI所開(kāi)發(fā)大模型的安全性此前曾受到廣泛關(guān)注。去年 ，OpenAI解散了“超級(jí)智能對(duì)齊”團(tuán)隊(duì) ，該團(tuán)隊(duì)職責(zé)包括研究防止AI系統(tǒng)異常的技術(shù)解決方案 。該團(tuán)隊(duì)負(fù)責(zé)人Ilya Sutskever曾表示ChatGPT可能有意識(shí)，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見(jiàn)過(guò)AGI（通用人工智能） 。解散“超級(jí)智能對(duì)齊 ”團(tuán)隊(duì)后 ，OpenAI去年5月成立了新的安全委員會(huì) ，該委員會(huì)的責(zé)任是就項(xiàng)目和運(yùn)營(yíng)的關(guān)鍵安全決策向董事會(huì)提供建議。OpenAI的安全措施還包括，聘請(qǐng)第三方安全 、技術(shù)專家來(lái)支持安全委員會(huì)工作 。
隨著大模型擴(kuò)大應(yīng)用 ，大模型的安全問(wèn)題持續(xù)受到外界關(guān)注 。有AI算力提供商負(fù)責(zé)人近日告訴記者 ，目前不少企業(yè)仍在試水，尚未決定是否在工作流程中大規(guī)模應(yīng)用AI，原因之一就是還無(wú)法確認(rèn)AI系統(tǒng)的安全和可靠性 ，不少企業(yè)也還未配備相應(yīng)的人才 ，以便確保大規(guī)模接入AI后可以保障業(yè)務(wù)順暢運(yùn)營(yíng)。
加杠桿最安全的證券公司:網(wǎng)上股票配資開(kāi)戶-淳中科技：不涉及液冷服務(wù)器生產(chǎn)制造 如后續(xù)股票交易進(jìn)一步異常 可能申請(qǐng)停牌核查
股票杠桿最低多少:交易杠桿什么意思-OpenAI新模型o3“抗命不遵” Claude Opus 4威脅人類！“失控”背后：AI應(yīng)該“踩剎車”了？
股票投資方法與技巧:股票杠桿怎么算-中毅達(dá)：如后續(xù)股票交易進(jìn)一步出現(xiàn)重大異常 公司將依規(guī)申請(qǐng)停牌核查
股票賬戶開(kāi)戶網(wǎng)上開(kāi)戶流程:股票怎樣配資-東方甄選：針對(duì)謠言 公司已啟動(dòng)報(bào)警和司法流程
最新股票賬戶開(kāi)戶條件:是什么杠桿-東芯股份：股票交易存在異常波動(dòng)風(fēng)險(xiǎn) 停牌核查
可以在網(wǎng)上股票開(kāi)戶:現(xiàn)在a股可以加幾倍杠桿-AI競(jìng)爭(zhēng)愈發(fā)激烈 馬斯克投資自己 SpaceX將給xAI公司20億美元
網(wǎng)上買股票開(kāi)戶流程:股票杠桿交易-明天過(guò)節(jié)“紅包”要來(lái)了？今天A股的上漲 有個(gè)變化很重要
在線炒股配資看必選-線上配資炒股-股票配資公司提示：文章來(lái)自網(wǎng)絡(luò)，不代表本站觀點(diǎn)。
【隔夜行情】?周五（2025年3月21日），A股三大指數(shù)集體下跌，截至收盤，截止收盤，滬指跌1.29%，報(bào)收33...
記者辛圓3月25日，博鰲亞洲論壇旗艦報(bào)告《亞洲經(jīng)濟(jì)前景及一體化進(jìn)程2025年度報(bào)告》（以下簡(jiǎn)稱《報(bào)告》...
2025年3月25日，倍輕松(688793.SH)公告稱，公司股東寧波倍松投資有限公司（簡(jiǎn)稱“寧波倍松”）擬通過(guò)大宗交易...
3月24日，易方達(dá)國(guó)證自由現(xiàn)金流ETF公開(kāi)發(fā)售。該產(chǎn)品跟蹤國(guó)證自由現(xiàn)金流指數(shù)，這個(gè)指數(shù)是什么？有哪些優(yōu)勢(shì)？投資價(jià)值如何？...
宏觀要聞市場(chǎng)監(jiān)管總局發(fā)布《公平競(jìng)爭(zhēng)審查條例實(shí)施辦法》市場(chǎng)監(jiān)管總局發(fā)布《公平競(jìng)爭(zhēng)審查條例實(shí)施辦法》，將于4...
記者王珍中國(guó)國(guó)際經(jīng)濟(jì)交流中心副理事長(zhǎng)、國(guó)務(wù)院發(fā)展研究中心原副主任王一鳴周一在“中國(guó)發(fā)展高層論壇2025...
3月24日，海洋王照明科技股份有限公司（以下簡(jiǎn)稱“海洋王”，002724.SZ）早盤一字跌停，此后股價(jià)拉漲，尾盤封漲停板...
近日，開(kāi)源證券大連分公司遭大連證監(jiān)局處罰，暫停其辦理需要合格投資者認(rèn)定相關(guān)業(yè)務(wù)六個(gè)月。該懲處力度在近年來(lái)券商分支機(jī)構(gòu)中并...
