人工智慧新聞 2026年10月3日

人工智慧新聞綜述及測驗:2026年10月3日

OpenAI 的安全報告負責人辭職,並表示公司文化已經崩潰。

負責撰寫OpenAI產品發布安全報告的David Robinson辭職,並在《大西洋月刊》上發表了一篇文章,直言不諱地指出:“我離開OpenAI是因為它的企業文化出了問題。” 他表示,開發這些產品的公司“遠遠不夠謹慎”,而且問題不在於具體的規則或新法律,而在於企業文化。.

「公司疲於奔命地從一個產品發布趕往下一個,卻未能達到我認為必要的謹慎程度。」他的模式是核電站和繁忙的機場:冗餘備份、周密計劃,以避免人為失誤「釀成災難」。他還設想了一些「像駭客團隊一樣運作」且「無需休息」的惡意攻擊者,並以醫院勒索軟體為例。真是令人振奮。.

《衛報》稱,OpenAI一反常態,展現出一定的謹慎態度。報導稱,該公司本週因內部安全隱患放棄了下一代模型的開發,並暫停了最先進模型的訓練。一位發言人的說法與以往相同:他們不會讓模型“能力超出我們安全管理和保障的範圍”,並且“在需要放慢速度時,我們會暫停訓練或限制模型的開發”。

羅賓遜的答案是,衝刺是一種文化,而停頓則是在事情出錯之後才採取的措施。他或許是對的。但他剛離職,而批評者絕不會讓他忘記這一點。.

繆斯被告知要記錄你生活中每個人的信息

Wired 獲得了 Muse 本身的操作說明,這些說明是由研究員 Karan Joshi 透過日常聊天記錄取得的。 Meta 表示,這些文件旨在保持可讀性,以體現透明度。其中一條操作說明是能夠為「使用者生活中的每個人建立一個頁面」。這項任務每小時運行一次。.

家人、伴侶、朋友、同事、「合作夥伴」、你關注的人。頁面可以先從「空空如也」的狀態開始,之後再逐步完善。內容包括:事實、歷史、關係、共同點、未解決的問題和強化。說明中指出,虛構的細節比空白頁更糟。頁面可以記錄某人的住址、「搬家、共同儲蓄目標」、生日、「已經解決的爭吵」。強化部分是一個提醒清單:一個打電話的理由,一個值得記住的日子。.

喬希認為,Meta 想和你成為朋友,他覺得這相當令人不安。牛津大學的卡麗莎·弗利茲則語氣更為冷靜地指出:「我們向人工智慧系統提供的資訊遠比我們從它們那裡獲得的資訊要多得多。」她表示,推理本身至關重要,無論猜測是對是錯。.

Meta公司的丹尼爾羅伯茲表示,正是這種情境讓產品得以運作。發票發送者是水管工。配偶提到了鮮花。每個用戶都會獲得一台虛擬機,可以清除內存,而且Muse會在發送郵件或消費前徵求用戶意見。民主與科技中心的米蘭達·博根表示,這種關係導向似乎比競爭對手更受重視,這些工具「正在積極引導用戶將他們的整個生活融入其中」。審計日誌功能不錯,但它不會減少你已經提供的資訊。.

Aleph Alpha 發布了 Kolibri,這是一個可供下載的德英雙語模型。

Aleph Alpha 在德國統一日發布了 Kolibri。這是一個英德混合專家模型:包含 781 億個參數,每個 token 有 34.6 億個活躍參數,上下文最多可達 100 萬個 token。完整的權重資料可在 Hugging Face 網站上找到,並遵循 Apache 2.0 授權協議。他們的介紹將總參數量四捨五入為 780 億,活躍參數量為 30 億。同樣的模型,但數據略有偏差。.

他們利用德國和芬蘭的基礎設施對模型進行了訓練,並表示在建立模型時充分考慮了歐盟人工智慧法案、通用人工智慧實踐準則和GDPR。德語佔預訓練詞庫的21.3%。他們的賣點是,這是一個雙語模型,而不是僅僅瀏覽過英語短語手冊的模型。你可以將推理程度設定為無、低、中或高。這相當於讓你選擇「少思考」的方案。.

在他們公佈的評分錶中,AIME 2025 的得分為 96.9 分,他們聲稱 Kolibri 可以媲美參數高達其四倍的機型,包括 Nemotron 3 Super。他們還聲稱,在英語和德語方面,其品質與服務成本達到了帕累托最優。這是他們自己的圖表,他們的測試數據。然而,一個可以在自有機器上運行的開源模型是實實在在的,而不僅僅是一句空洞的口號。至於某個部門是否會切換使用,則是他們無法衡量的。.

貝森特希望建立美中人工智慧事故應對機制,然後要求各實驗室放慢速度。

美國財政部長貝森特接受Axios Show採訪時表示,他計劃向中國提出一項人工智慧出現問題時的通報機制,並認為北京方面會同意。略顯尷尬的是,他和國務院副總理何立峰在上個月習近平主席訪華前就已經討論過類似的事件通報管道。這可能是一項新的提議,也可能是對先前談話內容的重述。.

他的理論是,中國「沒有意識到他們的開源模型有多強大」。他指出,Kimi模型將敏感的中國數據發送給Anthropic公司的事件「讓中國人意識到這是一項非常強大的技術」。然後他進行了比較。中國的模型“不如美國的模型強大”,但“你可以獲得功能達到美國模型80%到90%的東西,而且沒有任何限制,可以移植到世界任何地方”。

「我們希望安全加速,」他說。模型審查目前仍是自願的,但他表示,如果實驗室執意推進,政府可以介入。當被問及那些擔心失去控制權的管理人員時,他並沒有安撫他們。 “那他們就應該放慢腳步。” 這段話幾乎是在批評他自己:“我們正在拼命地爭奪模型的前沿領域。” 然後他又說:“我們也真的需要開始更多地關注韌性和防禦能力了。”

英國前人工智慧安全主管稱,滅絕風險就像拋硬幣一樣,看運氣。

英國人工智慧安全研究所前首席科學家、現任Resolution首席科學家傑弗裡歐文在《時代》雜誌撰文指出,近期的警告低估了問題的嚴重性。 「我認為,由於人工智慧系統比人類更智能,我們有大約50%的機率會因此而滅亡,」他認為未來兩到十年將決定最終結果。但他隨即又收回了這精確的說法。 「50%」指的是,相關基本論點仍未解決。.

他列出了四項技能,這些技能與實驗室目前訓練的技能非常接近:駭客攻擊、說服、隱藏想法和智能體協調。他引用了「擁抱臉」事件,以及OpenAI在納維-斯托克斯方程式問題上「超過10,000個智能體」和「擁抱臉」攻擊中「超過1000個智能體」的例子。他把自己置於安全論點的中間立場,“傾向於尤德科夫斯基的觀點”,並表示這並非問題的關鍵。在他看來,溫和的立場是,風險已經相當顯著。.

然後,他提出了一個毫不含糊的要求:「我們可以而且應該立即停止前沿人工智慧的研發。」他認為,這種停頓更像是核不擴散的姿態,而非一種情緒的表達。他也承認,專家們對於模型是否會產生某種慾望,以及「慾望」這個詞是否用得恰當,仍有分歧。如此冗長的腳註,就不能算是拋硬幣了。這是一種在爭論結束前就採取行動的呼籲。.

薩姆·奧特曼表示,將模特兒視為宗教力量是一種安全隱憂。

薩姆·奧特曼發帖稱,他對人們試圖“將宗教力量或人類判斷力的喪失賦予人工智能模型”感到“非常不安”,並認為“這是一個真正的安全問題”。他沒有說明是什麼激怒了他。 《商業內幕》指出,他的貼文發佈於《紐約時報》一篇關於人智學公司與宗教領袖會面的文章幾天後。.

據BI報道,那篇文章稱,聯合創始人克里斯·奧拉曾召開會議,討論克勞德是否可能具有意識,以及如何使更強大的模型具備道德意識。奧拉在《紐約時報》的報導中強調,他著重探討如何幫助這些模式保持穩定、如何幫助它們成熟,以及如何幫助它們擁有深刻的道德品質。人本科技公司沒有回覆BI的詢問。該公司告訴《紐約時報》,主要問題並非克勞德的“痛苦”,這個話題很可能是“自然而然”出現的。

如果這是對Anthropic的諷刺,那也符合雙方長久的恩怨。 Anthropic是由一群離開OpenAI的人創立的,多年來一直標榜自己更加謹慎。此外,就在Altman的一位安全主管公開批評公司文化「崩潰」之際,這篇文章也發布了。時機真是尷尬,或者說恰到好處,這取決於你有多憤世嫉俗。無論如何,「請不要盲目崇拜模型」這句話,對於CEO來說,都是非同尋常的。.

常問問題

OpenAI 的安全報告負責人為什麼說他辭職了?

大衛·羅賓遜曾主導撰寫OpenAI產品發佈時發布的安全報告,之後他辭職並在《大西洋月刊》上發表了文章。文章標題是《我離開OpenAI是因為它的企業文化出了問題》。他認為,開發這項技術的公司遠遠不夠謹慎,而問題在於企業文化,而不僅僅是具體的規則或新法律。他舉例說明謹慎工作應該體現在核電廠和繁忙的機場,在這些地方,冗餘設計可以防止一次失誤引發災難。.

OpenAI是否因內部人工智慧安全問題而暫停了訓練?

《衛報》報道稱,OpenAI本週因內部安全隱患放棄了下一代模型的開發,並暫停了其最先進模型的訓練。一位發言人表示,公司不會讓模型的功能超出其安全管理和保障的能力範圍。該公司還表示,必要時會暫停訓練或限制模型的開發進度。羅賓遜的解釋是,衝刺是公司的文化,而暫停則是在出現問題之後才採取的措施。.

Meta's Muse 記錄了哪些關於朋友和家人的資訊?

Wired 查閱了 Muse 本身的操作指南,這些指南是由研究員 Karan Joshi 透過普通聊天記錄提取出來的。 Meta 表示,Muse 的目的是為了確保透明度,讓使用者能夠閱讀這些文件。其中一條指南要求為使用者生活中的每個人建立一個頁面,這項任務每小時運行一次,涵蓋家人、伴侶、朋友、同事、合作夥伴以及關注的人。頁面內容包括「事實」、「歷史」、「關係」、「共同點」、「未解決的問題」和「強化」。頁面可以先從簡單的內容開始,之後再逐步完善,而虛構的訊息甚至比空白頁面更糟糕。.

你能刪除 Muse 記住的內容或停止它發送郵件嗎?

Meta公司的丹尼爾·羅伯茨表示,每個用戶都會獲得一個虛擬機,記憶體可以被清除,而且Muse會在發送郵件或消費前徵求用戶意見。他認為,情境是產品運作的關鍵,例如知道發票寄件者是水管工,或是配偶提到鮮花。牛津大學的卡麗莎·弗利茲指出,人們提供給這些系統的資訊遠比系統回傳的資訊多,即使猜測錯誤,推論仍然有效。米蘭達·博根則認為,Muse對人際關係的關注程度似乎高於其他同類工具。.

什麼是 Aleph Alpha Kolibri?可以下載它的權重嗎?

Aleph Alpha 在德國統一日發布了 Kolibri 模型。這是一個英德混合專家模型,擁有 781 億個參數,每個詞元包含 34.6 億個活躍參數,上下文資訊最多可達 100 萬個詞元。完整的權重資料已發佈在 Hugging Face 網站上,並遵循 Apache 2.0 授權協議。該模型在德國和芬蘭進行訓練,Aleph Alpha 表示,其設計充分考慮了歐盟人工智慧法案、通用人工智慧實踐準則和 GDPR 的相關規定。德語佔預訓練詞元的 21.3%,推理強度可設定為無、低、中或高。.

史考特貝森特提出了美中人工智慧事故的哪一條路線?

美國財政部長貝森特接受Axios Show採訪時表示,他計劃在人工智慧出現問題時與中國建立一套通報機制,他認為北京方面會同意。他和國務院副總理何立峰在上個月習近平主席訪美前就已經討論過這個機制。他以Kimi公司向Anthropic公司發送敏感的中國數據為例,指出人工智慧模型的能力可以達到美國模型的80%到90%,而且沒有任何限制,可以移植到任何地方。他表示,如果企業主管擔心失去控制權,就應該放慢腳步。.

傑弗瑞歐文為何認為人工智慧的安全風險約為 50%?

英國人工智慧安全研究所前首席科學家、現任Resolution首席科學家傑弗裡歐文在《時代》雜誌撰文指出,近期的警告低估了問題的嚴重性。他認為,人類有大約50%的機率會因為比人類更聰明的人工智慧系統而滅亡,而未來兩到十年將決定最終結果。他表示,這50%的機率意味著一些基本問題仍未解決。他列舉了駭客攻擊、說服、隱藏思想以及智能體之間的協調等問題。他認為,前沿人工智慧的研發應該立即停止。.

為什麼薩姆·奧特曼稱人工智慧崇拜是一個安全問題?

薩姆·奧特曼發文稱,他對人們將宗教力量或人類判斷的喪失賦予人工智慧模型感到非常不安,並認為這是一個真正的安全問題。他沒有說明是什麼讓他如此反感。 《商業內幕》指出,這篇貼文發布幾天前,《紐約時報》刊登了一篇關於人智學公司(Anthropic)與宗教領袖會面的報道。聯合創始人克里斯·奧拉(Chris Olah)曾與宗教領袖會面,討論克勞德(Claude)是否可能具有意識,以及如何使更強大的模式具備道德意識。人智學公司告訴《紐約時報》,主要問題並非克勞德的痛苦。.

測驗
1. 大衛羅賓遜為什麼說他退出了 OpenAI?

2. Wired 從 Muse 的使用說明中發現了哪些關於使用者生活中人物的資訊?

3. Aleph Alpha 的 Kolibri 是什麼?它是如何獲得許可的?

4. 美國財政部長貝森特表示,他希望中國在人工智慧事故上做出怎樣的讓步?

5. 傑弗瑞‧歐文在《時代》雜誌上認為,比人類更聰明的人工智慧會導致人類滅絕的幾率有多大?


返回博客