Pre AGI 時(shí)代的第一場大型輿論「鬧劇」。

馬斯克和「深度學(xué)習(xí)三巨頭」之一的 Bengio 等一千多位學(xué)界業(yè)界人士，聯(lián)名呼吁叫停 AI 大模型研究的新聞，刷屏網(wǎng)絡(luò)，掀起軒然大波。

GPT 的研究會被叫停嗎？在學(xué)界業(yè)界看來，AI 真的會對人類產(chǎn)生威脅嗎？這封聯(lián)名信是證據(jù)鑿鑿的警示還是徒有恐慌的噱頭？支持者、反對者紛紛表態(tài)，吵作一團(tuán)。

在混亂中，我們發(fā)現(xiàn)，這份聯(lián)名信的真實(shí)性和有效性都存在問題。很多位列署名區(qū)的人們，連他們自己都不知道簽署了這封聯(lián)名信。

另一方面，聯(lián)名信本身的內(nèi)容也值得商榷，呼吁人們重視 AI 安全性的問題當(dāng)然沒錯(cuò)，可叫停 AI 研究 6 個(gè)月，甚至呼吁政府介入，等待相關(guān)規(guī)則、共識的制定。這種天真且不切實(shí)際的做法，在科技發(fā)展的歷史上實(shí)屬少見。

與此同時(shí)，不少人發(fā)現(xiàn)，OpenAI 開放了一批 GPT-4 API 的接口申請，開發(fā)者們正興奮地想要將這轟動世界的技術(shù)成功應(yīng)用在他們的產(chǎn)品中。Pre AGI 時(shí)代的序幕，已經(jīng)緩緩拉開。

AI 會停下來嗎？AI 能停下來嗎？

又或者像網(wǎng)友所說的，你想要叫停福特 A 型車的量產(chǎn)嗎？

在福特 T 型車退出市場后，A 型車幫助福特重新奪回汽車銷量的頭把交椅。

截至發(fā)稿前，F(xiàn)ounder Park 發(fā)現(xiàn)，聯(lián)名信簽名人數(shù)從 1125 減少為 1123 人。

注：極客公園記者凌梓郡對本文亦有貢獻(xiàn)。

01

聯(lián)名信說了什么？

在 Future of Life Institute（FLI）的官網(wǎng)上，有著公開信的全文內(nèi)容，總結(jié)如下：

公開信呼吁所有人工智能實(shí)驗(yàn)室，至少在 6 個(gè)月內(nèi)立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的人工智能系統(tǒng)研究包括當(dāng)前正在訓(xùn)練的 GPT-5。

這封信認(rèn)為，具有人類競爭力的人工智能系統(tǒng)可能對社會和人類構(gòu)成深刻的風(fēng)險(xiǎn)，因?yàn)檫@已經(jīng)得到了廣泛的研究并得到了頂級人工智能實(shí)驗(yàn)室的認(rèn)可。

此外，該信還呼吁 AI 實(shí)驗(yàn)室和獨(dú)立研究者們，利用這個(gè)暫停時(shí)間共同開發(fā)和實(shí)施一套共享的高級 AI 設(shè)計(jì)和開發(fā)安全協(xié)議，并由獨(dú)立外部專家進(jìn)行嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保遵守這些協(xié)議的系統(tǒng)是安全的，而且必須有充分的理由證明這種信心，并隨著系統(tǒng)潛在影響的大小而增加。

02

發(fā)起方是誰？

Future of Life Institute：生命未來研究所創(chuàng)立于 2014 年 3 月，創(chuàng)始人為麻省理工學(xué)院宇宙學(xué)家馬克斯·泰格馬克，Skype 聯(lián)合創(chuàng)始人讓·塔林，哈佛大學(xué)博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學(xué)博士生、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷。

官網(wǎng)上介紹的公司使命是：

保護(hù)生命的未來，某些技術(shù)的開發(fā)和使用對地球上的所有生命有著深遠(yuǎn)的影響。目前，人工智能、生物技術(shù)和核技術(shù)就是這種情況。

如果管理得當(dāng)，這些技術(shù)可以改變世界，使今天活著的人和所有尚未出生的人的生活大大改善。它們可以被用來治療和消除疾病，加強(qiáng)民主進(jìn)程，以及緩解--甚至阻止--氣候變化。

如果管理不當(dāng)，它們可能會起到相反的作用。它們可能產(chǎn)生災(zāi)難性的事件，使人類屈服，甚至可能將我們推向滅絕的邊緣。

生命未來研究所的使命是引導(dǎo)變革性技術(shù)遠(yuǎn)離極端、大規(guī)模的風(fēng)險(xiǎn)，并使之有益于生命。

03

誰簽署了聯(lián)名信？

截至北京時(shí)間 3 月 29 日下午 16 點(diǎn)，公開信簽名人數(shù)為 1125 人，我們整理了其中比較知名的一些學(xué)者和科技行業(yè)的從業(yè)人士等。

Yoshua Bengio：約書亞·本吉奧，加拿大計(jì)算機(jī)科學(xué)家，因其在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的研究而知名。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎，以表彰他們在深度學(xué)習(xí)方面的貢獻(xiàn)。這三位也被稱為「圖靈三巨頭」。

Stuart Russell：加州大學(xué)伯克利分校人工智能統(tǒng)計(jì)中心創(chuàng)始人兼計(jì)算機(jī)科學(xué)專業(yè)教授，一直關(guān)注人工智能領(lǐng)域的發(fā)展。同時(shí)，他還是人工智能領(lǐng)域里標(biāo)準(zhǔn)教科書《人工智能：現(xiàn)代方法》的作者。

Elon Musk：埃隆·馬斯克，眾所周知，SpaceX、特斯拉和 Twitter 的 CEO，OpenAI 的前股東。

Steve Wozniak：史蒂夫·沃茲尼亞克，蘋果公司聯(lián)合創(chuàng)始人。

Yuval Noah Harari：尤瓦爾·赫拉利，耶路撒冷希伯來大學(xué)的歷史系教授，《人類簡史》三部曲作者。

Andrew Yang：楊安澤，前進(jìn)黨創(chuàng)始人暨現(xiàn)任該黨共同黨主席，美國創(chuàng)業(yè)組織創(chuàng)始人、2020 年美國總統(tǒng)選舉民主黨初選候選人。

Jaan Tallinn：讓·塔林，Skype 聯(lián)合創(chuàng)始人，也是這封公開信的發(fā)起網(wǎng)站 Future of Life 的創(chuàng)始人之一。

Evan Sharp：伊文·夏普，Pinterest 聯(lián)合創(chuàng)始人。

Emad Mostaque：Stability AI 創(chuàng)始人，Stability AI 成立于 2019 年，目前已經(jīng)是估值超過 10 億美元的獨(dú)角獸企業(yè)，旗下產(chǎn)品有 Stable Diffusion 等，Stable Diffusion 是近期熱門的文本生成圖片的應(yīng)用。

John J Hopfield：約翰·約瑟夫·霍普菲爾德，美國科學(xué)家，1982 年發(fā)明了聯(lián)想神經(jīng)網(wǎng)絡(luò)，現(xiàn)在通常稱為霍普菲爾德網(wǎng)絡(luò)。

Rachel Bronson：雷切爾·布朗森，《原子科學(xué)家公報(bào)》總裁兼首席執(zhí)行官。《原子科學(xué)家公報(bào)》由知名物理學(xué)家阿爾伯特·愛因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學(xué)家于 1945 年創(chuàng)立，負(fù)責(zé)管理「末日時(shí)鐘」的倒計(jì)時(shí)情況。

Max Tegmark：馬克斯·泰格馬克，宇宙學(xué)家，現(xiàn)為麻省理工學(xué)院教授、基礎(chǔ)問題研究所科學(xué)主任。生命未來研究所的創(chuàng)始人之一。

Victoria Krakovna：DeepMind 的研究科學(xué)家，也是生命未來研究所的創(chuàng)始人之一。DeepMind 是一家英國的人工智能公司，2014 年被 Google 收購，2016 年他們開發(fā)的 AlphaGo 打敗了李世石，引起不小的反響。

我們實(shí)測了提交簽名的流程，在提交了個(gè)人姓名（杜撰了一個(gè)）和郵箱后，會收到這樣的提示，暫時(shí)不確認(rèn)后續(xù)的人工確認(rèn)流程是怎樣的。

03

聯(lián)名信有哪些問題？

三巨頭的另外兩位

深度學(xué)習(xí)學(xué)界三巨頭的表態(tài)必然會引人關(guān)注，Yoshua Bengio 的名字赫然列在聯(lián)名者的第一位，那么另外兩位態(tài)度如何呢？

泰斗級的 Hinton 還沒有公開表態(tài)，但他對 OpenAI 的研究成果一直大加褒獎。

LeCun 的表態(tài)更加清晰。

有人在推特上轉(zhuǎn)發(fā)這封聯(lián)名信，@LeCun 說他和「深度學(xué)習(xí)三巨頭」的另一位 Benjio 都簽署了這封聯(lián)名信。

Lecun 很快轉(zhuǎn)發(fā)回應(yīng)：「沒有。我沒有簽署這封信。我不同意他的前提。」

據(jù)行業(yè)觀察者猜測，LeCun 所說的前提，也許來源于兩方面。

一是所謂「失控的軍備競賽」，LeCun 作為 Meta AI 研究的門面，顯然是參與者之一，一個(gè)月前他還在推特上推廣 Meta 的大語言模型 LLaMA；

二是對于當(dāng)下 LLM 的研究方向，LeCun 一直保持懷疑，在 ChatGPT 剛剛引起公眾關(guān)注的時(shí)候，他就表示其底層技術(shù)沒有了不起的創(chuàng)新，只是一款組合很好的產(chǎn)品而已。「它們有點(diǎn)像那些死記硬背地學(xué)習(xí)了材料但還沒有真正建立起潛在現(xiàn)實(shí)的深刻心智模型的學(xué)生。」

Sam Altman 的表態(tài)

在推特上，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖。

但當(dāng)我們現(xiàn)在去聯(lián)名人中搜索 Sam Altman 的名字時(shí)，已經(jīng)找不到了。另外，截圖中有 typo，i 應(yīng)該是大寫 I。

這也許意味著聯(lián)名信初期并沒有嚴(yán)格的信息核查機(jī)制，填報(bào)聯(lián)名的人并沒有確認(rèn)真實(shí)身份。借用名人（甚至很多跟 AI 沒關(guān)系的名人）。

Sam Altman 近期的確討論過關(guān)于 AI 安全性的問題。在著名播客、YouTuber Lex Fridman 的訪談中，他表示 AI 的確存在偏見、人類失業(yè)等問題，但唯一的解法是 AI 不斷迭代，盡早學(xué)習(xí)，盡量避免「只有一次機(jī)會、必須做對」的情境。

這一話題的前提是，在訪談開頭，Sam Altman 表達(dá)了他對 GPT-4 的看法：

「未來當(dāng)我們回頭看的時(shí)候，我們會認(rèn)為 GPT-4 是一個(gè)非常早期的人工智能（AI），它的處理速度緩慢，有很多 Bug，很多事都做不太好。可是，早期的計(jì)算機(jī)也是這樣。它們需要幾十年時(shí)間的演進(jìn)，但在當(dāng)時(shí)仍然指明了一條道路，通往一些對我們的生活非常重要的東西。」

其他值得關(guān)注的署名者

毫無疑問，「暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng)」首先會影響的就是 OpenAI 接下來的技術(shù)進(jìn)展。而這對部分署名者而言，并不是一件壞事。

比如馬斯克。

他正在計(jì)劃組建自己的 AI 研究實(shí)驗(yàn)室，開發(fā) ChatGPT 的替代品。過去幾個(gè)月，馬斯克對 OpenAI 相關(guān)信息狂轟亂炸，一會兒強(qiáng)調(diào) AI 安全性的問題，一會兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫，而他作為第一位投資者，什么都沒有得到。

而一個(gè)事實(shí)是，馬斯克當(dāng)初退出 OpenAI，是因?yàn)樘厮估?AI 領(lǐng)域的研究與當(dāng)時(shí)還是開源非盈利組織的 OpenAI 的想法背道而馳。

「我仍然很困惑，一個(gè)我捐贈了 1 億美元的非營利組織是如何變成一個(gè)市值 300 億美元的營利性組織的。」

另一個(gè)位于前列的署名者是 Stability AI 的創(chuàng)始人 Emad Mostaque。

他在去年的采訪中曾表示，未來模型會實(shí)現(xiàn)在視覺和語言等不同模態(tài)之間的信息流通，到那時(shí)候，人們說話時(shí)就可以制作出精美的 PPT，這已經(jīng)被微軟實(shí)現(xiàn)。Open AI 的發(fā)展速度也給他帶來了某種慌亂。ChatGPT 讓人工智能行業(yè)的競爭加劇，他曾給員工發(fā)短信:「你們都會在 2023 年死去。」

一直跟 LeCun 對戰(zhàn)的計(jì)算機(jī)科學(xué)家 Gary Marcus 也參與了簽名，但這次他的態(tài)度有所不同。

紐約大學(xué)教授 Gary Marcus（蓋瑞·馬庫斯）一直是深度學(xué)習(xí)和大預(yù)言模型的反對者，他認(rèn)為依靠海量數(shù)據(jù)來喂食大模型雖然會繼續(xù)發(fā)展，但永遠(yuǎn)無法達(dá)到通用 AI 所需要的能力。在他看來，目前的通用 AI 的研發(fā)是一條死路。

他在之前與 LeCun 的關(guān)于人工智能的爭論廣為人知，Marcus 在 2022 年公開表示「深度學(xué)習(xí)撞墻了」，引來了深度學(xué)習(xí)三巨頭中 Hinton 和 LeCun 的反駁。

不過這一次，他雖然簽名了，卻在自己的 Substack 上表示，他擔(dān)心的不是 LLM 變成真正的通用人工智能的風(fēng)險(xiǎn)，而是現(xiàn)在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來的風(fēng)險(xiǎn)。

還有暢銷書作家，《人類簡史》《未來簡史》的作者尤瓦爾·赫拉利。

他一直在關(guān)注 AI 發(fā)展的臨界點(diǎn)何時(shí)到來。在 2021 年嘗試了 GPT-3 之后，就對 AI 智能的影響有所警醒，他曾在《人類簡史》出版十周年之際寫到，「很快，人工智能就能比我們更近了解我們自己。它是會繼續(xù)做我們手中的工具，還是我們會成為它的工具呢？」

幾天前，他剛剛在《紐約時(shí)報(bào)》發(fā)表文章，《你可以吃藍(lán)藥丸或紅藥丸，但是我們快沒有藍(lán)藥丸了》。

文章中討論了人工智能對人類的威脅，特別是 ChatGPT。他認(rèn)為，ChatGPT 可能會被用來制造虛假信息、操縱人們的情感和行為、甚至取代人類的創(chuàng)造力和智慧。他呼吁人類采取措施，保護(hù)自己免受人工智能的侵害，同時(shí)利用它的優(yōu)勢。他建議人類升級自己的教育、政治和倫理制度，以適應(yīng)人工智能的世界，并學(xué)會掌控人工智能，而不是被它掌控。

聲明全文

以下為 ChatGPT 翻譯版本，經(jīng)人工編輯初校。

人類智能競爭型的 AI 系統(tǒng)可能會對社會和人類構(gòu)成深刻的風(fēng)險(xiǎn)，這已經(jīng)得到廣泛的研究和頂級 AI 實(shí)驗(yàn)室的承認(rèn)。如阿西洛馬人工智能原則所述，先進(jìn)的 AI 可能代表著地球生命歷史的深刻變革，應(yīng)該通過相應(yīng)的謹(jǐn)慎和資源規(guī)劃和管理。但是，即使最近幾個(gè)月 AI 實(shí)驗(yàn)室陷入了一場失控的競賽，試圖開發(fā)和部署越來越強(qiáng)大的數(shù)字智能，甚至連他們的創(chuàng)造者都無法理解、預(yù)測或可靠地控制的智能，但我們并沒有看到此類規(guī)劃和管理的出現(xiàn)。

現(xiàn)代 AI 系統(tǒng)正在成為一般任務(wù)中具有人類競爭力的系統(tǒng)，我們必須問我們自己：我們是否應(yīng)讓機(jī)器用宣傳和不實(shí)言論淹沒我們的信息渠道？我們是否應(yīng)該自動化所有的工作，包括那些充實(shí)的工作？我們是否應(yīng)該開發(fā)非人類的頭腦，最終比我們更多、更聰明，更過時(shí)、更能替代我們？我們是否應(yīng)該冒失失去對我們文明的控制？這些決定不應(yīng)該被委托給非民選的技術(shù)領(lǐng)導(dǎo)人。只有當(dāng)我們確信它們的影響將是積極的，它們的風(fēng)險(xiǎn)將是可管理的時(shí)候，才應(yīng)該開發(fā)強(qiáng)大的 AI 系統(tǒng)。這種信心必須得到很好的證明，并隨著一個(gè)系統(tǒng)潛在影響的大小而增加。OpenAI 最近在關(guān)于人工通用智能的聲明中指出，「在某個(gè)時(shí)刻，可能有必要在開始訓(xùn)練未來的系統(tǒng)之前進(jìn)行獨(dú)立審查，并對創(chuàng)建新模型所使用的計(jì)算速度進(jìn)行限制」。我們同意。現(xiàn)在就是那個(gè)時(shí)候。

因此，我們呼吁所有 AI 實(shí)驗(yàn)室立即暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 系統(tǒng)，至少暫停 6 個(gè)月。暫停應(yīng)該是公開和可驗(yàn)證的，包括所有關(guān)鍵角色。如果不能迅速實(shí)施這樣的暫停，政府應(yīng)該介入并實(shí)施停止令。

AI 實(shí)驗(yàn)室和獨(dú)立專家應(yīng)該利用這個(gè)暫停，共同開發(fā)和實(shí)施一套共享的安全協(xié)議，用獨(dú)立的外部專家嚴(yán)格審核和監(jiān)督。這些協(xié)議應(yīng)確保符合它們的系統(tǒng)是安全的，超越了合理懷疑的范圍。這并不意味著 AI 開發(fā)的總體暫停，而僅僅是從危險(xiǎn)的競賽中暫停，邁向更精確、更安全、更可解釋、更透明、更強(qiáng)大、更可靠和更忠誠的現(xiàn)有先進(jìn)系統(tǒng)。

與此同時(shí)，AI 開發(fā)者必須與決策者合作，大大加速健全 AI 治理體系的發(fā)展。這至少應(yīng)包括：新的、有能力的針對 AI 的監(jiān)管機(jī)構(gòu)，對高度能力的 AI 系統(tǒng)和大量計(jì)算能力進(jìn)行監(jiān)視和跟蹤的機(jī)構(gòu)；可以幫助區(qū)分真實(shí)和合成并追蹤模型泄漏的來源和水印系統(tǒng)；健全的審計(jì)和認(rèn)證生態(tài)系統(tǒng)；對由 AI 造成的傷害負(fù)責(zé)的責(zé)任制；強(qiáng)有力的公共資金支持技術(shù) AI 安全研究；以及處理對民主產(chǎn)生巨大經(jīng)濟(jì)和政治破壞的機(jī)構(gòu)。

人類可以享有 AI 帶來的繁榮未來。我們已經(jīng)成功創(chuàng)造出強(qiáng)大的 AI 系統(tǒng)，現(xiàn)在我們可以收獲回報(bào)，把這些系統(tǒng)設(shè)計(jì)為真正有益于所有人的系統(tǒng)，并給社會一個(gè)適應(yīng)的機(jī)會。社會已經(jīng)在其他可能對社會產(chǎn)生災(zāi)難性影響的技術(shù)上暫停了。在這里我們也能這樣做。讓我們享受長長的 AI 夏季，不要冒失地進(jìn)入秋季。

極客一問

你認(rèn)為有必要叫停 AI 研究嗎？