IT之家 12 月 19 日消息，開發了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防備（Preparedness）”團隊，旨在監控旗下技術可能帶來的潛在威脅，防止其落入壞人之手，甚至被用于制造化學和生物武器。

該團隊由麻省理工學院人工智能教授亞歷山大?馬德里 (Aleksander Madry) 領導，將招募人工智能研究人員、計算機科學家、國家安全專家和政策專家等，對 OpenAI 開發的技術進行持續監測和測試，一旦發現任何危險苗頭，及時向公司發出警告。

OpenAI 周一發布了名為“防備框架”（Preparedness Framework）的指導方針，并強調這套指南仍處于測試階段。

據悉，防備團隊每月將向一個新的內部安全咨詢小組發送報告，該小組隨后將對其進行分析，并向 OpenAI 首席執行官薩姆?阿爾特曼和董事會提交建議。阿爾特曼和公司高層可以根據這些報告決定是否發布新的 AI 系統，但董事會有權撤銷這一決定。

防備團隊將反復評估 OpenAI 最先進、尚未發布的 AI 模型，根據不同類型的感知風險評為四個等級，從低到高依次是“低”、“中”、“高”和“嚴重”。根據新的指導方針，OpenAI 將只推出評級為“低”和“中”的模型。

OpenAI 的“防備”團隊介于兩個現有團隊之間：負責消除 AI 系統中種族偏見等現有問題的“安全系統”團隊，以及研究如何確保 AI 在超越人類智能的未來場景中不會傷害人類的“超級對齊（Superalignment）”團隊。

IT之家注意到，ChatGPT 的火爆以及生成式 AI 技術的快速發展引發了科技界關于該技術潛在危險性的激烈討論。來自 OpenAI、谷歌和微軟的知名 AI 專家今年警告稱，該技術可能對人類構成與流行病或核武器相當的生存威脅。其他 AI 研究人員則認為，過度關注這些遙遠的巨大風險，忽視了 AI 技術目前已經造成的潛在危害。也有一些 AI 商業領袖認為，關于風險的擔憂被夸大了，公司應該繼續推進技術發展，造福社會并從中獲益。

OpenAI 在這場辯論中采取了較為折中的立場。首席執行官薩姆?阿爾特曼 (Sam Altman) 承認該技術存在嚴重的長期風險，但也呼吁人們關注解決現有問題。他認為，監管不應該阻礙小型公司在 AI 領域的競爭。同時，他也推動公司實現技術商業化，籌集資金加快發展。

馬德里是資深 AI 研究人員，曾在麻省理工學院負責可部署機器學習中心，并共同領導麻省理工學院 AI 政策論壇。今年他加入了 OpenAI，但在阿爾特曼被董事會解雇后，曾與少數 OpenAI 高管一道辭職，五天后當阿爾特曼復職時，馬德里回到了公司。OpenAI 由一個非營利董事會管理，其使命是促進 AI 發展并使其造福全人類。在阿爾特曼復職后，三名解雇他的董事會成員辭職，目前該組織正在遴選新的董事會成員。

盡管領導層經歷了“動蕩”，馬德里表示，他仍然相信 OpenAI 董事會認真對待 AI 的風險。

除了 AI 領域的人才，OpenAI 的“防備”團隊還將招募來自國家安全等領域的專家，幫助公司了解如何應對重大風險。馬德里表示，團隊已經開始與美國核安全局等機構進行接觸，確保公司能夠適當地研究 AI 的風險。

該團隊的重點之一是監控 OpenAI 的技術何時以及如何引導人們進行計算機入侵或制造危險的化學、生物和核武器，超出人們通過常規研究可以在網上找到的內容。馬德里正在尋找這樣的人才：“他們會深入思考，‘我如何突破這些規則？我如何成為最機智的反派？’”

OpenAI 在周一的一篇博客文章中表示，公司還將允許來自 OpenAI 之外的“合格的獨立第三方”測試其技術。

馬德里表示，他既不同意那些擔心 AI 已經超越人類智能的“末日論者”，也不同意那些希望移除所有 AI 發展障礙的“加速主義者”。

他說：“我真切地認為，將發展和抑制截然分開是一種非常簡單的劃分方式。AI 擁有巨大的潛力，但我們也需要努力確保這些潛力得以實現，并且最大程度避免負面影響。”