【編者按】2022年11月30日，可能將成為一個改變人類歷史的日子——美國人工智能開發機構OpenAI推出聊天機器人ChatGPT。它不僅催生了人工智能界的又一輪高光期，還并不常見地被譽為“蒸汽機時刻”、“iPhone時刻”甚至“鉆木取火時刻”。

這一年來，被稱為“生成式人工智能”的革命性技術激發了全球科技界“把所有軟件和硬件重做一遍”的沖動，讓具有先發優勢的AI基礎設施提供商價值暴漲，使得從醫療到航天的科學探索獲得被加倍賦能的前景，傳說中“奇點”的到來從未變得如此具有可能性。

正如歷史上任何一次技術變革，ChatGPT也給我們帶來了深深的焦慮。既有對AI威脅人類生存的科幻式恐懼，也有對砸掉我們飯碗、騙取我們錢財、操縱我們心靈的現實擔憂。連OpenAI自身，也剛剛經歷了一場危機，差點沒躲過一夜坍塌的命運。

這一年讓我們產生了更多疑問：大語言模型下一步的進化方向是什么？AI芯片短缺何時解決？訓練數據快要耗盡了嗎？中國的百模之戰會如何演化？AI技術發展應加速還是減速？AGI（通用人工智能）是否會存在其他形式？為此，我們邀請了2023年在AI賽道奔跑的業內人士回答這些問題，并提出他們自己的問題。如果你也有自己的回答或提問，歡迎告訴澎湃科技（www.thepaper.cn）。

算力與數據，是支撐大型語言模型發展的兩大基礎設施，類比發動機和燃料。生成式人工智能浪潮興起一年來，這兩個因素的重要性陡然提升，也凸顯出更緊迫的優化需求。

如果說OpenAI是這場浪潮的引領者，那英偉達就是獲得了最大實際利益的玩家。今年以來，這家AI芯片公司的股價已上漲241%，市值突破萬億美元，其領先市場的GPU（圖形處理器）和高性能計算設施被全球科技企業爭相搶購。“現在業內最好的（AI）芯片是英偉達的。”云知聲智能科技股份有限公司董事長兼CTO梁家恩告訴澎湃科技，盡管也存在一些挑戰者，但“英偉達的生態構建時間長，很多軟件和它適配”。

盡管“三年之內很難出現能挑戰英偉達的玩家”，但北京開放傳神科技有限公司（OpenCSG）創始人兼CEO陳冉對澎湃科技表示，“國內同類別的一些高性能芯片已經可以達到美國廠家60%左右的性能，現在已經解決了一部分高性能AI芯片短缺的問題。”梁家恩也有類似看法，“國內能夠頂上的是華為昇騰，可用問題目前不大。”信也科技副總裁、大數據及AI負責人陳磊認為，國內芯片離英偉達同等芯片還有一定距離，但不是趕不上，應該還需要一些調優空間。

在AI芯片短缺的同時，一個更長遠的問題也被負責任地提起。上海市數據科學重點實驗室主任、復旦大學教授肖仰華指出，當通用人工智能大規模應用之后，它在應用階段的算力將會成為不可忽視的能耗來源，其帶來的能源消耗及相應的環境保護問題，必須受到高度關注。“某種程度上我們可以把它歸結為AI對人類能源的一種侵噬，這有可能會成為AI進一步發展的制約性因素。”

有限的不僅是能源，還有數據。今年7月，加州大學伯克利分校計算機科學教授、《人工智能——現代方法》作者斯圖爾特·羅素（Stuart Russell）發出警告稱，ChatGPT等人工智能驅動的機器人可能很快就會“耗盡宇宙中的文本”。研究機構Epoch估計，機器學習數據集可能會在2026年前耗盡所有“高質量語言數據”。

對此，北京智譜華章科技有限公司（智譜AI）CEO張鵬認為：“并不是說數據完全耗盡了，數據的生成速度是越來越快的，呈現爆炸式增長，怎么把快速增長的數據都利用起來，是未來要研究的。”

英矽智能聯合首席執行官兼首席科學官任峰向澎湃科技表示，數據的數量只是一個方面，更重要的是質量。螞蟻集團副總裁、金融大模型負責人王曉航也認為，數據質量比規模數量更重要，而要達到高質量的數據，還是要跟產業合作。

“有一種說法是預計2025年左右，全世界50%左右的數據會來自感知和傳感等IoT（物聯網）數據，這部分數據基本上沒有被使用，又蘊含著現實社會中的大量知識，能產生新的能力。”王曉航談到了對高維度數據的挖掘。

而對于合成數據的利用，肖仰華表示，利用人類已經積累的科學原理去指引相應的數據生成，然后再將這種數據喂給大模型，使其形成一種近乎人類直覺的判斷和生存能力，是一個非常重要的趨勢。

以下為采訪實錄，因篇幅原因有刪減：

大模型的訓練數據快要耗盡了嗎？

澎湃科技：預計大模型訓練什么時候會用完現有數據？

陳磊（信也科技副總裁、大數據及AI負責人）：根據研究機構的分析，從文本的大模型來說，高質量數據可能在2026年耗盡，這是根據前兩年大模型使用的token（注：在AI領域token通常指文本處理過程中的最小單位）的數量，以及現在高質量數據的來源做的簡單測算。

張鵬（北京智譜華章科技有限公司CEO）：互聯網這幾十年發展積累的數據，已經公開的基本上都用到了，剩下的數據還有很多沒有公開或者有版權約束。并不是說數據完全耗盡了，數據的生成速度是越來越快的，呈現爆炸式增長，怎么把快速增長的數據都利用起來，是未來要研究的。

陳冉【北京開放傳神科技有限公司（OpenCSG）創始人、CEO】：這個問題就像人類對宇宙的探索是否會終止一樣？不會。數據會不斷涌現出來，而且很多數據沒有數字化。

王曉航（螞蟻集團副總裁、金融大模型負責人）：與其問什么時候用完現有數據，不如說如何廣泛挖掘和利用多模態等更高維度的數據，這些多模態數據不只是視頻，還有跟世界互動的數據。有一種說法是預計2025年左右，全世界50%左右的數據會來自感知和傳感等IoT（物聯網）數據，這部分數據基本上沒有被使用，它又蘊含著現實社會中的大量知識，能產生新的能力。其次是產業怎么參與進來，每一個大產業都有至少千億級token的高質量數據，如何高質量萃取數據、注入、跟應用場景連接，是下一個階段的發展方向。

梁家恩（云知聲智能科技股份有限公司董事長兼CTO）：“用完”是個偽命題，我們在互聯網上不可能抓到所有數據，也就談不上“用完”。全網能獲取的高質量公開數據，大部分已經喂到模型里了，企業內部存儲的數據通常都無法獲取，獲取不到就談不上“用完”。“用完”的概念還不如換成“用好”。

任峰（英矽智能聯合CEO兼首席科學官）：這要看研發什么樣的模型。在生物醫藥領域，比如要做靶點發現，這個數據目前來看是夠用的。難點在于驗證，即我們需要很長時間去驗證數據有效性。

同時，數據的數量只是一個方面，更重要的是數據的質量。我們在收集生物醫藥中專門領域的數據方面都有專門的團隊，叫做數據清洗團隊，他們會將質量不好的數據或不符合要求的數據刪除。如果摻雜著很多錯誤數據，模型生成的結果精度就比較低，甚至說生成的結果就是錯誤的，某種程度上對我們而言就是不能接受的，這可能跟一般的大語言模型不同。

目前我們的數據來源主要是文獻、專利和一些公開的數據庫，有時候也可以買一些數據庫。以后我們希望可能有來自醫院的數據，每個醫院都有自己的數據，但這些數據不會被開源。如果有朝一日有比較好的機制，醫院能夠把數據對外開放的話，整個數據量跟現在相比就會不在一個量級，但是現在還沒有辦法完成這樣的開放。

澎湃科技：讓AI生成數據去喂養大模型現實嗎？

王鳳陽（百度集團副總裁、移動生態商業體系負責人）：實際上，大家已經在這么做了。因為在大模型已經有邏輯推理和生成能力以后，它本身就是一個很好的輸入。

王曉航：這已經在做了，有高級版和初級版。高級版就是數據耗盡以后怎么合成數據達到同樣的高質量，包括OpenAI也在做。國內百模大戰的很多數據都來自一流大模型，GPT是世界上最大的打標工廠，但問題是限制了下游模型的天花板，造成模型坍塌現象。

陳磊：有些公司已經在做這件事了，一般的方向是用一個比較好的大模型或規模更大的大模型生成數據，經過人工調整，再喂給稍微小一點的模型，降低訓練成本。這里面很大的一個問題就是，怎樣保證AI生成數據的質量，這也是有大量的技術門檻。有一些論文在討論怎么形成比較好的數據，這有待時間檢驗。最怕的是Garbage in garbage out（無用輸入無用輸出），最終模型退化、崩潰。

張鵬：學術界有在思考，也在研究。之前有研究說，當用模型本身生成的數據來訓練模型時，會導致模型坍縮。但研究上也沒有把這種說法板上釘釘釘死。

陳冉：這個問題可以這么問，什么時候讓AI生成高質量的數據，使得大模型訓練不需要找外部的數據。如果這么問，我覺得很難。因為給大模型灌的數據是有限的，各行各業的核心競爭力是自己的數據。所以誰會把數據喂給大模型讓它學會這個領域？我覺得大家會慢慢意識到，誰都不想往大模型灌數據了，因為大家都想各自活出來。

肖仰華（上海市數據科學重點實驗室主任、復旦大學教授）：我認為合成數據實際上是指，在相應的原則和規則指引下生成的數據，比如遵照特定物理數學規律生成的數據，像根據勾股定律生成符合勾股定律的數據，這種數據對于煉制大模型的數學思維、物理思維、專業能力都非常重要。所以讓大模型去認知這種人類已經在自然學科積累的各種專業知識非常重要。

事實上人類的認知一直有“系統1”和“系統2”的說法。系統1主要實現直覺思維，系統2實現符號化的邏輯思維，這也是很多專業工作開展過程中所依賴的思維方式，大模型目前在這種思維方面的能力仍然有局限，所以利用人類已經積累的科學原理去指引相應的數據生成，然后再將這種數據喂給大模型，使其形成一種近乎人類直覺的判斷和生存能力。這是一個非常重要的趨勢，甚至有可能讓大模型具備人類大腦系統2的符號思維、邏輯思維能力的關鍵一步。

梁家恩：至少我們的語音合成出來以后再去反哺我們的語音識別是有幫助的。我相信類似的情況在視覺方面應該也會有幫助，因為AI能生成的數量太大了，它比標簽數據規模更大。AI生成數據更大的作用在于幫我們提升稀疏樣本的覆蓋度，而不是提升質量。

比如在聲音識別中，有些詞文本里有，但網上從沒人說過，如果用不同音色合成出來，就相當于提前看到了生僻詞，用AI生成數據覆蓋這種詞語是有幫助的。但利用AI生成高頻數據，無論輸出語言、文本或知識，我覺得不會有太大幫助，甚至可能有負面作用。

澎湃科技：如何讓更多高質量數據變得可用？

王曉航：今天，數據質量比規模數量更重要。中文世界的金融數據大致在2000多億token量級，我們自己獲取了內外部的私域公域數據是1700多億左右token，但經過萃取、去重、質量篩選后，我們認為能夠達到應用標準的只有170多億token。每個產業都是這樣的，要達到高質量的數據，還是要跟產業合作。所以OpenAI征求產業深度合作伙伴，走得非常正確，因為沒有辦法用通用的方式去理解專業領域的數據質量的高與低。

未來最重要的一個方式是怎么讓現實世界中復核和驗證的數據源能夠參與到語料數據的生產或處理中，在良莠不齊的數據中幫助我們更好把握哪些數據源是更加可信的。比如判斷分析師的水平，就是看他的預測跟市場發展的一致性有多高。所以怎么把現實世界中對數據質量的反饋融入到數據體系里，長期來說這是非常重要的。

肖仰華：未來，一方面是要將更多廣泛存在的低質量數據轉變成高質量數據；另一方面，從可用性的角度，現在能用的數據大部分是開放數據，未來在經過合理授權、合法數據交易的前提下，使用更多高質量的私域數據來煉制大模型。比如圖書館的圖書數據在相應的版權許可下，就有可能成為大模型煉制非常重要的數據來源，還有媒體數據，尤其是主流媒體高質量的數據，都值得煉制大模型的相應能力。

梁家恩：好數據是高質量且多樣化的。先判斷哪些數據是高質量，哪些質量不高，質量不高的數據放進去反而有害。我們要適應全網各種各樣的數據，哪怕它本身是垃圾數據。所以我們內部也會用一些策略做數據優選，通過滾動迭代的方式選擇更好的數據。

陳磊：第一，通過互聯網方式獲得的公開數據差異性不大，收集全面、完整性好的數據是關鍵。第二，收集的數據質量參差不齊，不可能把所有互聯網數據都放在模型里，按照什么標準篩選數據，同時在一定范圍內對數據進行加工和清洗，這有較大技術門檻，比數據采集難度更高。第三，未來數據怎樣實現共享也是一個大話題，世界的知識就那么多，沒有必要所有人都去清洗數據。

張鵬：這是一個綜合性問題，不光是怎么獲得數據，還涉及到知識產權保護、隱私等，需要監管部門、企業、個人等一系列社會群體共同商量。只要大家認識到這個問題，愿意解決這個問題，就有可能坐下來談。如果是技術性問題，就解決技術性問題，比如怎么用隱私計算或者聯邦學習解決數據保密和聯合學習問題。如果是監管或社會性問題，就通過法律法規約束。

陳冉：什么時候大家對數字化轉型了解得很完整，什么時候國家監管非常透明，什么時候大家有非常好的工具，什么時候有非常好的上下游數據生態，高質量數據就變得可用了。

澎湃科技：未來一年，Web 3.0在支撐大模型數據上會有什么重要進展？

陳冉：雖然區塊鏈解決了貨幣、數字、唯一性問題，但人類一直沒有融入元宇宙。人類也是數字體，我們去醫院看病會把數據下載下來，去消費會把使用習慣下載下來，怎么讓元宇宙或Web 3.0把這些元素貫通，形成聯系？我認為未來每個人有可能由一個或多個模型組成，所以什么時候多個模型組成人類唯一實體并在元宇宙里出現，元宇宙有可能會重新爆發，軟件定義一切才能實現。

陳磊：Web 3.0場景里的數據可能能夠支撐大模型特別是多模態大模型的訓練。另外大模型在Web 3.0里的應用值得期待，特別是智能體的出現能夠讓我們的很多應用變得很不一樣。

梁家恩：不管底層支撐是什么，本質上還是看數據。我們關注的是，在Web3.0中，可能未來優質的多模態數據會更多，目前更多的還是以文本為主導，多模態數據質量參差不齊。

澎湃科技：對于大模型在數據方面面臨的挑戰，你最想知道答案的一個問題是什么？

王曉航：比較系統和公認的數據質量分級標準是什么？怎么判斷數據好與不好，能不能建立一個公認可行的規范和機制。每個行業有各種各樣的標準，對于純粹依賴數據的大模型技術，有沒有科學的方式對這些語料和數據按照質量進行評級？

陳冉：灰色地帶的數據的定義是什么？搞清楚這個問題，生產力有可能會形成質的改變。

陳磊：未來模型跟模型之間的交互、模型之間數據的交互到底應該是什么樣？比如中文世界的大模型跟英文世界大模型怎樣交互。

梁家恩：大家越來越注重數據了，但數據標準化、安全、產權規則現在還不清楚，這會成為利用數據的障礙，數據利用成本也高。這個問題怎么解決？

英偉達會一家獨大多久？

澎湃科技：何時能解決高性能AI芯片的短缺問題？

梁家恩：我們目前做千億級參數的模型是夠用的，后面要看業務需求，業務擴張會需要更多算力。現在業內最好的芯片是英偉達的，國內能夠頂上的是華為昇騰，可用問題目前不大。我們有一部分工作在軟件上完成，通過軟件優化芯片的利用效率，我們在英偉達A800的利用率上可以做到60%左右，同樣的硬件情況下，有更好的計算能力。

陳冉：中美在生成式預訓練模型方面的芯片代差不止一兩年。中國能否造出高性能AI芯片，答案是肯定的。放眼歷史，解決生產力問題的是市場，如果有廣大的市場需求，解決AI芯片就是時間問題。我們現在跟國產AI芯片合作，國內同類別的一些高性能芯片已經可以達到美國廠家60%左右的性能，現在已經解決了一部分高性能AI芯片短缺的問題。

陳磊：我也沒有特別好的預判。我們采購GPU的挑戰還比較大。但有兩點，第一，現在AI芯片整體產能短缺，臺積電前段時間也說封裝產能不夠，從全球來講可能要一年半以后，產能才能跟上客戶的需求。第二，從長期來講，AI芯片的采購慢慢會回歸到合理的市場行為。

另外國內的芯片也在發展，美國的禁令客觀上也給國內企業帶來了新機遇。國內的AI芯片都是未來可能的一些選項，我們也做了相關的測試，發現性能還不錯，離英偉達同等的芯片還有一定距離，但不是趕不上，應該還需要一些調優空間。

澎湃科技：到什么時候會出現真正能挑戰英偉達的玩家？

陳磊：短期挺難，除了硬件，英偉達的軟件生態已經積累了比較大的壁壘。但長期來看，有一些玩家可能會對它的市場占有率造成一些影響，比如美國的AMD，AMD的消費級芯片市占率不錯，數據中心的占有率相對較低，如果把消費級的能力在數據中心上延展，應該是有機會的。另一個可能的玩家是谷歌，谷歌的TPU（張量處理器）未來只要愿意走自由化的支持路線，也會對英偉達有影響。

梁家恩：單從算力和硬件指標來說，AMD的MI300X算力也不差。但英偉達的生態構建時間長，很多軟件和它適配，軟件遷移會有一些隱性成本。

陳冉：在國外，微軟、谷歌、AMD、英特爾都想吃這個蛋糕，玩家早已出現。在國內，三年之內很難出現能挑戰英偉達的玩家，但可以拭目以待。

澎湃科技：除了GPU，AI芯片還有其他路線嗎？

陳冉：可以通過GGML（張量庫）等軟件技術，用CPU做大模型推理。因為GPU太貴，使用成本非常高，很難實現業務轉型。除了CPU，還有TPU。路線肯定會越來越多，唯一的目的是降本增效，讓普適的硬件通過軟件方式達到同樣效果。

陳磊：沒有GPU的時候，有的場景用CPU也能跑。有段時間FPGA（現場可編程邏輯門陣列）也是一個選項，可以用在特定場景。回到大模型，有TPU、NPU（嵌入式神經網絡處理器）。NPU是更貼近深度學習的AI芯片。未來量子計算涉及到的組件也有可能在AI領域使用，不過短期內商業應用會有些挑戰。

梁家恩：存算一體大家看得比較多，但離量產還有距離。量子計算也還在實驗階段，商業化還需要時間。

澎湃科技：邊緣計算或終端計算在未來一年的發展趨勢是什么？

梁家恩：邊緣計算的芯片現在沒有限制，未來把一部分不復雜的計算移到邊緣端來做，讓邊緣側支持大模型計算，應該也是大勢所趨，高通已經做了一些工作。

陳冉：大模型以后肯定是普適、平民化的，大眾都可以具備。大模型真正服務于個人時，還是要回歸帶寬、算力服務距離，已經有一些廠家開始做邊緣計算的大模型解決方案了。我覺得明年中就會有基于大模型的方案應用到PC等個人終端上，未來邊緣計算跟大模型的結合是大趨勢。

陳磊：這兩個不是新概念。從商業應用角度講，未來云邊端的協同發展可能會更順暢。現在建了大量數據中心，也是希望把適合集中式計算的和適合端側計算的做一些分離。大模型出現以后，這一塊的發展可能會更加迅速。

我們也看到一些大模型玩家把大模型往移動端做壓縮和裁剪，未來可能在端側計算能力下也能跑一些大模型應用，帶來交互上的提升，出現新的應用，這可能是大模型對邊緣計算和終端計算帶來的一些新范式。

當然還存在挑戰，比如終端的計算能力能否和大模型裁剪以后的計算能力匹配、精度損失如何控制、怎么和云端做交互，現在還處于原型驗證階段。

澎湃科技：如何解決高算力帶來的能源消耗與環保問題？

陳冉：H100升級到H200的過程中，能耗降低了。另一個趨勢是實際能耗跟外部環境相關，比如機房的溫控和散熱。所以首先從模組和算子下功夫，另外從數據中心上解決能耗和環保問題。但很難說把一個模組降低到非常低的能耗，它畢竟要計算，要耗電。

陳磊：我們可以把大模型足夠壓縮，讓算子效能足夠高，從本質上讓大模型需要用到的算力變得更低，這是一種可能的方式。第二種方式是在硬件層面做低功耗、高散熱處理。第三，不要一味追求每個應用都用大模型來做，還是要根據不同場景來平衡精度和能效，有的場景用大模型，有的場景用小模型，讓整體能耗下降，這是更經濟的方式。可以把有的場景用大模型和小模型都做出來做比對，觀察資源的使用情況。從算法本身角度來講，大模型更適合解決通用問題，小模型適合解決細分場景問題。當然也有一些場景會有小模型調用大模型、大模型調用小模型的情況。第四，從更大的角度來說，以前講數據孤島，現在有資源孤島，怎樣把資源統一起來集中化管理，根據彈性按需使用，這也是一個比較好的方式。但我們從企業角度來講，前面三個方式可能會更容易做到。

肖仰華：AI算力的能源消耗已經成為了未來AI治理中的一個非常核心的問題。

目前全球最高端的算力基本上都用在了大模型的訓練中，隨著大模型需求的日益廣泛，可以預見未來將會有更多的算力投入AI訓練和應用過程中。當通用人工智能大規模應用之后，它在應用階段的算力也將會成為不可忽視的能耗來源，所以其帶來的能源消耗問題及相應的環境保護問題，必須受到高度關注。

某種程度上我們可以把它歸結為AI對人類能源的一種侵噬，這有可能會成為AI進一步發展的制約性因素。因為除了發展AI之外，人類仍然有很多問題要解決，比如出行需要能源、太空探索也需要消耗很多能源，所以將來AI對能源的搶占將成為一個日益突出的問題，而且這個問題可能會被隱藏在 AI社會治理各種表象問題的背后。事實上各大廠商在資本逐利的利益驅動下，一定是會不計成本加大對大模型的研發，所以我認為這個問題將會日益突出。

這是一個全社會將來要從方方面面重視的問題。首先企業應該將AI的能耗控制及相應的環保問題作為企業社會責任、環境保護治理的核心新內涵之一。其次，每一個人要充分意識到AI帶來的環保問題。第三，政府應該把AI的能源消耗和環境問題納入AI治理的范疇之內。目前這個問題談的比較少，AI治理更多還是解決其對社會經濟結構、個人價值體系等方面的影響，所以AI能耗問題需要引起足夠重視，同時要積極采取措施。

澎湃科技：對于大模型的算力支撐，你最想知道答案的一個問題是什么？

陳磊：適用于大模型的AI芯片架構到底是什么樣的？因為現在比較大的問題是大模型越來越大，對芯片內存要求越來越高。解決內存問題有兩個路徑，一是存算一體，二是把多個芯片結合起來變成一個大集群。但還是比較希望知道最終優秀的AI芯片架構到底是什么樣的。

梁家恩：下一代芯片架構的新設計思路何時能成熟商用？從存算一體或量子角度來看，未來應該怎么做來突破現在芯片的能耗和物理邊界。因為如果按照現在的方式來做，能耗越來越高，工藝接近硅原子的極限。

陳冉：量子計算能否跟大模型結合？如果通過量子計算，GPU有可能被淘汰。下個時代怎樣能夠幫助大模型實現質變，有可能到GPT-5甚至GPT-6就可以通過量子計算機實現了。