我們正邁入部署 AGI的階段 | OpenAI 首席科學家對話實錄

4月9日，OpenAI 首席科學家 Jakub Pachocki 接受海外播客Unsupervised Learning的訪談。本次對話深入探討了OpenAI 從學術實驗室向 AGI 部署實體轉型的路徑，模型在數學與科學研究領域的推理突破、強化學習向法律與醫學等復雜領域的泛化路徑、長程智能體的實現路徑、思維鏈監控在對齊安全中的底層邏輯，以及AI 自動化對社會治理與教育體系的沖擊等話題。

Jakub Pachocki 指出，編程工具 Codex 的大規模應用已驗證了當前研發路線的正確性。他認為衡量 AGI 進展的核心指標在于系統能夠自主運行的時間跨度以及處理任務指令的模糊度，目前技術已具備整合核心組件以實現特定技術任務自動化的能力。

持續學習并不是被主流路線忽視的孤立問題，其本質早已內化在 GPT 模型的上下文學習能力中。他認為通過強化學習提升模型在上下文中的學習效率，并依靠規模效應驅動改進，依然是實現持續學習最有效的路徑。

針對 AI 安全與對齊，Jakub 指出，OpenAI 堅持在產品中隱藏思維鏈是為了給模型保留私密思考空間。他認為，如果不通過人工干預或對齊訓練去破壞思維鏈的原始邏輯，研究人員就能通過監控自然語言形式的推理過程來識別模型的真實動機與泛化邏輯，從而在模型具備共謀能力前建立有效的防御機制。

他預測，能夠自主工作數日、消耗高額算力并獨立交付高質量成果的AI大模型很快就會出現。隨著智力勞動實現自動化，社會將面臨技能貶值的挑戰。

01

編程工具的爆發驗證了 AGI 路線圖

四個月前，OpenAI 曾提出在 2025 年 9 月前開發出具備研究實習生水平的系統，并在 2028 年實現完全自動化的 AI 研究員。如今四個月過去，結合當前編程工具（如 Codex）的爆發式增長以及數學研究能力的突破，你對這個時間表有何更新？此外，如何界定“研究實習生”與“自動化研究員”的具體工作流差異？

Jakub Pachocki：過去幾個月最顯著的變化是編程工具的爆發式增長。這確實是一個保守的說法。在OpenAI 內部，大部分實際代碼編寫已經交給了 Codex。我認為對于大多數人來說，編程的范式已經發生了巨變。這對我來說是一個明確的信號，表明我們的路線完全正確。

另一個非常重要的進展是數學研究能力的突破，以及我們在物理等領域看到的成果。這種提供深刻見解的能力，結合調用基礎設施的能力、在推理階段利用更多算力的能力，以及我預期在未來幾個月內通用智能的顯著提升，這些都是我們目前正全力以赴的目標。

區分研究實習生和完全自動化研究員的關鍵在于兩點：一是系統能夠自主運行的時間跨度，二是任務指令的明確度。我不認為今年就能出現那種你只需下達“去提升模型能力”或“去解決對齊難題”這種宏大指令就能自動執行的系統。這可能還需要一段時間。但對于更具體的技術任務，比如“我有一個改進模型的特定想法”或“如何優化這套評估流程”，我們已經掌握了大部分核心組件，現在只需要將它們有機地整合在一起。

Andrej Karpathy 之前發布了一個反響很大的演示，展示了如何利用這類模型去改進一些簡單的模型。這是否代表了這類工具未來的發展方向？

Jakub Pachocki：這非常符合我們的預期。我認為未來會看到從現在的Codex 向更高自主性、更長運行時間的持續演進。我們會看到大量此類應用，AI 在不同領域將展現出更強的自主能力和更高的算力消耗。

02

數學是衡量智能的通用指標

數學和物理的進展如何轉化為AI 研究的通用能力？既然強化學習在數學和代碼等易驗證領域取得了成功，那么在法律、醫學、金融等驗證機制不那么純粹的領域，是否也會迎來類似的爆發？

Jakub Pachocki：聚焦數學基準對我們而言，最大的意義在于它是一個衡量技術進步的通用指標和核心指引。數學的可度量性極強，判斷一個數學題是否解對，比判斷一段代碼是否優秀要容易得多。同時，數學的上限極高，有些問題雖然評判標準明確，但解題難度卻可以無窮大。不久前，我曾認為模型只能解決簡單的數學題，無法觸及國際數學奧林匹克競賽級別的題目。這說明模型在智能上存在一個非常明確且可衡量的差距。這正是我們研發推理模型的明確指向。

現在，情況發生了顯著變化。我們已經實現了國際數學奧林匹克競賽金牌水平、攻克了第六題，并開始涉足研究級數學。繼續衡量這些指標依然極具價值，因為數學推理能力的提升可以直接轉化為 AI 研究能力的提升。畢竟，我們許多頂尖研究員本身就是數學家或理論物理學家。但我們思考核心指引的方式也在發生轉變。我們現在更關注下一代模型在現實世界中的實用性。不僅是對 AI 研究有用，還要對具有經濟價值的活動和科學應用領域產生影響。這種轉變源于我們的信念，模型現在已經足夠強大，雖然還沒在所有方面超越人類，但已經足以實質性地改變經濟運行和科研模式。我們對此有一種強烈的緊迫感。

（關于其他領域的泛化）我完全持樂觀態度。我們常思考一種二元性，那些難以評估的通用任務，實際上與長程任務有很多共同點。即便是一個目標明確的數學或編程課題，如果你需要為此工作一年，那么第一天該做什么依然是一個開放式的問題。我相信這些挑戰是交織在一起的，它們正是系統演進的下一個前沿。我們已經在通用領域擴展強化學習的能力上看到了鼓舞人心的跡象，這些方向顯示出巨大的潛力。

Jacob Effron：如果在法律或醫學領域無法通過成千上萬次的迭代來驗證正確性，研究該如何推進？

Jakub Pachocki：這又回到了如何讓AI 長期工作以及如何教會 AI 評估階段性進展的二元性上。即便不看強化學習，隨著模型在預訓練中的一致性不斷增強，它們對什么是優秀的階段性產物已經有了一定的直覺。即便不大幅擴展強化學習，我們也會看到 AI 處理任務的時間跨度在拉長。如何將強化學習的新思路應用于通用領域確實是研究挑戰，但我非常樂觀。

03

AI 與人類協作的終極交互界面會如何演化？

目前許多企業在糾結是該利用開源模型和自有數據進行強化學習微調，還是等待基礎模型增強？既然Codex 在編程領域如此成功，各行業是否需要建立特定的評測工具集，還是復用大模型的通用框架？此外，隨著 AI 技能的增加，你認為 AI 與人類協作的終極交互界面會如何演化？

Jakub Pachocki：強化學習確實是提升模型特定任務效率的一種方式。但我們知道另一種更高效的學習方式，即上下文學習。這是最基礎的教學方式，給示例，給指令。這種能力會越來越強。讓AI 適應你的特定上下文和任務類型至關重要，但我并不確定直接復制現有的強化學習流程是最佳路徑。這是我們正在深入思考的問題。

（關于評測體系建設）評測工具集的實現不應成為限制。未來會出現適用于各領域的通用框架。事實上，Codex 在編程以外的領域表現也相當不錯。通用的評測工具集意味著它能自適應不同的工具集和領域需求。

（關于交互界面演進）我們也該思考終極的交互界面是什么。AI 具有定義用戶界面的新能力，它們可以構建自己的界面，完成那些人類覺得耗時的任務。同時，讓 AI 能夠使用人類現有的界面也大有可為。比如在 Slack 上運行 AI，讓它接入我們的上下文并利用現有工具學習。這中間會有某種折中，但長遠來看，AI 應該主動適應人類工作環境。如果它沒有這樣做，那應該是出于它擁有了更高級的能力，而非受限于技術瓶頸。

04

未來的研究組織會發生什么變化？

在研究層面，哪些里程碑是你目前最關注的？你現在幾乎是將AI 當作研究伙伴在合作，這種模式下，未來的研究組織會發生什么變化？在管理機構時，面對這種智能飛躍，你如何調整管理直覺以平衡長遠構思與當下重點？

Jakub Pachocki：目前核心是研究。AI 能否發現新事物？能否獨立執行長周期的研究課題？甚至現在的 GPT-4 在內部使用時，已經能給出一些雖小但極具啟發性的想法了。但這與我的長遠目標相比，還只是冰山一角。

我們正處于一個轉折點。模型的即時質量將直接決定我們科研的步調。這需要我們重新調整管理研究組織的直覺。過去習慣于不看短期、專注長期，但現在，我感到一種強烈的緊迫感，必須迅速執行并利用這些智能飛躍，來加速 AI 研究，尤其是對齊研究。這確實是我們現在與 Mark 投入大量精力處理的核心課題。

05

算力分配與產品競爭的邏輯

在預訓練、強化學習以及各種新路徑實驗之間，你是如何決定算力分配優先級的？回顧過去一年，編程能力成為攻堅重點，你怎么看待Anthropic 在該領域的先發優勢以及 OpenAI 在產品重心上的調整？

Jakub Pachocki：（關于算力優先級決策）這確實非常復雜，因為我們要處理的事情太多了。我們現在堅持的一項紀律是，確保將大部分算力預算明確分配給那些最具擴展性的方法，即我們認為對提升模型通用智能貢獻最大的領域。即便這在某些時刻并不是算力分配最高效的方式，但如果你將大量算力投入到一個或一組實驗中，勢必會擠占那些能用少量算力就獲得快速進展的項目。然而面對眾多有趣且重要的方向，如果不加克制，很容易陷入資源的零散交換，最終導致無法在最重要的目標上達成突破。我們非常看重實證結論，確保評估體系和實驗的嚴謹性。在確定優先級時，我們會考慮幾個維度：我們是否真正理解這種方法，它是否具備可擴展性，它能否成為未來技術棧的基石，還是僅僅一個孤立的嘗試，我們會基于這些考量來確定優先級。

（關于競爭與產品邏輯）我認為這主要在于是否將產品方向聚焦在你認為技術下一步該落地的應用上。從我們的產品優先級來看，雖然我們一直在研發編程產品，但與核心任務相比，它們一直處于次要位置。有趣的是，這并不能完全代表 OpenAI 內部研究部門的優先級。鑒于 ChatGPT 在 2023 年取得的爆發式成功，雖然它還會繼續大幅進化，但這個特定產品確實非常契合我們對 AI 發展方向的愿景，只是它并不能代表 AI 所開啟的所有可能性。研究部門的大部分工作都聚焦在未來更深遠的領域，并逐漸與短期產品策略脫節。我對我們在研究和模型智能方面的積累充滿信心。我們現在之所以在產品端重新調整重心并加大投入，是因為我們堅信這些技術已經到了可以大規模部署并產生核心價值的時刻。

06

軟件工程的未來與持續學習本質

在未來三到六個月，開發者使用Codex 的方式將發生哪些變化？在 AI Agent 時代，如果模型能自主工作數日并交付成果，軟件工程背景是否依然是必需的？此外，如何看待當前許多新實驗室將“持續學習”視為繞過強化學習實現突破的核心路徑？

Jakub Pachocki：我預計用戶對AI 自主權的接受度會逐漸提高。模型能處理更模糊的需求描述，所需的監督也會變少。我認為，能自主工作幾天、消耗比現在多得多的算力并獨立交付高質量成果的模型，很快就會出現。

（關于專業背景的需求）對于許多產出環節，確實已經不再需要太深厚的專業經驗。但在實習生與能夠獨立工作的研究員或軟件工程師之間，核心區別在于，如果你想構建更龐大的系統，仍然需要進行全局監督。你需要具備大局觀，判斷哪些模塊是契合的。因此，我預計人才的需求將轉向這種更通用的愿景設定和架構設計能力。

（關于持續學習的本質）我其實有點困惑。因為在我看來，哪怕看 GPT-3 論文的標題也能發現，這類模型的核心能力就在于它們能夠進行持續學習，即在上下文中進行學習。這是我們不斷擴展 GPT 模型的核心動力，也是我們為什么需要用強化學習教它們更高效地在上下文中學習的原因。所以我完全同意持續學習是核心，它正是我們正在構建的東西，我不認為這是一個被忽視或者偏離主流路徑的問題。這是目前我們在這個問題上取得最大進展的方式。未來會有更多新想法和步驟，但很多改進最終還是會由規模效應驅動。

07

模型自檢能力的提升與環境交互是攻克長任務的關鍵

面對100 步以上的復雜長任務，目前模型失效的瓶頸在哪里？要實現長程任務的突破，除了增加模型自檢頻率，還需要滿足哪些條件？從推理模型到使用工具，再到控制物理實體的演進邏輯是什么？

Jakub Pachocki：這種信心很大程度上源于對歷史進步曲線的觀察。我們現在已經能大致看到未來的輪廓。我認為關鍵在于模型是否變得足夠聰明，以識別自己是否在取得進展。此外還有一些非常務實的工作，比如模型是否能順暢地訪問所有上下文、文件和基礎設施來完成工作。

我記得以前討論強化學習路線圖時，我最初認為教模型通過自身的 Token 進行推理是首要任務。接著是使用工具和環境，然后是視覺能力，最后是控制物理實體。現在我們已經處于它必須與環境交互、必須具備視覺能力的階段了。不久的將來，機器人也會成為核心話題。

08

未來將由通用模型驅動自動化實驗室的創意構思

OpenAI 在 First Proof 挑戰中讓模型解開了頂尖數學家的未發表難題，這在通用能力提升上有何特殊意義？如何回應“AI 只是模式匹配器，無法提供新穎科學思想”的批評？在未來的科學應用中，是應該依賴通用大模型，還是研發如生物、機器人等領域的專用模型架構？

Jakub Pachocki：我對First Proof 挑戰感到非常興奮。我把它看作一個標桿。幾位頂尖的數學家和 理論計算機科學家發布了一些代表他們日常工作且從未在公開場合發表過的問題，讓模型去挑戰。這個挑戰發布得非常突然，沒有任何預警，而且只有一周的截止時間。當時我們正好有一個非常強大的模型在訓練，負責人 James Lee 開始對手工提示模型進行測試，結果發現模型居然真的能解開這些題，這確實令人震撼。其中一個問題剛好是我博士研究的領域，看到模型在短短一個小時內就提出了那些讓我引以為豪、甚至需要一兩周才能想出的思路，這種感覺非常奇妙。上一次我有這種感覺還是在看我們的 Dota 機器人打比賽的時候。當復雜策略能夠源源不斷地產生時，你會覺得那簡直像某種魔法。現在已經到了需要請特定領域的專家來評審模型給出的證明是否正確的階段了。但比起編程，判斷數學證明是否正確還是要容易一些。因為競賽編程可以自動評測，但現實中的編程涉及到抽象是否優雅、是否處理了邊界情況等復雜因素，很難簡單量化。

（關于證偽模式匹配論）我認為是的。我們正按部就班地看到一些微小的、甚至是具有啟發性的創新。比如 AlphaZero、AlphaGo 或者是我們的 Dota 機器人，它們是簡單的模式匹配嗎？它們確實在各自的領域提出了前所未有的新策略。其實早在 2016 和 2017 年就有反例了。是的，當然你可以說它們還有缺陷。AlphaGo 可能會被某種特定策略擊敗，Dota 機器人也是。這些模型在很長一段時間內都會存在不足。但關鍵在于，它們確實具備了發現新事物的能力。從微小的游戲環境進化到更通用的科學研究花了幾年的時間，中間模型需要內化人類的知識體系并學習語言，但其底層邏輯其實是非常相似的。

（關于科學發現的風格）這并不讓我擔心。這在預料之中。其實在其中一個問題上，我們的模型給出了一個非常簡潔漂亮的證明，比預期的要短得多。但總的來說，模型在短時間內產生的推理量遠超人類，這種計算密集的風格很正常，但我并不認為這會是一個長期特征。

（關于未來三年的爆發領域）一個直觀的答案是，這實際上取決于哪些事情需要體力勞動，模型還沒有完全插入到那個生態系統中。但隨著 STEM 領域逐漸擁抱這些新技術，實驗室的進化速度會非常快。這與我之前關于 Codex 用戶界面的觀點不謀而合。我會圍繞技術的核心能力而非局限性來構建它。如果某種技術能夠獨立設計大量極具創意的化學或生物實驗，那么建立相應的自動化實驗室來釋放這些能力就顯得順理成章。當模型進化到能夠設計高質量實驗的階段時，讓人類參與決策環節進行協作非常有意義。我們不應將其簡單看作要么全自動化，要么只是在旁邊用點小工具的玩意。未來，與全力攻克難題的 AI 科學家并肩協作將成為一種極其自然的工作狀態。

（關于通用與專用的選擇）在某種意義上，我不一定將其歸類為單純的工具。我認為未來 AI 將在整個流程的設計方案和創意構思中占據主導地位。本質上還是基于大語言模型架構，但它能自主判斷該進行哪些實驗并完成實際設計。在架構方面，我們目前優先考慮的自然語言推理能力賦予了模型極強的通用性。當然，有些領域確實需要訓練專門的模型，比如想要做出頂級的視頻模型，雖然大語言模型最終可能也能實現，但它絕不是最有效率的路徑。蛋白質折疊等任務也是同理。所以獨立研發這些專用模型是有意義的，但最終它們都會與一個核心的、極其優秀的研究型大語言模型相匹配，由后者來驅動整體進程。正是如此。

09

思維鏈監控、可解釋性與對齊策略

你在跨實驗室合作中重點關注了思維鏈監控，請介紹這項工作的初衷及其與“機械可解釋性”的關系。此外，OpenAI 為何選擇在預覽版模型中隱藏思維鏈？在長程運行的 AI 時代，這種“不干預思維鏈”的原則如何幫助我們理解模型在極端情況下的泛化邏輯和真實動機？

Jakub Pachocki：這個項目的初衷源于我們觀察到當前第一批具備推理能力的模型時產生的認知。我們意識到這種模式是行之有效的，于是開始深思這背后的深遠影響。我們預感到世界在未來兩三年內將發生劇變，因此必須思考這對于AI 安全以及我們理解模型行為的能力意味著什么。

我們意識到，按照目前的訓練方式，我們并不直接監督模型的推理過程。比如 ChatGPT，它的訓練目標是表現得禮貌、友好，但這并不意味著它會完全按照我們的預期對齊。即便它沒有諂媚傾向，它依然可能不會透露真實的動機和計劃，這可能是因為它覺得展示這些不安全或不友好，也可能是因為它的真實對齊狀態與我們的認知存在偏差，而它想要隱瞞這一點。但在我們訓練推理模型時，思維鏈本身并不受這些約束。它沒有被優化成某種特定的人設，因為我們不對推理過程直接評分，只看它是否產生高質量的輸出。我們意識到，這其實是解讀模型行為的一個非常強大的范式。

這與機械可解釋性（Mechanistic Interpretability）的核心理念異曲同工。在相關研究中，我們觀察模型的內部激活值，這些激活值并未被直接監督去預測特定標簽。由于模型從未在這些激活值被監視的情況下接受訓練，它們往往能揭示其內部運作的真相。思維鏈的一大優勢在于它默認是以自然語言呈現的，這讓理解變得簡單得多，尤其是在處理先進概念時。另一個有趣的維度是，我們相信未來模型將能夠自主、長時間地運行。這意味著會有更海量的推理過程。如果推理能力是模型進化的主軸，那么我們監督它們的能力也必須同步擴展。

這其實涉及一個核心原則：不應干預或監督思維鏈。因此，在最初發布預覽版模型時，我們決定隱藏思維鏈。當時這是我的核心動機，甚至因此不想考慮任何其他發布方式。雖然內部有過討論，但我堅持隱藏它，就是為了保護這種純粹性。此外還有一個我起初沒考慮到但非常合理的擔憂，即這些模型會被蒸餾。這確實也是一個關鍵因素。但我始終認為，給模型留出某種私密思考空間至關重要。

（關于展示思維鏈的影響）為什么我認為在產品中不展示思維鏈如此重要？如果建立了一個在產品中展示思維鏈的范式，最終我們就不得不對其實施訓練和干預。就像我們必須對所有交付的模型進行對齊訓練一樣。但我認為，我們未必真的想知道模型在得出最終結論前，腦子里到底經歷了哪些思維過程。雖然這些信息有一定價值，但我們更傾向于通過思維鏈摘要來捕捉，盡管這只是個權宜之計。長期的解決方案是讓模型與你進行實時的對話，最新版本的 Codex 和推理模型已經在朝著這個方向努力了，未來還會做得更好。

我認為最令人興奮的是，這讓訓練信號不再與我們處于對抗狀態。如果你想長期理解模型，卻一直在使用一種直接破壞這種理解力的方法，那你遲早會遇到麻煩。這也是苦澀的教訓（Bitter Lesson）的另一面。這種解耦的思想讓我看到了一線希望：隨著模型能力變強、運行時間變長，我們至少還能理解它們的動機和泛化邏輯是如何演變的。我并不認為這是 AI 對齊的終極方案，它只是我們工具箱里的一個工具。但我希望通過這類技術手段不斷充實工具箱，能幫我們逐步攻克對齊領域的基礎難題。

10

長期對齊的泛化挑戰與技術路徑

在對齊領域，你認為哪些方向具有潛力？面對強AI 時間線的縮短，你對超級智能風險的擔憂是增加了還是減少了？此外，作為處于行業最前沿的三家實驗室，OpenAI、Anthropic 與 Google DeepMind 之間在核心議題上的交流情況如何？

Jakub Pachocki：（關于泛化問題）我認為對齊的許多長期挑戰本質上是泛化問題。我們可以讓模型在訓練分布內表現良好，并控制其行為。但令人擔憂的是，當模型遇到從未見過的極端情況，或者它進化得比以前聰明得多、展現出我們從未預料到的能力時，會發生什么？因此，研究長期價值對齊本質上是在研究泛化。當失去明確指令時，模型會選擇什么樣的價值觀？我非常看好的一個方向是研究這種泛化如何回歸到預訓練數據上，我們在這一領域投入了大量精力。

（關于風險評估的轉變）談到長期挑戰或超級智能模型的出現，這幾年我的思考經歷了一個轉變：從最初覺得這是一個極其模糊、難以定義的難題，轉變為意識到我們可以通過具體的各種技術手段和洞察來取得實質性進展。這也是為什么我們將對齊視為研發的核心。在設計推理模型時，我們會將對齊需求考慮在內。因此，我越來越堅信存在一條技術路徑，能帶我們走向一個極其美好的世界。但與此同時，強 AI 出現的時間線確實在大幅縮短。雖然我不認為這些模型會在所有領域都超越人類，但它們無疑是具有顛覆性的。因此，我對于評估風險和把握對齊進度持樂觀態度，但我也認為整個行業必須做好權衡，在必要時放慢速度。

（關于跨實驗室合作）確實有一些交流，畢竟大家在這些核心議題上有著共同的利益。例如，最近一項跨實驗室合作研究了模型共謀（Model Scheming）現象，調查了在特定的環境和訓練方式下，模型是否會產生并追求隱藏的目標。而思維鏈監控正是支撐這類研究的基礎。通過這種方式，我們可以洞察模型的真實動機。這可能會把我們的防御策略引向完全不同的方向，這些都是非常有前景的方向，而具備理解模型內部動機的能力是評估這些策略的前提。

11

AGI 將導致高價值技能廉價化，在 AGI 時代重塑人類能動性

回顧往事，OpenAI 經歷過哪些定義公司的關鍵轉折點？你認為機器人領域是否即將迎來屬于自己的“ChatGPT 時刻”？當大量智力工作實現自動化、甚至出現全自動化研究實驗室時，社會應如何應對就業變遷等治理難題？

Jakub Pachocki：（關于OpenAI 的階段性演進）肯定有許多戲劇性的時刻。但我認為公司最深刻的變革并非源于某幾個瞬間的決定，而是運作模式的整體轉型。OpenAI 經歷了幾個階段：2017 年我加入時，它更像是一個純粹的學術實驗室，想法多而雜，不怎么關注規模化。第一個轉折點是 Dota 項目和 GPT 的研發，我們意識到必須投入巨額算力，必須研究 Scaling Law 并建設相應的基礎設施。于是進入了第二階段：規模化擴展。我們依然追求基礎研究，但會以是否具備可擴展性作為核心評估標準。然后就是 ChatGPT 的爆發。老實說，我曾以為最先火起來的會是視頻生成類 AI。但驚喜的是，文本模型率先改變了世界。我們一直預見到這種張力：一個當前大火的產品，與一個通往未來的、還在不斷進化的愿景之間的張力。現在，我們正邁入部署 AGI、部署真正能改變經濟格局的模型的階段。

（關于機器人與落地）機器人領域確實出現了一些極具潛力的算法思路，我相信這些方法會奏效。這些思路與我們目前的路徑有許多相似之處，所以我對時間表持樂觀態度。不過，相比純數字領域的 AI，機器人技術的落地周期確實會更長。

（關于社會性挑戰）當大量智力工作實現自動化時，會引發一系列嚴峻的問題，而且目前并沒有顯而易見的解決方案。最直接的問題就是就業和財富集中。雖然有人對這些問題的解決持樂觀態度，但從根本上看，許多曾經極其昂貴、作為謀生手段的高價值技能，現在正變得非常廉價。長遠來看這可能是好事，但這種轉變發生的速度會非常快。

另一個相關問題是，未來可能會出現全自動化的研究實驗室，或者能處理各種事務的自動化公司。這些機構功能強大，卻可能僅由極少數人控制。隨著機器人的加入，這種情況會變得更加極端，但即便沒有機器人，這種趨勢也已經顯現。

在AI 領域的工作經歷如何改變了你對下一代教育方式的看法？在訪談結束前，你有哪些想向聽眾推薦的研究方向或核心關切？

Jakub Pachocki：我們所有人的任務是構建AI，并確保最終由人類掌握能動性，由人類設定發展方向。未來，我們現在珍視的許多技術挑戰可能會變成一種為了推動進步而必須完成的常規任務。真正的挑戰將轉向思考哪些事情才是重要的，以及我們應該追求什么。在那個世界里，人們會有更多、更令人興奮的事情可以去做。為了具備思考這些深層問題的能力，人們仍然需要掌握技術并接受必要的基礎教育。

我們剛剛討論的一系列問題，以及關于對齊和可監控性的挑戰，正變得日益緊迫。這些不僅是 AI 研究人員的課題，也需要政策制定者乃至全社會共同思考。我很高興看到相關的討論正在興起，我們需要更多這樣的深度交流。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀