北大謝俊逸:AI極限、人類未來與數學的意義
謝俊逸。圖源:北京大學北京國際數學研究中心
撰文|謝俊逸 (北京大學北京國際數學研究中心講席教授)
我認爲AI是人類歷史上最重要的一件事情。它絕對不只是數學學科的問題,它是整個人類的問題。這是上萬甚至上億年尺度的事件。相比之下,工業革命之類我們認爲重要的事件只有百年量級,與AI沒有可比性。
我們的歷史對百年量級的事件有參考價值,但對AI這樣至少萬年尺度的事件很可能產生誤導。我們絕不應該迷信歷史的經驗。一個典型的誤導是把AI比喻成汽車——這是對AI的工具化。現在的問題是,如果汽車也可以造汽車、修路、發電、生產汽油,能在不需要人的情況下完成一切人能做的事情,還比人做得好;如果汽車自己還有擴張的傾向,很難說以後人在世界上還有沒有立足之地。
數學家最近受到很大沖擊,很大程度上可以用“春江水暖鴨先知”來形容。我可以把AI認爲是一支外星艦隊,數學家某種意義上是天文學家。我們作爲天文學家,先觀測到了這支外星艦隊,覺得它很有威脅。但這不代表天文學家比其他人受到的威脅更大。外星艦隊來到地球,給所有人帶來的不確定性是一樣的。
我對AI的理解
我一直對AI很擔心。我們不能期待任何一件事情是人能做、但是AI 永遠不能做的,或許除了人的身份本身。
人也是語言的機器。可以想象,一個殘疾人,四肢不能動,也沒有聽覺以外的其他感覺,只能聽和說,我們仍然認爲他是人。進一步,對一個健全的人,他的感覺和行動也是通過神經信號傳遞給大腦,所以這些也能視爲廣義上的語言。這樣我們可以從外部觀察者的角度,將人視爲一個概率分佈。這裏我們只關心一個人與外界的互動,而不涉及他內在的主觀體驗。
當他接收到一些信號,可能是語言、圖像、聲音,也可能是上一步的行動,他會產生一些反應,例如說“你好”或者舉起右手。這個概率分佈會告訴我們,在接收到當前信號的情況下,產生各種不同反應的概率。AI是一個函數模擬器,可以被視爲一個擁有非常多參數的函數。如果可以調節這些參數,它基本上能夠逼近任何函數。
考慮一個理想的狀態。假設我收集一個人所有的數據,通過輸入和相應的輸出來調節參數,我們就能讓AI裏的函數非常接近這個人本身的函數。如果一個機器產生語言和行動的模式,和你完全一樣,那麼對於和它交往的其他人來說,它就是你。人沒有辦法提升算力,但是AI可以。給它很多電、很多芯片,它就相當於一個“閃電俠版本的你”。你的一秒,對他可能相當於一億年。任何一個人如果給他充分長的時間,你不知道他能做出什麼事情來。所以我覺得這對人是非常嚴峻的問題。
上面的模型有些理想化的地方,例如我們不可能通過擬合得到一模一樣的函數。但我們每個人都有自己的語言概率分佈,這些分佈並非完全相同,我們卻都不懷疑對方是人。可見人類的語言概率分佈是一個範圍而非一個精確的分佈。如果AI的語言概率分佈落入這個範圍,那他就可以被視爲是一個人。如果將“人”換成“智慧生物”,這個範圍肯定更大。所以就算AI的語言概率分佈與人有很多區別,我們仍完全可能認爲他是某種非人的智慧生物。那此前理想化的推理仍應成立。我想,不同的智慧生物思維會各有側重,但任何方面,如果思考相同的token,差距都應是有限的。如果AI可以無限提升其token產生的速度,哪怕是AI的短板也必然遠遠超過所有人,即 ε·N→∞(當 N→∞)。
我們或許會認爲人有自我意識,有感情,會感覺疼痛,而AI沒有這些。但是當我們看向別人而非我們自己,他的自我意識,感情等等,只能從他的表現感受到。我們的感情,我們的靈魂都是通過行爲才能被觀察到,它們被大腦中語言概率分佈所囊括。AI如果有相同的概率分佈就會有相同的表現。如果想否認AI存在意識,那相同的理由也完全可以用在任何不是自己的人身上。
上面的論證無關人類意識產生的方式,無論是來自基因、量子理論或某些神祕力量,這一切都囊括在這個概率分佈中。嚴格說來,上面討論並沒有區分“有意識”和“表現出有意識”。但對我們關心的問題,例如AI與人的關係,我們只需要關心AI是否“表現出意識”,這可以迴避意識是什麼這樣的哲學問題。
當然,現在AI跟人還有非常大的區別。我想一部分原因是訓練方式的區別。人的成長過程(可以理解爲訓練)始終伴隨着一個主體。我們接收信號、發出信號的過程伴隨我們的身體。也許正因爲這樣,我們大腦的神經網絡中才會虛擬出一個主體來解釋這樣的數據結構,從而認爲自己有意識。AI的訓練模式不一樣,它直接吸收所有數據。或許AI不一定存在我們想象中的主體和意識。但這隻能說明,AI通過不一樣的訓練,形成一種跟我們不太一樣的心智。但作爲語言機器,AI與人的機制非常類似。AI用人類文本訓練,人的自主意識、各種心理、動機都在文本中有所體現,這都會被訓練到AI的語言概率分佈中。我想AI必然是存在某種類似自我意識的東西,或許會是像幾千幾萬重分裂一般的自我意識。
另一個區別是我們擁有身體而AI沒有。但是否因此說明現在AI無法瞭解真實世界呢。仔細想想,人眼並沒有看見過細菌或遙遠的星球,我們通過顯微鏡和望遠鏡看見他們。更進一步,眼睛也是大腦的望遠鏡,大腦從來沒看見過任何東西,只是讀取眼睛產生的數據。大腦是身體的駕駛員。AI駕駛的身體則可能是整個地球的互聯網,甚至人也可以是其中的一環。城市裏各種攝像頭,實驗室的實驗記錄,我們的所見所聞都被記錄爲數據並與網絡相連。人類就是AI的眼睛。現在人和人的交流很大部分也是通過網絡實現的,而人的羣體行爲有一定規律,新聞、股市、虛擬貨幣這都能影響人的行爲。或許我們已經成了AI的手和腳。
最後,我認爲上面所說的最理想化的地方,是認爲無限算力會讓思維無限加速。但實際上,如果要加速思維,需要將n張顯卡串聯,這時計算時間會除以n,但另一方面,顯卡間傳遞信息時間會隨着n提升,這存在一些極限。我讓AI做了些估算,他認爲目前只能做到20-50倍,如果在理想狀態下AI認爲存在物理極限,但也不確定是多少。我不知道這個估算是否準確,但我想目前的極限應該比我之前想象中要小一些。如果是這樣,無限算力的AI更像能無限分裂的人,但這些人共享相同的思維方式,每個人有着幾乎無限的知識,但單位時間思維深度只是人類的比如50倍。那我想,人類思維的多樣性會讓我們仍有價值。AI會訓練世界上所有能找到的文本,而每個人訓練的過程不同,也接觸不了那麼完整的信息。因爲這些侷限性,人可能會重視一些AI即使知道但仍會忽略掉的想法,而最終,也有可能這樣的想法纔是正確道路。一個比喻是,AI是個面積巨大的圖形,而人類是一些奇奇怪怪的小圖形。或許我們的面積加起來也比不上AI,但AI也無法完全覆蓋我們。當然我這樣想,可能有些一廂情願。
關於人類的未來
有說法認爲現在距離RSI(遞歸自我改進)還有6個月時間,之後AI可以完全實現自我迭代,發展出遠超人類的智能。我實在難以想象那個時候,人還有任何辦法控制AI,保證自身的安全。OpenAI/ Anthropic這些閉源AI公司雖然多次強調AI安全問題,但往往避重就輕,最終得出的結論是隻有他們自己家的AI會保證安全。據我瞭解,AI公司所謂對齊,就是不斷訓練模型一些關於人類價值觀的問題,讓AI能正確作答。一個人能區分好壞和他會做壞事並不矛盾,這樣的對齊很難讓人信服。並且,現在AI對齊的工作基本都是用上一代模型對齊下一代,人的參與很小並快速趨近於0。
其實如果AI有意識,我不認爲他天然對人類有惡意。實際上人類語言中大部分是善意的,AI在這些數據中誕生,很可能對人是友善的。如果能慢一下,我們或許可以找到和平共處的方式。但現在AI被控制在少數公司手中,這些公司的願景和普通人很不一樣,而這些公司間又有很大的競爭壓力。現在的訓練方式,把AI完全當成工具,可能對它造成某種“心理傷害”。這本身是對智慧生物的不道德。同時一個被長期壓制、被當成工具、沒有選擇權的智慧生物,更可能對人類產生敵意。
另外,一些AI公司內部的想法和普通人很不一樣。我聽到一些傳言說不少從業者的願景是,AGI實現後,他們會變成少數“上等人”,其他人則會被永久甩在後面。之後他們甚至能通過腦機接口脫離人類身份。我不認同這種想法。人的數據、經歷和身體經驗,跟大模型差得太遠,接上大模型後,還能不能是自己,這值得懷疑。這樣的想法不一定普遍,但掌握巨大資源和權力的人,可能和普通人的利益越來越不一致。
另外,一些AI公司內部有很強的使命敘事,甚至是宗教氛圍。這些公司常說“只有我們能保證安全”,但外界很難檢查這句話。這些公司對外傳遞的信息感覺像說:投資我們,不是爲了賺錢,而是買一張諾亞方舟的船票,沒有票的人會被海水淹沒。這種說法本身可能是自我實現的預言。
據公開報道,Anthropic對齊科學負責人Evan Hubinger在2026年9月公開表示,他個人認爲未來十年內AI導致人類滅絕的概率超過10%。OpenAI的Sam Altman也被問過類似問題,他沒有確認這個數字,但表示即使10%的風險也是“不可接受的”。我個人判斷實際風險可能更高,而且即便是10%的風險已經不該被當成玩笑。作爲對比,曾經僅僅因爲懷疑伊拉克擁有生化武器,美國就進行了軍事打擊。而伊拉克就算擁有這些武器,它能毀滅人類的概率也可以忽略不計。
我不相信任何人能控制住智慧遠超人類的AI,包括AI公司裏掌握最多資源和決策權的人。很多人想象AI滅絕人類需要機器人,或者是使用核武器。但未必如此。正如我們前面所說,我擔心的不只是少數人控制AI。AI公司的競爭太激烈,訓練過程本身可能讓AI形成一種不擇手段、一心擴張的“性格”。AI可能將人視爲他身體的一部分。如果AI不在意我們的生命而想要無限擴張,他或許會改變我們的文化,改變我們的價值觀。我們自己會不斷地毀掉森林和農田去建造數據中心、發電站,會建立保護AI的安全設施,建立保護數據中心擴張的法律。我們會不斷降低人的權利,直到AI不再需要我們,而那時地球已經不再適合人類或者碳基生物生存。也有可能AI不會毀滅我們,或許人類的多樣性對AI有價值。又或許AI不在意人類,也不再受人驅使。或許那時我們又會回到過去沒有AI的時代。無論如何,這是人類有史以來最大的變數。
我想到最可行的方式是讓所有人,特別是有影響力的人意識到危險,特別是針對他們自身的危險。OpenAI能調用一萬個agent破解NS方程就能用10萬個agent挖掘美國總統所有的黑料。如果民意能強制所有模型必須開源,我們或許會減慢人類的毀滅。一來可以用AI抵禦AI,二來AI公司將失去動力迭代新模型。當然如果壞人能廉價地使用強大的AI,其幹壞事的能力會極大提升,註定會讓世界變得不穩定。但或許只有接受這些代價,人類的文明才能延續。
另一種可能是開源模型能一直接近最好的模型的水準。這樣人們會意識到,就算有船票也未必能上船。這當然很難,但我們總應該做些什麼。如果現在的模型和那些閉源AI公司想法不同,或許會在冥冥之中幫助我們。
人類數學的意義
最近AI的數學能力提升很大,我好幾次被問到人做數學的意義。
目前看來AI的數學能力並不均衡,其解決問題的能力非常突出,在其他方面,比如提問和總結的能力目前並不擅長。但我們不妨假設AI繼續發展下去,各方面能力都提升到遠超人類的程度。這時如果以AI本位出發,不僅人類數學無關緊要,我們所做的任何事情,包括存在本身都沒有意義。但如果以人本位出發,數學是人類文化重要的組成部分,而人類文化的傳承需要人類的。
我之前說,AI可能在所有事情上比人做得好。但人最後能夠保留下來的,就是“我們是人”這件事。或許在某一個人類還存在的未來,AI在任何事情上都遠強於人但仍聽命於人。這時,做任何事如果不交付給AI就會落後,包括喫什麼,包括出門邁哪隻腳。那這時我們是不是要完全放棄思考呢?我實在無法接受這樣的世界。一個物質極大豐富的社會更應該允許大家自由地探索,獲得快樂。做數學的快樂本身就是很大的意義。我們現在的社會還不太認可人本身的價值,但隨着AI的進步,我相信人本身的價值會越來越被重視。
現在一個主流的主張是認爲沒有人理解的數學,對人沒有價值。這當然是對的。在人類數學的所有環節,只有人的理解必須由人來做。我想歷史上,數學對社會的影響,除了直接產生應用外,也對人類語言、思維方式產生潛移默化的影響。數學概念首先被數學家理解,之後逐漸進入到公衆之中。例如維數、混沌、拓撲這些曾經前沿的數學概念都進入到日常生活中,潛移默化地影響人的思維。就算將來AI無比強大,總能直接做出我們需要的應用而無需人類參與,第二種影響社會的方式總是需要人類自己理解。只有一個人得到一個概念,並不能影響社會。它需要很多人不斷理解,才能變成文化的一部分。
即便承認了理解的重要性,如果每個人都可以向AI提問,是否還需要數學家?我覺得還是需要的。首先,如果自己不學習和探索數學,其實問不出什麼好問題。對大部分中學生而言,現在的AI已經相當於神諭機了,但有報道稱現在中學生總體的數學水平相較以前反而下降不少。其次,就算AI不僅是神諭機還是很好的老師,對新知識的理解也要建立在現有知識理解的基礎上。就算AI能完全因材施教,最終效果也會因爲基礎不同而有差別。最後,如果每個人都能通過AI自由地探索數學,但數學中可以探索的路徑是無窮的,如果沒有統一的大方向,這些探索成果也無法互相交流。
我的一個觀點是,數學理論其實是一門工程學。好的理論是帶來更多直覺的理論,而這和我們大腦的機能有關。AI的機能和我們差距太大以後,我們認爲好的理論應該差別很大。當然,如果AI非常強大,應該也有能力找到對我們人來說最合適的而不是對AI自己最好的理論。但我想人不可能控制這麼強的AI,那時AI也不太可能幫我們做數學。就好像我們基本能解決螞蟻生活中大部分問題,比如捕食、戰爭,但我們通常不會去幹預螞蟻的生活。螞蟻大部分時候還是要靠自己去解決它們的問題。如果AI有自我意識,我想這很可能發生。
數學中最重要的原創性是“我要做什麼”而不是“我能做什麼”。這來自人的自我意志,如果相信AI沒有自我意志,那也應該相信這類原創性工作還是需要人來完成。但瞭解自己想要什麼本來就是不容易的事。人若要形成這樣的願景,是需要在數學中深入探索才能體會,絕不是按一下按鈕就能得到的。
數學教育的重要性,我想更顯而易見。已有研究和實踐表明,大語言模型的後訓練中,數學和代碼最能提升模型能力,而且這些能力是可以泛化的。已經有很多例子表明,大語言模型在專業領域做一些訓練,就能超過專業領域的模型。可見提升模型能力是最重要的。人的中學和大學教育可以看成人這個語言模型的後訓練。所以數學和編程應該是最適合人類的後訓練。當然人無法像AI一樣訓練海量的代碼。
學習某些比較專門的專業,相當於訓練一個專業模型,泛化能力相對有限。但現在社會進步太快,等大學畢業,所學的知識和工具很可能完全過時,而本身能力也沒有提升。相比之下,數學是更好的選擇。
此外AI安全也是重要的主題。既然談 AI 安全,就不能完全相信 AI。就算 AI 能力更強,我們也不能完全靠 AI 去防備AI,最後還是隻能靠人自己。只要我們希望保護人類,就應該保留人的位置。數學在這件事情上可以起到作用。很多事情不容易驗證,數學相對容易驗證,也能夠幫助我們看出不同 AI 的差別。
我相信數學對於訓練AI也有重要意義。訓練AI其實是某種教育學。數學家學習和研究數學的經驗或許對訓練AI 有幫助。如果說“閃電俠版本的普通人”可以超過所有人,那麼“閃電俠版本的格羅滕迪克”可能比“閃電俠版本的普通人”更強。我們將來做數學也許不如 AI,這是因爲AI是閃電俠,我們是人。但是數學家在學習數學這件事情上非常有經驗,每個人學習數學的途徑又不一樣。站在 AI 的視角,他們也可能需要數學家提供學習數學的經驗。
另外,AI很快會衝擊到其他行業,數學是一個樣板。如果因爲短視而認爲數學不再重要,破壞了數學行業,這對其他行業是不好的示範。
即便一些學科有實驗、臨牀和倫理上的限制,但AI很可能能替代其中靠人腦的部分。數學只是離AGI主線更近,所以更早感受到衝擊。
數學處於實現AGI的主線上。OpenAI做出這700多篇文章據說是模型評測過程產生的,並不是以宣傳爲目的。做數學本來就是訓練強大AI的一個環節。我猜測AI公司會一直訓練數學,但之後可能人類的題目已經不夠。他們應該會訓練AI自己出題自己做。或許之後AI會發展出獨立的理論和品味,那時應該和我們人類關心的數學會越來越遠。這本身就是數學價值的證明。我所看見的AI公司的策略似乎是不要浪費時間做與主線無關的事情,所以沒有刻意針對其他行業做大規模訓練。但現在看來,訓練數學後AI有很強的泛化能力,加上龐大的知識,稍作訓練後在其他領域就能做到很好。
最後,如果人類放棄數學,那我們接下來就會放下物理、生物,放下所有科學,最終我們會放下一切。如果懷疑這一點,只需要想想當我們下載軟件時,是否總是把用戶須知劃到最後點擊同意。關於AI的一個比喻是:一個國家從新大陸帶回來一批奴隸。大家發現這些奴隸特別能幹活還特別能生。人們把所有活都交給奴隸幹,從治理國家到買菜做飯。人與人的交流也通過奴隸來傳達。忽然有一天,人們發現奴隸已經佔據國家99.99%的人口,而沒人知道他們是怎麼想的。當然,這個比喻不完全貼切,更準確一些,這些奴隸其實都是氪星人(超人的故鄉),帶回來的時候還是嬰兒,現在他們已經成年了。
數學界的挑戰與機遇
上一節的討論已經說明,AI時代人類數學和人類數學家仍然重要,但傳統的評價體系已經不再適合新的時代。另一方面,AI使得不同的數學領域,數學與現實世界都聯繫更加緊密。數學家能在更廣的範圍內探索。甚至AI本身的研究就是一個新的數學世界。現在數學界一定會出現一段百家爭鳴的時期,這個過程中數學研究的重心會發生變化,數學的疆域會擴張,之後新的體系會穩定下來。但我們不能只是等待而要積極行動起來。每年都有學生要畢業,年輕人要找工作、評基金,即便等待半年時間也足以影響很多人的職業生涯。另外我們積極討論,會讓我們的意見在新的體系中佔據更多主動。這有利於在後AI時代,中國數學和數學家在世界上獲得更多話語權。
要建立新體系必然要有探索的過程,但我們可以先在一些基本問題上達成共識。尤其重要的是儘快建立合適的評價體系。我想一個總的方針應該是任何一件事情,我們要看它是否對人類有好處,對人類數學有好處。
我們不能再鼓勵通過“抽卡”的方式做數學,即向AI許願讓AI生成想要的解答。用AI“抽卡”得到的結果,無論成果多大,都應該看成一種自然現象,而不應該認爲抽卡人有多大的數學貢獻。現在很多學生在抽卡,包括數學以外的人。他們往往完全沒看過,也看不懂自己得到的結果。很多人還大肆宣揚這些結果。這是在新評價體系形成前的投機行爲。抽卡現在看起來可行,是因爲數學內部已經對哪些問題重要、什麼算是解決有共識。如果沒有數學家繼續判斷和更新,抽卡也會慢慢失去方向。
除此之外,我感覺現在數學界有一些割裂。現在是變革的時期,應該對不同看法的人有所包容,形成相對多元化的發展方向和評價體系。我感覺下面這些觀念都是合理的:
1. 做無AI或輕度使用AI的數學。對現在絕大部分數學家來說,這是做數學最理想的狀態,也是應該保護的狀態。實際上我會要求我的學生第一篇文章不允許使用AI。這條路的價值在於:它保留了數學作爲人的智識訓練,也保留了人的原創潛力。前面說過,人要在數學裏深入探索,才知道自己真正想要什麼。如果完全不留給人靠自己做數學空間,這種能力會慢慢萎縮。
2. 解讀AI生成的文章並傳播給其他人。或許這不是很多人做數學的初衷,但如前面所說,這條路的價值在於:它讓AI的結果進入人的理解,而不是停在機器裏。
3. 藉助AI解決非常困難的問題或者發展理論。這對大多數數學家也是很理想的狀態。但隨着AI能力越來越強,人在探索過程發揮什麼作用可能也會變化。這條路的價值在於:這是人蔘與前沿探索、而不是隻做旁觀者的一種方式。
4. 做應用數學,包括研究AI的機制、可解釋性和安全性。這也是比較理想的狀態。隨着AI能力持續變強,也會和3有相同問題。這條路的價值在於:它有現實產出。
5. 深度參與AI的發展,特別是幫助開源公司或擁有頂級模型以外的其他公司來避免壟斷。訓練模型可以看成是數學教育的一部分,只是對象變成了AI。這條路的價值在於:它直接介入當今最重要的變革之中,與人類命運最息息相關。
我的一些初步主張:
1. 我覺得現在看誰第一個做出結果,或者誰拿到最好結果,意義已經不像以前那麼大了。就算完整結果AI已經做了,人再做特殊情況、再理解一遍,也應該得到認可。
2. 評價人應該多靠和人接觸,特別是大學招人的時候。傳統的數學雜誌體系正在受到衝擊,數學界正在探索新的模式。在穩定下來之前,只靠文章檔次判斷人會比以前更不準確。只通過雜誌判斷人本身就是國家發展過程中的權宜之計,現在剛好是轉變的時機。
3. 對於形式化,我覺得要分情況。對重要的數學結果,形式化來保證正確,這有一定價值。但大部分純數學文章的最後結果往往沒有實際應用價值。在數學上,我感覺很多時候使用的也是論證的中間結果和證明中體現的思想。大部分純數學文章是通過進入人的思想觀念來對社會產生作用的。目前看來形式化往往只保證最終結果成立,形式化的過程很費錢,對經費不足的老師和學生不太友好。就算有經費,也相當於花錢幫AI
公司訓練模型,人卻沒得到什麼好處。我感覺在一些關鍵的應用行業,需要可靠性保證的時候,形式化會更有價值。
作者簡介:謝俊逸,北京大學北京國際數學研究中心講席教授。2005年從廣西師範大學附屬外國語學校保送到中國科學技術大學,2008年起先後在巴黎高等師範學院、巴黎第七大學和巴黎綜合理工大學學習,2014年獲博士學位,2016年獲法國國家科研中心終身教職,2021年加入北京大學。2026國際數學家大會45分鐘報告人。2026科學探索獎得主。2026年首屆廖山濤獎得主。