人工智慧最終不是無所不能嗎？
特別鑒於人工智慧最近取得了出人意料的成功，人們普遍認為，人工智慧最終將能夠 "無所不能"，或者至少可以做到我們目前所做的一切。那麽科學呢？幾個世紀以來，我們人類取得了循序漸進的進步，逐漸建立起了現在基本上是我們文明中最大的一座知識大廈。但是，盡管我們做出了種種努力，仍然存在各種各樣的科學問題。那麽，人工智慧是否能解決所有這些問題呢？
對於這個終極問題，我們將看到答案必然是堅定的不能。但這當然並不意味著人工智慧對科學進步沒有重要幫助。舉例來說，在非常實用的層面上，LLM 為我們在 Wolfram 語言中花費大量時間構建的計算能力提供了一種全新的語言界面。透過對 "傳統科學智慧" 的了解，LLM 通常可以提供非常高級的 "自動完成" 功能，用於填寫科學工作中的 "傳統答案" 或 "傳統下一步"。
但我想在這裏討論的是科學中的人工智慧的更深層次問題。三個世紀前，用數學來表現世界的理念改變了科學。而在我們這個時代，我們正處於向以計算為基礎的世界表征方式的重大轉變之中（沒錯，這就是我們的 Wolfram 語言計算語言的意義所在）。那麽，人工智慧究竟如何？我們應該把它看作是獲取現有方法的實用工具，還是說它為科學提供了一些根本性的新東西？
我在這裏的目的是探討和評估人工智慧在科學領域能做什麽和不能做什麽。我將考慮一些具體的例子，並加以簡化，以揭示正在發生（或沒有發生）的事情的本質。我會根據我們目前所看到的，談談直覺和期望。我還會討論一些理論上的，以及在某些方面哲學上的，什麽是可能的，什麽是不可能的。
那麽，我這裏所說的 "人工智慧" 究竟是什麽意思呢？在過去，任何認真計算的東西通常都被認為是 "人工智慧"，在這種情況下，比如說，我們長期以來用 Wolfram 語言計算語言所做的事情，以及我對計算宇宙中的簡單程式進行的所有 "ruliological "研究，都可以被認為是 "人工智慧"。但在這裏，大部份情況下，我會采用一個更狹義的定義——說人工智慧是一種基於機器學習（通常用神經網路實作）的東西，它是根據給定的範例逐步訓練出來的。通常情況下，我還會加上另一條：這些例子包括人類生成的大量科學文本等，或者是關於世界上發生的事情的實際經驗的語料庫——或者換句話說，除了是 "原始學習機器 "之外，人工智慧還已經從大量與人類相關的知識中學習到了一些東西。
好了，我們說了人工智慧的含義。那麽現在，科學和 "做科學" 又是什麽意思呢？歸根結底，科學就是把 "外面的世界"（通常是自然界）中的事物聯系起來，或將其轉化為我們可以思考或推理的事物。但是，在實際進行科學研究時，有幾種相當不同的常見 "工作流程"。有的以預測為中心：根據觀察到的行為，預測將會發生什麽；找到一個我們可以明確說明系統行為的模型；根據現有理論，確定其具體含義。其他工作流程則更多地涉及解釋：給定一種行為，為其提供人類可理解的敘述；在不同系統或模型之間尋找類比。還有一些工作流程則更多地與創造事物有關：發現具有特殊內容的事物；發現 "有趣 "的事物。
在下文中，我們將更詳細地探討這些工作流程，看看人工智慧是如何改造（或無法改造）——或告知——它們的。不過，在討論這個問題之前，我們需要先討論一下籠罩在任何 "解決科學問題" 的嘗試之上的東西：計算的不可還原性現象。
計算不可還原性的硬極限
在科學研究中，找到某個系統執行的基本規則往往是一個巨大的挑戰。但假設我們已經找到了這些規則，並且有了某種正式的方法來表示它們，比如說用程式來表示。那麽還有一個問題是，這些規則對系統的實際行為意味著什麽。是的，我們可以明確地一步步套用這些規則，並追蹤所發生的事情。但是，我們能不能一舉 "解決所有問題" 並知道系統的行為方式呢？
要做到這一點，從某種意義上說，我們必須比系統 "無限聰明"。系統必須經歷所有這些步驟——但我們卻可以 "跳到前面"，立即找出結果。我們的物理計畫最終在基礎層面上支持的一個關鍵想法是，我們可以把發生的一切都看作是一個計算過程。系統正在進行計算，以決定其行為。我們人類（或我們創造的任何人工智慧）也必須進行計算，以試圖預測或 "解決" 這種行為。但 "計算等價原則"（Principle of Computational Equivalence）認為，這些計算在復雜程度上是等價的。這就意味著，我們不能指望系統地 "跳躍式" 預測或 "求解" 這個系統；要想知道這個系統到底會做什麽，不可避免地需要一定量的計算工作。因此，無論我們是否嘗試使用人工智慧，我們的 "科學能力" 最終都會受到行為的計算不可還原性的限制。
但是，既然計算不可還原，為什麽科學還可能存在呢？關鍵的事實是，只要存在整體的計算不可還原性，也就存在無限多的計算可還原性。換句話說，在一個系統中，總會有某些方面可以用有限的計算量來描述。而這些正是我們在 "做科學" 時通常會關註的。
但是，這不可避免地會有局限性，也會遇到計算不可還原性的問題。這些問題有時表現為我們無法回答的問題，有時則表現為我們無法預料的 "意外"。但問題是，如果我們想 "解決一切問題"，就不可避免地會遇到計算不可簡化的問題，而人工智慧或其他方法都無法透過一步步模擬系統來解決這個問題。
不過，這裏還有一個微妙之處。如果我們想知道的都是與計算可還原性相一致的東西呢？很多科學——和技術——都是專門圍繞可計算還原現象而構建的。舉例來說，這就是為什麽像數學公式這樣的東西能夠在科學領域如此成功。
但我們當然知道，在科學領域，我們還沒有解決所有我們想要解決的問題。在很多情況下，我們似乎無法選擇我們需要研究的東西；例如，大自然強迫我們去研究。結果就是，我們不可避免地要面對計算的不可還原性。
正如我們將要討論的，人工智慧有可能為我們提供簡化的方法，讓我們找到某些型別的計算可還原性。但是，計算的不可還原性總會存在，從而帶來意想不到的 "驚喜"，以及我們無法快速或 "敘述性" 地了解的東西。這種情況會結束嗎？不會，總會有 "更多的發現"。需要更多計算才能達到的東西。我們不知道的計算可還原性的領域。而最終，人工智慧或計算的不可還原性將阻止我們徹底 "解決科學問題"。
這一切都有著奇特的歷史共鳴。早在二十世紀初，人們就對數學是否可以 "機械求解" 提出了一個大問題。然而，哥德爾定理的出現似乎證明了這一點。而現在，我們知道科學最終也有一個計算結構，計算的不可還原性（computational irreducibility）現象實際上是哥德爾定理的銳化，它表明科學也不能被 "機械地解決"。
不過，我們仍然可以問，人類選擇研究的數學（或科學）是否可能只生活在計算可還原性的小天地裏。但從某種意義上說，"數學很難 "的最終原因是，我們不斷看到計算不可還原性的證據：我們無法繞過實際必須計算的東西。例如，神經網路人工智慧（至少在沒有 Wolfram 語言等工具的幫助下）並不擅長計算。
過去行之有效的方法
在深入探討基於機器學習的現代人工智慧在 "解決科學問題" 方面可以做些什麽之前，我們似乎應該回顧一下過去的一些成功經驗，尤其是作為現代人工智慧現在可以增加什麽的一種基準。
我本人利用電腦和計算來發現科學問題已經有四十多年了。我的第一次重大成功是在 1981 年，當時我決定嘗試列舉某種規則（基本蜂窩自動機）的所有可能規則，然後在電腦上執行它們，看看它們都做了些什麽：
我曾假設，有了簡單的基本規則，最終的行為也會相應地簡單。但從某種意義上說，電腦並沒有這樣假設：它只是列舉規則並計算結果。因此，盡管我從未想象過它會出現，但它還是 "發現 "了類似規則 30 的東西。
我一次又一次地遇到類似的情況：我看不出某個系統是如何做到 "有趣" 的。但當我系統地列舉各種可能性時，它就出現了：一些意想不到的、有趣的、"聰明" 的東西被電腦有效地發現了。
20 世紀 90 年代初，我曾想知道最簡單的通用圖靈機是什麽。我自己永遠也想不出來。自 20 世紀 60 年代初以來一直保持著這一記錄的機器有 7 個狀態和 4 種顏色。但電腦讓我透過系統列舉發現了 2 態 3 色機
這台機器在 2007 年被證明是通用的（是的，它是最簡單的通用圖靈機）。
2000 年，我對邏輯（布爾代數）最簡單的公理系統可能是什麽使這個論題很感興趣。當時已知的最簡單公理涉及 9 個二進制 (Nand) 運算。但是，透過系統地列舉各種可能性，我最終找到了單一的 6 次運算公理
（我用自動定理證明了它的正確性）。再說一次，我根本不知道 "外面" 有這個東西，當然，我自己也不可能構造出它。但僅僅透過系統列舉，電腦就能找到在我看來非常 "有創意" 的結果。
2019 年，我又做了一次系統性的列舉，現在是列舉可能與我們物理宇宙最底層結構相對應的超圖重寫規則。當我看到生成的幾何圖形時，我覺得作為人類，我可以對我看到的東西進行大致分類。但是否存在異常值呢？我轉而使用更接近 "現代人工智慧 "的方法來進行科學研究——制作視覺影像的特征空間圖：
它是需要我這個人類來解釋，但是，有一些異常值實際上是由繪制特征空間圖的神經網路 "自動發現" 的。
我再舉一個例子——這是我個人經歷中一個相當不同的例子。早在 1987 年，作為構建現在的 Wolfram 語言 1.0 版本的一部份，我們試圖開發演算法來計算數百個參數範圍非常廣泛的數學特殊函式。過去，人們煞費苦心地計算特定情況下的數列近似值。但我們的方法是使用相當於機器學習的方法，耗費數月的電腦時間來擬合合理近似值中的參數。如今，我們可能會用神經網路而不是理性近似來做類似的事情。但在這兩種情況下，我們的概念都是為我們要處理的 "世界"（這裏指的是特殊函式的值）找到一個通用模型，然後嘗試從實際數據中學習模型中的參數。這並不完全是 "解決科學問題"，甚至無法 "發現意外"。但在這裏，"類似人工智慧" 的關於平滑性或簡單性的一般預期知識可以讓我們構建一個類似的科學模型。
人工智慧可以預測未來嗎？
這並不是科學的唯一作用——在接下來的章節中，我們將探討其他作用。但從歷史上看，成功科學的決定性特征往往是：它能預測會發生什麽嗎？所以現在我們可以問：人工智慧是否給了我們一種更好的方法來做到這一點？
最簡單的情況是，我們基本上想利用人工智慧進行歸納推理。我們輸入一系列測量結果，然後要求人工智慧預測我們尚未完成的測量結果。在這個層面上，我們把人工智慧當作一個黑盒子；裏面發生了什麽並不重要；我們關心的只是人工智慧是否給出了正確的答案。我們可能會認為，我們可以透過某種方式設定人工智慧，讓它 "不做任何假設"——只是 "跟著數據走"。但不可避免的是，人工智慧中會有一些底層結構，讓它最終為數據假設某種模型。
是的，這種模式可以有很大的靈活性。但不可能有真正的 "無模型模型"。也許人工智慧是基於一個巨大的神經網路，其中有數十億個可以調整的數位參數。也許連網路的結構都可以改變。但整個神經網路的設定不可避免地定義了一個最終的底層模型。
讓我們來看一個非常簡單的例子。假設我們的 "數據" 是這裏的藍色曲線——也許代表的是懸掛在彈簧上的重物的運動，而 "物理" 告訴我們它繼續沿著紅色曲線運動：
現在我們來看看一個非常簡單的神經網路
並使用上面的 "藍色曲線" 數據對其進行訓練，以得到一個具有特定權重集合的網路：
現在，讓我們套用這個訓練後的網路來重現原始數據，並對其進行擴充套件：
我們看到，該網路在重現訓練數據方面做得不錯，但在 "預測未來" 方面卻基本失敗。
這到底是怎麽回事？是我們訓練的時間不夠長嗎？下面是逐步增加訓練回合後的結果：
這似乎沒什麽用。所以問題可能出在我們的網路太小了。以下是網路大小不一的情況：
是的，更大的網路尺寸會有所幫助。但它們並不能解決我們的預測是否成功的問題。那麽，我們還能做些什麽呢？網路的一個特點就是它的啟用函式：我們如何根據輸入的加權和來確定每個節點的輸出。下面是一些使用各種（常用）啟用函式的結果：
這裏有一點值得註意：不同的啟用函式會導致不同的預測結果，而預測結果的形式似乎是啟用函式形式的直接反映。事實上，這裏並沒有什麽神奇之處；只是神經網路對應的函式的核心元素是啟用函式。
例如，網路
對應於函式
其中， ϕ 表示本例中使用的啟用函式。
當然，用一些標準函式的組合來逼近一個函式的想法由來已久（想想：外顯子和之前的外顯子）。神經網路允許我們使用更復雜的（和分層的）非線性函陣列合，並提供了一種更精簡的 "擬合所有參數 "的方法。但從根本上說，這是同一種想法。
例如，這裏有一些用更簡單的數學函式構建的 "數據 "近似值：
這些模型的優點是，只需 "給出其公式"，就能很容易地說明 "每個模型是什麽"。但正如我們的神經網路一樣，在進行預測時也會遇到一些問題。
(順便說一句，時間序列預測有一整套方法，包括 "擬合遞迴關係"（"fitting to recurrence relations"）和現代的變壓器神經網路（"transformer neural nets"）。雖然其中一些方法碰巧能夠很好地捕捉正弦波這樣的周期性訊號，但我們並不指望它們在準確預測函式方面取得廣泛成功。）
好吧，有人可能會說，也許我們試圖以一種過於狹隘的方式來使用——和訓練——我們的神經網路。畢竟，擁有大量關於各種事物的訓練數據，而不僅僅是某個狹窄的特定領域，似乎對 ChatGPT 的成功至關重要。不過，據推測，大量訓練數據的作用是讓 ChatGPT 學習 "語言和常識的一般模式"，而這是它無法從較窄的訓練數據中獲取的。
那麽，對我們來說，這裏的類比是什麽呢？我們可能希望我們的神經網路 "對函式的工作原理有一個大致的了解"（"general idea of how functions work"）——比如了解函式的連續性，或者周期性或對稱性。所以，是的，我們可以繼續訓練，而不是像上面那樣只訓練特定的數據 "視窗"，而是訓練整個函式族——比如三角函式集合，或者 Wolfram 語言中的所有內建數學函式）。
不用說，如果我們這樣做，就一定能成功預測正弦曲線的上方——就像我們使用以正弦曲線為基礎的傳統傅立葉分析一樣。但這是在 "做科學" 嗎？
從本質上說，它是在說："我以前見過這樣的事情，所以我認為現在會發生這樣的事情"。毫無疑問，這樣做是有用的；事實上，它是人類在某一特定領域的典型經驗的自動化版本。我們稍後再討論這個問題。但現在的重點是，至少在預測函式這樣的事情上，神經網路和今天的人工智慧似乎並不能以任何明顯的方式比它們的構建和訓練 "看得更遠"。沒有什麽 "新興科學"；這只是相當直接的 "模式匹配"。
預測計算過程
預測一個函式是一項特別艱巨的任務，我們可以想象，"真實的過程"（例如自然界中的過程）會有更多的 "環境結構"，人工智慧可以利用這些結構來獲得預測的 "立足點"。作為 "人工自然" 的一個例子，我們可以考慮細胞自動機這樣的計算系統。下面是一個例子，說明在特定的初始條件下，特定的細胞自動機規則是如何執行的：
這裏既有簡單的部份，也有復雜的部份。作為人類，我們可以很容易地預測簡單部份會發生什麽，但對其他部份基本上就說不準了。那麽，人工智慧會怎麽做呢？
很顯然，如果我們的 "人工智慧" 能夠執行細胞自動機規則，那麽它就能夠預測一切，盡管需要耗費大量的計算工作。但真正的問題是，人工智慧是否能在不進行所有計算工作的情況下，透過捷徑成功地進行預測。
因此，作為一個具體的實驗，讓我們建立一個神經網路，嘗試有效地預測細胞自動機的行為。我們的網路基本上是一個直接的——雖然很 "現代"——摺積自動編碼器，有 59 層，總共有大約 800,000 個參數：
它的訓練方式很像 LLM。我們獲得了大量元胞自動機演化的例項，然後向網路展示了每個例項的 "上半部份"，並試圖讓它成功地繼續演化，預測 "下半部份"。在我們所做的具體實驗中，我們給出了 3200 萬個 64 細胞寬的 元胞 自動機演化範例。(是的，與所有
個可能的初始配置相比，這個例子的數量微乎其微）。然後，我們試著輸入64個單元寬、64步長的細胞自動機演化 "塊"（chunks），看看網路給不同的可能延續賦予了多大的機率。
下面是一系列不同初始條件下的一些結果：
而我們所看到的也正是我們所期望的：當行為足夠簡單時，網路基本上都能正確處理。但當行為比較復雜時，網路通常就做得不那麽好了。它通常還是會至少 "隱約正確"（"alibuely right"），但細節並不到位。
也許，有人會想，網路只是訓練的時間不夠長，或者訓練的例子不夠多。為了了解更多訓練的效果，下面是預測機率在連續 25 萬次訓練後的變化情況：
應將這些結果與精確結果進行比較：
是的，隨著訓練的增加，情況會有所改善，但到最後似乎也不會好到哪裏去。(雖然在訓練過程中，它的損失曲線確實會出現一些突然的向下跳動，這可能是 "發現" 的結果，而且我們不能確定這種情況不會更多）。
機器學習在 "大致正確" 方面做得很好，這是機器學習的典型特征。但機器學習往往並不擅長把握細節。因此，當我們要做的事情取決於這一點時，機器學習就會受到限制。而在我們所考慮的預測任務中，問題在於一旦事情稍有偏離軌域，基本上一切都會變得更糟。
辨識計算可還原性
可還原性是我們通常認為的 "做科學" 的核心。因為它不僅能讓我們做出預測，還能讓我們找出規律性的東西，建立模型，對我們所看到的東西進行壓縮總結——並形成我們可以在頭腦中捕捉到的理解。
但我們如何才能找到計算的可還原性呢？有時，它非常明顯。比如，當我們將某些行為視覺化時（如上文的細胞自動機前進演化），就能立即辨識出其中的簡單特征。但在實踐中，計算可還原性可能並不那麽明顯，我們可能需要挖掘大量細節才能發現它。而這正是人工智慧可以提供巨大幫助的地方。
在某種程度上，我們可以把它看作是 "找到正確的參數化" 或 "正確的座標系" 的故事。舉個非常直觀的例子，考慮一下看似非常隨機的點雲：
只要將這個特殊的點雲旋轉到適當的角度，就會發現明顯的規律性：
但是，如果存在規律性的東西，有沒有一般的方法可以把它們找出來呢？有傳統的統計學方法（"A 和 B 之間是否存在相關性"？）還有模型擬合（"這是高斯之和嗎"？）還有傳統的資料壓縮（"經過執行長度編碼後是否更短"？）但所有這些都只能找出相當特定的規律性。那麽，人工智慧能做得更多嗎？它能否提供一種找到規律性的通用方法？
說一個人發現了某事物的規律性，基本上等同於說一個人不需要說明該事物的所有細節：有一個簡化的表征，我們可以從中重建它。因此，舉例來說，在上圖中的 "點-線-線" 規律性中，我們不需要分別說明所有點的位置；我們只需要知道它們形成了具有一定間隔的條紋。
好了，讓我們想象一下，我們有一幅具有一定像質數的影像。我們可以問，是否有一種涉及數據較少的精簡表示法——可以有效地重建影像。對於神經網路來說，我們可以用一個小技巧來找到這種精簡表示法。
其基本思想是將神經網路設定為自動編碼器，接收輸入並將其復制為輸出。人們可能會認為這是一項微不足道的任務。但事實並非如此，因為輸入的數據必須流經神經網路的內部，實際上是在開始時 "磨碎"，在結束時 "重組"。但問題是，只要有足夠多的可能輸入例項，就有可能訓練神經網路成功復制輸入，並作為自動編碼器執行。
但現在的想法是，進入自動編碼器內部，提取出它所得出的簡化表示。當數據在神經網路中從一層流向另一層時，它總是試圖保留重現原始輸入所需的資訊。如果某一層的元素較少，那麽該層的內容就必須對應於原始輸入的縮小表示。
讓我們從一個標準的現代影像自動編碼器開始，這個編碼器已經在幾十億張典型的網路圖片上訓練過了。給它輸入一張貓的圖片，它就能成功復制出與原圖相似的影像：
但是，在中間會有一個縮小的表示，像素會減少很多——但仍然能捕捉到貓的所需資訊（這裏顯示的是貓的 4 個顏色通道被分開了）：
我們可以將其視為貓影像的一種 "黑盒模型"。我們不知道模型中的元素（"特征"）是什麽意思，但不知為何，它成功地捕捉到了 "畫面的本質"。
那麽，如果我們將其套用於 "科學數據"，或例如細胞自動機之類的 "人工自然過程"，會發生什麽情況呢？下面就是我們成功壓縮數據的一個案例：
在這種情況下，它就不那麽成功了：
在這種情況下，如果存在潛在的計算不可還原性，它就會遇到困難：
不過，這個故事還有點意思。你看，我們使用的自動編碼器是在 "日常影像" 上訓練出來的，而不是這類 "科學影像"。因此，實際上，它是在試圖用眼睛和耳朵這樣的構造來模擬我們的科學影像，而這些構造在貓之類的圖片中很常見。
那麽，如果像上面的蜂窩自動機預測一樣，我們根據我們想要的影像型別來訓練一個更具體的自動編碼器，會發生什麽呢？
下面是兩個非常簡單的神經網路，我們可以用它們作為 "編碼器" 和 "解碼器" 來制作自動編碼器：
現在，讓我們使用標準的 MNIST 影像訓練集來訓練自動編碼器：
每幅影像都有 28*28 像素。但在自動編碼器的中間，我們有一個只有兩個元素的層。這就意味著，無論我們要求它編碼什麽，它都必須只編碼兩個數位：
我們在這裏看到的是，至少對於那些看起來或多或少與它所訓練的影像相似的影像，自動編碼器能設法重建出至少看起來大致正確的影像，即使是徹底壓縮後的影像也是如此。然而，如果你給它其他型別的影像，它就不會那麽成功了，相反，它基本上只是堅持將這些影像重建為與訓練集中的影像一樣：
好吧，那麽在細胞自動機影像上訓練它如何？讓我們用一個特定的規則生成 1000 萬張影像：
現在，我們在這些影像上訓練自動編碼器。然後，我們嘗試向其輸入類似的影像：
這些結果充其量只是非常近似的；這個小型神經網路並沒有設法學習到 "這種特殊細胞自動機的詳細方式"。如果它只用兩個數位就成功地描述了細胞自動機前進演化的所有表面復雜性，那麽我們就可以認為這是一門令人印象深刻的科學。但是，不出所料，神經網路實際上受到了計算不可還原性的阻礙。
不過，盡管神經網路無法 "認真破解計算的不可還原性"，但它仍然可以 "做出有用的發現"，實際上就是找到計算可還原性的小碎片和小規律。因此，舉例來說，如果我們獲取 "嘈雜字母" 的影像，並使用神經網路將其還原為成對的數位，然後使用這些數位來放置影像，我們就能得到一個 "維度還原特征空間圖"，將不同字母的影像區分開來：
但是，舉例來說，我們不妨考慮一下具有不同規則的蜂窩自動機集合：
下面是一個典型的神經網路如何在 "特征空間 "中排列這些影像：
是的，它幾乎能夠自動發現我在 1983 年初確定的四類行為。但它還沒有達到這個程度。雖然從某種意義上說，這是一個困難的案例，在很大程度上面臨著計算上的不可還原性。而在很多情況下（如：根據元素特性排列元素周期表；根據雷諾數計算流體流動的相似性等），我們都可以期待神經網路能夠找到計算可還原性的關鍵點，並至少成功地再現現有的科學發現。
非人類世界中的人工智慧
人工智慧最初的概念是開發人類智慧的人工類似物。事實上，人工智慧最近在視覺物體辨識或語言生成等方面取得的巨大成功，都是為了讓人工系統重現人類工作的本質。這並不是說，有一個精確的理論定義來說明什麽是貓的影像，什麽是狗的影像。重要的是，我們可以讓神經網路得出與人類相同的結論。
那麽，為什麽這能奏效呢？可能是因為神經網路捕捉到了真實大腦的結構本質。當然，人工神經網路的細節與生物大腦並不相同。但從某種意義上說，現代人工智慧的最大驚喜在於，似乎有足夠的普遍性使人工神經網路的行為方式在功能上與人類大腦相似，至少在視覺物體辨識或語言生成等方面是如此。
但科學領域的問題呢？在一個層面上，我們可以問神經網路能否模仿人類科學家的工作？但還有另一個層面：神經網路是否有可能直接研究出自然界中系統的行為方式？想象一下，我們正在研究某個物理過程。人類科學家可能會找到一些人類水平的系統描述，比如用數學公式來描述。但系統本身只是在直接做它所做的事情。問題是，神經網路能否捕捉到這一點。
如果神經網路之所以能 "完成類人類的任務"，只是因為它們在架構上與大腦相似，那麽我們就沒有理由認為它們應該能夠捕捉與大腦無關的 "原始自然過程"。那麽，人工智慧在預測蛋白質折疊這樣的事情時會發生什麽呢？
我猜想，故事的一部份是，盡管蛋白質折疊的物理過程與人類無關，但我們認為其中哪些方面是重要的，這個問題卻與人類有關。我們並不指望神經網路能預測出每個原子的確切位置（在自然環境中，蛋白質中的原子甚至沒有精確固定的位置）。相反，我們想知道的是蛋白質是否具有 "正確的總體形狀"，是否具有正確的 "可辨識特征"（例如\[Alpha]螺旋），或者是否具有正確的功能特性。現在，這些都是更 "人性化 "的問題（更多地體現在 "觀察者的眼中"），更像是我們人類判斷一幅影像是貓還是狗的問題。因此，如果我們得出結論認為神經網路 "解決了" 蛋白質如何折疊的 "科學問題"，那麽至少部份原因可能只是因為我們的大腦（"主觀"地）采用的成功標準是神經網路（具有類似大腦的架構）恰好能夠提供的。
這有點像用人工智慧生成影像。在人類基本視覺感知的層面上，它可能看起來像我們認識的東西。但如果我們仔細觀察，就會發現它 "客觀上" 並不是我們想象的那樣：
用 "第一原理物理學" 來弄清蛋白質是如何折疊的並不現實。因此，神經網路甚至能得到大致正確的答案這一事實令人印象深刻。那麽它們是如何做到的呢？其中很大一部份肯定是將蛋白質塊與訓練集中的內容進行有效匹配，然後找到 "合理" 的方法將這些蛋白質塊 "拼接" 在一起。但也可能有其他原因。人們對蛋白質中的某些 "規律性片段"（如\[Alpha]螺旋和\[Beta]薄片）並不陌生。但神經網路很有可能在有效地利用其他型別的規則性；它們以某種方式找到了我們不知道的可還原性的小塊。特別是如果只有少數幾個可還原性區域反復出現，它們就會有效地代表新的、普遍的 "科學成果"（例如，蛋白質結構中某種新的常見 "元特征"）。
不過，雖然從根本上說，最終一定會存在無限多的計算可還原性，但從一開始，我們就不清楚這些計算可還原性在我們關心的事物中會有多重要，也不清楚神經網路方法在發現這些計算可還原性方面會有多成功。我們可以想象，只要神經網路反映了我們大腦的基本運作，那麽它們就只能在我們人類也能輕易發現的情況下，比如透過觀察一些視覺化影像，找到可還原性的小塊。
但重要的一點是，我們的大腦通常只 "訓練" 過我們用感官隨時體驗到的數據：我們看到過相當於數十億張影像的東西，聽到過數以億計的聲音。但我們無法直接體驗分子的微觀運動，也無法直接體驗科學觀測和測量裝置所能提供的多種數據。
然而，神經網路可以在非常不同的 "感官體驗"中 "成長"起來，比如直接體驗 "化學空間"，或者 "元數學空間"，或者金融交易空間，或者生物有機體之間的交互作用，或者其他什麽。但在這種情況下，會存在什麽樣的計算可還原性呢？大多數情況下，我們並不知道。我們只知道與 "已知科學 "相對應的那些。但是，盡管我們可以預料一定會存在其他的小塊，但我們通常並不知道它們是什麽。
神經網路能否 "存取"它們？同樣，我們也不知道。很有可能，如果它們是可存取的，那麽就會有一些代表性——或者說視覺化——對我們來說是 "顯而易見 "的。但是，有很多方法都可能失敗。例如，可還原性在視覺上可能是 "顯而易見 "的，但僅限於三維體積，在三維體積中，我們甚至很難區分蓬松雲朵的不同結構。又或者，只有透過一些神經網路無法輕松處理的計算，才能揭示可還原性。
不可避免的是，有許多系統顯示出了計算上的不可還原性，而這些系統（至少是它們的完整形式）一定是任何 "捷徑方法" 所無法觸及的，無論是基於神經網路還是其他。但我們要問的是，當存在一個計算可還原性的口袋時，它是否能被神經網捕捉到。
但是，我們再次面臨這樣一個事實：不存在 "無模型模型"。某種特定的神經網路很容易捕捉到某些特定型別的計算還原性；而另一種神經網路則很容易捕捉到其他型別的計算還原性。是的，你總能構造出一個神經網路來逼近任何給定的特定函式。但是，在捕捉某種一般性的計算可還原性時，我們的要求要高得多——而我們能得到什麽，將不可避免地取決於神經網的底層結構。
但是，假設我們已經有了一個神經網路，它成功地在一個特定系統中找到了計算可還原性的關鍵。這是否意味著它能預測一切？通常不能。因為幾乎所有的計算可還原性都 "只是一個口袋"，而 "外面" 還有很多計算不可還原性（irreducibility）和 "驚喜"。
事實上，即使是在蛋白質折疊這樣的情況下，這種情況似乎也會發生。下面是一些我們認為結構相當簡單的蛋白質的例子，神經網路的預測結果（黃色）與物理實驗結果（灰色管）相當吻合：
但對於我們認為結構更為復雜的蛋白質來說，其一致性往往沒有那麽好：
這些蛋白質至少都與用於訓練神經網路的蛋白質相似。但是，那些截然不同的蛋白質呢？
我們很難知道神經網路在這裏能做得多好；特別是在出現 "意外" 的情況下，它很可能無法成功捕捉到這些 "意外"。(當然，生物學中通常出現的所有 "合理蛋白質" 都可能具有某些特征，因此將神經網路套用於 "非生物" 的隨機蛋白質可能是 "不公平的"（例如，在適應力免疫系統中，生物學確實有效地產生了至少很短的 "隨機蛋白質"）。
用人工智慧解方程式
在傳統的數學科學中，典型的設定是：這裏有一個系統的一些方程式，求解這些方程式可以找出系統的行為。在使用電腦之前，這通常意味著必須找到一些 "閉式" 的求解公式。但有了電腦，就有了另一種方法：進行離散的 "數值逼近"，以某種方式逐步求解方程式。不過，要得到準確的結果，可能需要許多步驟和大量的計算工作。那麽問題來了：人工智慧能否加快速度？尤其是，例如，人工智慧能否直接從方程式的初始條件到整體解決方案？
讓我們以數學物理中的一個經典問題為例：三體問題。給定透過反平方定律重力交互作用的三個點品質的初始位置和速度，品質會沿著什麽軌跡運動？這裏面有很多多樣性——通常也有很多復雜性——這就是為什麽三體問題一直是個難題：
但是，如果我們用大量的樣本解來訓練神經網路呢？它能找出任何特定情況下的解決方案嗎？我們將使用一個相當簡單的 "多層感知器" 網路：
我們給它輸入初始條件，然後要求它生成一個解。下面是它的幾個範例，正確的解由淺色背景路徑表示：
當軌跡相當簡單時，神經網路的表現還算不錯。但當事情變得越來越復雜時，它的表現就越來越差。這就好像神經網路已經 "成功記憶 "了簡單的情況，但在更復雜的情況下卻不知所措。最後，這與我們在上面預測細胞自動機前進演化（大概也包括蛋白質折疊）的例子中看到的情況非常相似。
沒錯，這又是一個計算不可約化的故事。要求一次就 "得到解"，實際上就是要求完全的計算可還原性。只要我們想象一下——只要我們知道如何去做——我們原則上就可以得到一個 "閉式公式" 來求解，這就隱含地假設了計算的可還原性。但幾十年來，我一直認為像三體問題這樣的問題實際上充滿了計算上的不可還原性。
當然，如果神經網路能夠 "破解難題" 並立即生成解，那就能有效證明計算的可重復性。但事實上，神經網路的明顯失敗為三體問題的計算不可簡化性提供了另一個證據。（順便提一下，雖然三體問題確實顯示出對初始條件的敏感依賴性，但這並不是主要問題，而是軌跡的實際內在復雜性）。
我們已經知道，像蜂窩自動機這樣的離散計算系統充斥著計算上的不可還原性。我們可能想象過，連續系統（例如用微分方程式描述的連續系統）會有更多的結構，從而以某種方式使它們避免計算上的不可還原性。事實上，就神經網路（通常的表述）涉及連續數而言，我們本以為它們能夠以某種方式切入連續系統的結構，從而預測它們。但不知何故，"計算不可還原性的力量" 似乎過於強大，最終將超出神經網路的能力範圍。
盡管如此，神經網路在解方程式等方面仍有很大的實用價值。傳統的數值逼近方法往往是局部地、漸進地（如果經常是自適應地）工作。但神經網路可以更輕松地處理 "大得多的視窗"，從某種意義上說，神經網路 "知道更長的行為執行"，並能 "跳過" 它們。此外，在處理大量方程式時（例如在機器人或系統工程中），神經網路通常可以 "接收所有方程式並做出合理的處理"，而傳統方法實際上必須逐個處理方程式。
三體問題涉及常微分方程式。但許多實際問題都是基於偏微分方程式（PDE）的，在偏微分方程式中，不僅是單個座標，整個函式 f[x] 等都會隨時間變化。是的，我們也可以在這裏使用神經網路，而且往往具有顯著的實際優勢。但計算的不可還原性又如何呢？許多在實踐中被研究得最多的方程式和情況（比如出於工程目的）都傾向於避免它，但總的來說，它肯定是存在的（尤其是在流體亂流等現象中）。而當存在計算上的不可還原性時，我們最終也不能指望神經網路能做得很好。但是，當涉及到滿足我們人類的目的時（就像我們討論過的其他例子一樣），情況可能會好一些。
例如，可以考慮預測天氣。歸根結底，這都是關於流體動力學的 PDE（當然，還有與雲等有關的其他效應）。作為一種方法，我們可以想象直接計算求解這些 PDE。但另一種方法是讓神經網路 "學習典型的天氣模式"（就像以前的氣象學家那樣），然後讓網路（有點像蛋白質折疊）嘗試將這些模式拼湊在一起，以適應出現的任何情況。
這會有多成功？這可能取決於我們在研究什麽。天氣的某些特定方面可能顯示出相當高的可計算性和可預測性，比如說神經網路。如果我們關心的是天氣的這個方面，我們可能會得出結論：神經網路做得很好。但是，如果我們關心的事情（"明天會下雨嗎？"）並沒有進入計算可還原性的口袋，那麽神經網路在預測天氣方面通常就不會成功。
多計算人工智慧
在迄今為止的討論中，我們主要關註的是人工智慧能否幫助我們 "超前" 並縮短某些計算過程。但在很多情況下，我們感興趣的反而是如何縮短所謂的多計算過程，在這種過程中，每一步都有許多可能的結果，而我們的目標是找到一條通往某種最終結果的路徑。
作為多計算過程的一個簡單例子，讓我們考慮一個在字串上執行的多路系統，在這個系統中，每一步我們都以所有可能的方式套用 {A
BBB, BB
A} 規則：
在這種情況下，我們可以問這樣一個問題：從 A 到 BABA 的最短路徑是什麽？在本例中，我們很容易計算出答案，比如在圖上明確執行尋路演算法：
有許多型別的問題都遵循同樣的一般模式。在棋譜圖中找出獲勝的下棋順序。透過可能性圖中的移動序列找到謎題的解。在給定公理的前提下尋找定理的證明。根據某些基本反應尋找化學合成途徑。總之，在解決眾多 NP 問題時，都有可能出現許多 "非確定 "的計算路徑。
在上面這個非常簡單的例子中，我們很容易顯式地生成整個多向圖。但在大多數實際例子中，這個圖會大得驚人。因此，我們面臨的挑戰通常是在不追蹤整個可能圖的情況下，找出應該采取的行動。一種常見的方法是設法為不同的可能狀態或結果打分，並只選擇分數最高的路徑。在自動定理證明中，"從初始命題向下 "和 "從最終定理向上 "的工作方式也很常見，試圖找出路徑在中間交匯的地方。還有一個重要的想法：如果我們已經建立了從 X 到 Y 有一條路徑的 "lemma"，那麽我們就可以在規則集合中添加 X->Y 作為新規則。
那麽，人工智慧可以提供哪些幫助呢？作為第一種方法，我們可以考慮采用類似上述字串多路系統的方法，訓練相當於語言模型的人工智慧來生成代表路徑的標記序列（或在數學環境中的證明）。我們的想法是向人工智慧提供一系列有效的序列，然後向它提供一個新序列的開頭和結尾，並要求它填入中間部份。
我們將使用一個相當基本的變壓器網路：
然後，我們給出大量與有效路徑相對應的標記序列（E 為 "結束標記"）來訓練它
以及表示沒有路徑的 "反面例子"：
現在，我們用訓練數據中出現的那種 "字首"來 "提示"經過訓練的網路，然後叠代執行 "LLM 風格"（實際上是零溫度，即總是選擇 "最有可能"的下一個標記）：
開始它做得很完美——但接近尾聲時它開始出錯，如紅色標記所示。不同的目的地，有不同的表現，有些情況一開始就偏離了軌域：
我們怎樣才能做得更好呢？一種可能性是，在每一步中，不僅保留被認為最有可能的標記，而且保留一疊標記——從而在實際上生成一個 "LLM 控制器 "有可能導航的多路系統（我們可以有點異想天開地把它想象成 "量子 LLM"，它總是在探索歷史的多條路徑）。
(順便說一句，我們還可以設想用許多不同的規則進行訓練，然後進行相當於零點學習的操作，並行出 "預提示"，指定我們在任何特定情況下要使用的規則）。
這種 LLM 方法的一個問題是，它所生成的序列甚至經常是 "局部錯誤" 的：根據給出的規則，下一個元素無法從前面的元素繼承下來。
不過，這也為我們提供了另一種方法。與其讓人工智慧嘗試 "立即填滿整個序列"，不如讓它只選擇 "下一步去哪裏"，並始終遵循指定的規則之一。那麽，訓練的一個簡單目標實際上就是讓人工智慧學會圖形的距離函式，或者換句話說，能夠估計出從任何一個節點到任何其他節點的最短路徑有多長（如果存在的話）。有了這樣一個函式，一個典型的策略就是遵循一條相當於 "最陡峭下降" 的路徑——在每一步都選擇人工智慧估計最能縮短到目的地距離的移動。
如何用神經網路來實作這一點呢？一種方法是使用兩個編碼器（例如由變壓器構成）——它們實際上會產生兩個嵌入，一個用於源節點，另一個用於目的節點。然後，網路結合這些嵌入，並學習一個 "度量" 來描述節點之間的距離：
在我們一直在討論的多路系統上訓練這樣一個網路——透過給它幾百萬個源-目的地距離的例子（加上這個距離是否是無限的指標）——我們可以用這個網路來預測多路系統的距離矩陣。我們發現，這個預測矩陣與實際矩陣相似，但絕對不完全相同：
不過，我們還是可以想象一下，在構建一條路徑時，我們每走一步都要計算神經網路預測的每個可能目的地的估計距離，然後選出 "最遠" 的那個：
這裏的每一步都保證是有效的，而且我們最終確實到達了目的地 BABA——雖然比真正的最短路徑多走了一點。盡管我們並沒有找到最優路徑，但神經網路至少讓我們對 "搜尋空間" 進行了一定程度的裁剪，它優先處理節點，只遍歷紅色邊：
(一個技術問題是，我們在這裏使用的特定神經網路具有這樣一個特性，即任何給定的一對節點之間的所有路徑總是具有相同的長度——因此如果找到任何一條路徑，都可以認為它是 "最短的"。
這樣的規則就不具備這個特性，為這條規則訓練的神經網路最終可能會找到到達正確目的地的路徑，但這些路徑並沒有那麽短）。
盡管如此，正如神經網路的典型特征一樣，我們無法確定這樣做的效果如何。神經網路可能會讓我們任意地 "偏離軌域"，甚至可能會把我們帶到一個節點，在那裏我們沒有通往目的地的路徑，因此如果我們想取得進展，就必須采用類似傳統演算法的回溯方法。
但至少在簡單的情況下，這種方法可能會很有效——人工智慧可以成功地找到一條贏得遊戲、證明定理等的路徑。但我們不能指望它總能奏效。原因就在於它會遇到多計算不可重復性的問題。就像在一個單一的 "計算執行緒" 中，計算的不可還原性意味著沒有捷徑可以 "走完計算的各個步驟"，所以在一個多途徑系統中，多計算的不可還原性意味著沒有捷徑可以 "沿著所有的計算執行緒"，然後看到，例如，哪條執行緒最終與哪條執行緒合並。
但是，盡管這在原則上是可能發生的，但在我們人類感興趣的情況下，它實際上會發生嗎？在遊戲或謎題之類的東西中，我們往往希望它很難，但又不希望太難才能 "贏"。說到數學和定理證明，我們在練習或比賽中使用的案例也同樣希望它很難，但不要太難。但說到數學研究和數學前沿，人們就不會立即想到會有這樣的限制。其結果就是，人們可能會面對多重計算的不可還原性。
然而，這個故事還有一個註腳，它與我們如何選擇數學的新方向有關。我們可以認為，在一個巨大的多向圖中，以各種可能的方式從其他定理建立定理，從而形成了一個元數學空間。但是，正如我們下面將要討論的那樣，其中的大部份細節與人類數學家所認為的 "做數學" 相去甚遠。相反，數學家們似乎隱含地在 "更高層次" 上做數學，他們在其中 "粗粒化" 了這種 "微觀元數學"（"microscopic metamathematics"）——就像我們研究物理流體時，盡管 "下面" 有許多復雜的分子運動，但我們可以用相對簡單的連續動力學來描述。
那麽，人工智慧能否在這種 "流體力學式" 的層面上幫助數學呢？有可能，但主要是提供程式碼方面的幫助。比如說，我們想用 Wolfram 語言表達一些東西。但我們需要 "LLM 風格" 的幫助，才能將我們的非正式概念轉化為明確的計算語言。只要我們正在做的事情遵循的是以前做過的事情的結構模式，我們就可以期待像 LLM 這樣的東西來幫助我們。但是，只要我們所表達的是 "真正的新"，只要我們的計算語言不涉及太多的 "樣版"，就很難想象一個受過前人訓練的人工智慧會有多大幫助。相反，我們實際上要做的是一些多計算的不可還原計算，讓我們能夠探索到計算宇宙和規則的某個全新部份。
探索系統空間
"能找到一個能做X的系統嗎？"比方說，一台圖靈機可以執行很長時間才停止。或者一個細胞自動機，它可以生長，但生長速度非常緩慢。或者，具有某種特殊性質的化學物質。
這個問題與我們目前討論的問題有些不同。它不是要找出一條特定的規則，然後看看它的後果是什麽。而是要找出有哪些規則可能會產生某些後果。
給定一些可能的規則空間，一種方法就是窮舉搜尋。從某種意義上說，這最終是唯一 "真正無偏見" 的方法，即使在人們意想不到的情況下，也能發現需要發現的東西。當然，即使進行了窮舉搜尋，我們仍然需要一種方法來確定某個候選系統是否符合我們設定的標準。但現在這就是預測計算的問題了。
好吧，但我們能比窮舉式搜尋做得更好嗎？比如說，我們能不能找到一種方法，在不必研究每一條規則的情況下，找出需要探索的規則？有一種方法類似於生物前進演化中的自然選擇：比如說，從一條特定的規則開始，然後逐步改變它（也許是隨機改變），每一步都保留最合適的一條或幾條規則，放棄其他規則。
這並不是我們在這裏定義的 "人工智慧"（它更像是 "遺傳演算法"）——雖然它有點像神經網路的內部訓練環。但它能起作用嗎？嗯，這取決於規則空間的結構（the structure of the rule space）——而且，正如人們在機器學習中看到的那樣，它傾向於在高維規則空間中比在低維規則空間中工作得更好。因為維度越高，"卡在局部最小值" 的可能性就越小，就越不可能找到 "更好的規則"。
一般來說，如果規則空間就像一個復雜的碎形山景，那麽我們就有理由期望可以循序漸進地取得進展（也許人工智慧方法（如強化學習）可以幫助我們完善循序漸進的步驟）。但是，如果山形非常平坦，比如說只有一個 "洞"（"高爾夫球場式"），我們就不能指望循序漸進地 "找到洞"。那麽，規則空間的典型結構是什麽呢？當然有很多情況下，規則空間總的來說相當大，但維數卻不多。在這種情況下（例如，尋找停止時間較長的小型圖靈機），似乎經常會有 "孤立的解"，無法以增量的方式找到。但當維度增多時，相當於計算不可簡化性的東西似乎就能或多或少地保證，會出現一種 "足夠隨機的景觀"，增量方法就能做得很好，就像我們近年來在機器學習中看到的那樣。
那麽人工智慧呢？人工智慧是否有辦法學會如何 "直接在規則空間中挑選贏家"，而不需要任何增量過程？我們是否有可能找到某種 "嵌入空間"，在這個空間裏，我們想要的規則以一種簡單的方式呈現出來，從而有效地為我們 "預先確定"？歸根結底，這取決於規則空間是什麽樣的，以及探索規則空間的過程是否必然是（多）計算不可還原的，或者至少我們所關心的方面是否可以透過計算可還原的過程來探索。(順便說一句，試圖用人工智慧直接找到具有特定內容的系統，有點像試圖用人工智慧直接從數據中生成神經網路，而不進行增量訓練）。
讓我們來看一個基於細胞自動機的簡單例子。假設我們想找到一種細胞自動機規則，當它從單細胞初始條件前進演化而來時，會生長一段時間，但在經過特定的、精確的步數後就會消亡。我們可以嘗試用一種非常簡單的類似人工智慧的 "前進演化" 方法來解決這個問題：從一個隨機規則開始，然後每 "代" 產生一定數量的 "子代" 規則，每個規則都有一個隨機改變的元素，然後保留這些規則中 "最好"。如果我們想找到一條能 "存活" 整整 50 步的規則，那麽我們就把 "最佳" 定義為能使 "損失函式" 最小化的規則，"損失函式" 等於一條規則實際 "存活" 的步數與 50 步之間的距離。
例如，我們從隨機選擇的（3 種顏色）規則開始：
我們的規則前進演化序列（這裏只顯示
的 "結果值"）可能是這樣的：
如果我們觀察一下這些規則的行為，就會發現它們在經歷了一個不吉利的開端之後，成功地前進演化出了一條符合 "恰好活 50 步" 標準的規則：
我們在這裏展示的是一條隨機選擇的 "前進演化路徑"。但其他路徑會怎樣呢？下面是一組路徑的 "損失" 演變過程（歷經 100 代）：
而我們看到的是，這裏只有一個 "贏家" 實作了零損失；在所有其他路徑上，前進演化都 "卡住了"。
不過，正如我們前面提到的，"維度" 越多，卡住的可能性就越小。因此，舉例來說，如果我們看一下四色細胞自動機的規則，現在有 64 個而不是 27 個可能的元素（或實際上的維度）可以改變，在這種情況下，許多前進演化路徑都會 "更進一步"。
還有更多的 "贏家"，如：
神經網路在這方面能給我們帶來什麽幫助呢？只要我們能用它們來預測細胞自動機的演化，它們就可能給我們提供一種方法，來加快相當於計算每條候選規則的損失的過程。另一種可能是，和上一節一樣，我們可以嘗試使用神經網路來指導我們在每一代中做出哪些隨機改變。但是，雖然計算的不可還原性可能有助於使事情 "足夠有效地隨機"，從而使我們不會陷入困境，但它卻使神經網路之類的東西很難成功地告訴我們 "該走哪條路"。
科學即敘事
在很多方面，我們都可以把科學的本質（至少是傳統意義上的科學）看作是把世界上存在的東西，以我們人類可以思考的形式呈現出來。實際上，我們希望科學能夠為發生在自然界的事情提供一種人類可以理解的敘事方式。
現在，計算的不可還原性現象告訴我們，這往往最終是不可能的。但是，只要存在計算的可還原性，就意味著至少有某種對部份事情的還原描述。但這種還原描述是人類可以合理預期理解的嗎？比如，它能否用文字、公式或計算語言簡明扼要地表述出來？如果可以，我們就可以認為它代表了一種成功的 "人類水平的科學解釋"。
那麽，人工智慧能否幫助我們自動建立這樣的解釋呢？要做到這一點，從某種意義上說，它必須有一個我們人類理解的模型，以及我們如何用語言表達這種理解等等。說 "這裏有 100 個計算步驟可以產生這樣的結果" 並沒有什麽用。要想得到 "人類水平的解釋"，我們需要把它分解成人類可以吸收的碎片。
舉例來說，請看一個由自動定理證明生成的數學證明：
電腦可以很容易地檢查出這是正確的，因為每一步都是承前啟後的。但是，我們在這裏看到的是一個非常 "非人類的東西"——關於它沒有現實的 "人類敘事"。那麽，怎樣才能做出這樣的敘述呢？從根本上說，我們需要一些熟悉的 "路標"（waypoints）。當然，也可能沒有這樣的東西。因為我們所擁有的可能是穿越 "未知元數學領域 "的證明。因此，無論是否有人工智慧的輔助，人類數學今天的存在可能只是不具備讓我們創造人類水平的敘述的原材料。
在實踐中，當證明步驟之間的 "元數學距離" 相當短時，認為可以給出人類水平的解釋是現實的。而我們所需要的，與 Wolfram|Alpha 在逐步解釋其答案時所做的非常相似。人工智慧能幫忙嗎？有可能，就像我們上面提到的人工智慧輔助多重計算的第二種方法。
順便說一句，我們在 Wolfram 語言方面所做的努力也很有幫助。因為我們的計算語言的整個理念就是捕捉 "計算工作中的常見問題"，並將其作為內建構造。計算的不可還原性告訴我們，我們永遠無法為所有計算找到這樣的途徑點。但是我們的目標是找到能夠捕捉當前範式和當前實踐的方法點，以及定義擴充套件這些方法點的方向和框架。
證明和計算語言程式是結構化 "科學敘述" 的兩個例子。與科學的數學傳統相一致的一個可能更簡單的例子是一個純粹的公式。"這是一個冪律""這是指數之和"。等等。人工智慧能在這方面提供幫助嗎？像 FindFormula 這樣的函式已經在使用機器學習技術來獲取數據，並嘗試生成一個 "合理的公式"。
下面是它對前 100 個質數的處理情況：
如果增加到 10 000 個質數，結果會更加復雜：
或者，假設我們詢問各國國內生產毛額與人口之間的關系。那麽我們可以得到如下公式
但這些公式意味著什麽（如果有的話）？這有點像證明步驟等。除非我們能把公式中的內容與我們已知的事物（無論是數論還是經濟學）聯系起來，否則通常很難從中得出什麽結論。也許除了在一些罕見的情況下，我們可以說 "是的，這是一個新的、有用的定律"——就像克卜勒第三定律的這個 "推導"（0.7是2/3的一個很好的近似值）：
在辨識數位方面，還有一個更簡單的例子。在 Wolfram|Alpha 中輸入一個數位，它就會告訴您這個數位的 "可能封閉形式"：
這裏面有各種各樣的權衡，有些是非常人工智慧的。與擁有一個簡單的公式相比，正確計算更多數位的相對重要性如何？公式中的簡單數位與 "更晦澀" 的數學常量（例如，π 與 Champernowne 數位）相比又如何呢？15 年前，當我們為 Wolfram|Alpha 建立這個系統時，我們使用數學文獻中常數的負對數頻率來代表其 "資訊含量"。有了現代 LLM 技術，我們也授權以更全面地為一個數位找到 "好的科學敘述"。
不過，讓我們回到預測細胞自動機前進演化等過程的結果上來。在前面的章節中，我們討論了讓神經網路來做這種預測。我們認為這本質上是一種 "黑箱 "方法：我們想看看能否讓神經網路成功做出預測，但我們並不要求對這些預測有 "人類水平的理解"。
在機器學習領域，這是一個無處不在的故事。人們訓練神經網路，成功地進行預測、分類或其他工作。但如果 "觀察內部"，就很難看出到底發生了什麽。下面是套用影像辨識神經網路的最終結果：
下面是經過大約一半網路層後產生的 "中間想法"：
也許這裏有些東西是 "貓性的明確特征"。但這並不屬於我們當前的科學詞匯——因此我們無法用它來編寫 "科學敘事"，解釋應該如何解讀影像。
但是，如果我們可以將影像簡化為幾個參數（比如使用我們上面討論過的那種自動編碼器）呢？可以想象，我們可以透過設定，最終得到 "可解釋的參數"——或者換句話說，我們可以對參數的含義進行敘述性解釋。例如，我們可以想象使用類似於 LLM 的東西來挑選參數，這些參數與網路上出現的解釋性文本中的單詞或短語（"尖銳度"、"碎形維度 "等）在某種程度上是一致的。是的，這些詞或短語可以基於類比（"仙人掌狀"、"卷雲狀" 等）——像 LLM 這樣的東西可以 "創造性地" 想出這些名字。
但歸根結底，我們並不能說，由某個自動編碼器挑選出來的計算可還原性口袋，就一定能與我們人類尚未探索過的概念（科學概念或其他概念）保持一致，或者說，迄今為止，我們還沒有給這些概念賦予文字。事實上，在整個宇宙中，我們極有可能會發現自己處於 "概念間空間"（interconcept space）中，無法創造出我們認為有用的科學敘事。
不過，這有點取決於我們如何限制我們正在研究的東西。我們可以含蓄地把科學定義為對現象的研究，對於這些現象，我們在某個時期已經成功地發展出了一種科學敘事。在這種情況下，當然不可避免地會存在這樣一種說法。但是，即使給定了固定的觀察或測量方法，隨著我們的探索，計算的不可還原性基本上也不可避免地會導致 "驚喜"，從而打破我們之前使用的科學敘述。或者換句話說，如果我們真的要發現新的科學，那麽不管是人工智慧還是其他，我們都不能指望有一個基於已有概念的科學敘事。我們所能寄予的最大希望也許就是，我們能夠找到一些可還原性的小塊，而人工智慧能夠 "理解" 我們和我們的思想史，從而能夠提出一條我們應該學習的新概念的可控路徑，以便為我們的發現發展出一套成功的科學敘事。
尋找有趣之處
進行開放式科學研究的核心是找出 "什麽是有趣的"。比方說，我們只需列舉細胞自動機的集合：
那些 "死掉的 "或者 "做成統一模式的""看起來並不有趣"。人們第一次看到細胞自動機產生的巢狀模式時，可能會覺得很有趣（1981 年的我就是這樣）。但很快，它就變得習以為常了。至少從基本規則學的角度來看，人們最終要尋找的是 "驚喜"：一種以前從未見過的新行為。(如果我們關註的是具體的套用，比如對世界上特定系統的建模，那麽我們可能會轉而關註具有特定結構的規則，無論它們的行為是否 "抽象地看起來有趣"）。
人們能夠期待 "驚喜"（事實上，能夠進行有用的、真正開放式的科學研究），是計算不可還原性的結果。而無論何時出現 "缺乏驚喜"，基本上都是計算可還原性的標誌。這就使得人工智慧和神經網路能夠學會辨識至少某些型別的 "異常 "或 "驚喜"，從而發現某種版本的 "有趣之處"。
通常，基本思路是讓神經網路學習數據的 "典型分布"，然後找出與之相對的異常值。例如，我們可以檢視大量的細胞自動機模式，學習它們的 "典型分布"，然後將其投影到二維特征空間，指出某些特定模式的位置：
有些模式出現在機率較高的分布區，而有些則出現在機率較低的分布區，這些就是離群值：
這些異常值 "有趣"嗎？這取決於你對 "有趣"的定義。說到底，這就是 "看客的眼睛"。在這裏，"看客"就是神經網路。是的，我不會選擇這些特定的模式。但相對於 "典型模式"，它們至少看起來 "有些不同"。這大概就像神經網路區分貓狗圖片的故事一樣：神經網路做出的判斷至少與我們的判斷有些相似（也許是因為我們的大腦結構就像神經網路）。
好吧，但神經網路 "本質上覺得有趣"的是什麽呢？如果神經網路是經過訓練的，那麽它就會在很大程度上受到從訓練中獲得的 "文化背景"的影響。但是，如果我們只是用給定的架構建立神經網路，然後隨機選擇它們的權重呢？假設它們是計算函式 f(x) 的神經網路。下面是它們計算的函式集合的例子：
不難理解，這些函式在很大程度上反映了我們神經網路節點上的基本啟用函式。但是我們可以看到——有點像隨機行走過程——"更極端"的函式不太可能由具有隨機權重的神經網路產生，因此可以認為神經網路 "本質上更令人驚訝"。
但是，好吧，"驚喜"是 "有趣"的一個潛在標準。但還有其他標準。為了了解這一點，我們可以看看可以列舉出來的各種構造物，我們可以問一問哪些可能的構造物我們認為 "足夠有趣"，例如，我們已經對它們進行了研究，給它們起了特定的名字，或將它們記錄在登記冊中。
第一個例子是碳氫化合物分子家族：烷烴。任何此類分子都可以用樹狀圖來表示，樹狀圖中的節點與碳原子相對應，且化合價最多為 4。碳原子數為 10 或更少的烷烴共有 75 種，所有這些烷烴通常都會出現在標準化學品列表中（以及 Wolfram 知識庫中）。但是，只有一些碳原子數為 10 的烷烴 "足夠有趣"，才會被列入我們的知識庫（匯總不同的登錄檔，會發現有更多的烷烴被列入，但是碳原子數為 11 的 159 個烷烴中至少有 42 個似乎總是 "失蹤"，因此這裏沒有突出顯示）：
從這個意義上說，是什麽讓一些烷烴被認為比其他烷烴 "更有趣" 呢？從操作上來說，這是一個是否對其進行過研究的問題，比如在學術文獻中。但這是由什麽決定的呢？部份原因在於它們是否 "出現在自然界中"。有時（比如在石油或煤炭中），烷烴是透過相當於 "隨機反應" 的方式形成的，在這種反應中，不分支的分子往往會受到青睞。但是，烷烴也可以在生物系統中，透過酶的精心策劃而產生。但無論它們來自哪裏，似乎人們更熟悉的烷烴似乎 "更有趣"。那麽，"驚喜" 又是什麽呢？一個 "驚喜烷烴"（比如說在實驗室裏透過明確的合成）是否被認為是 "有趣的"，可能首先取決於它是否被認定具有 "有趣的性質"。而這又往往是一個它的特性如何融入整個人類知識和技術網路的問題。
那麽，人工智慧能否幫助我們確定哪些烷烴可能會引起我們的興趣呢？傳統的計算化學或授權以透過人工智慧來加速，從而確定不同烷烴 "隨機產生"的速率。而在一個完全不同的方向上，分析學術文獻分析（比如說用 LLM ）有可能預測某種烷烴會被研究或談論的程度。或者（這一點與候選藥物尤其相關），我們是否可以從學術文獻等東西中發現 "如果我們能找到一種可以____的分子就好了"的蛛絲馬跡。
另一個例子是數學定理。與化學原理一樣，我們原則上也可以從公理出發，列舉出可能的數學定理，然後看看從這些公理可以逐步推匯出哪些定理。下面是從一些典型的邏輯公理出發，分兩步來說明：
這裏有大量 "無趣的"（通常看起來非常迂腐）定理。但在所有這些定理中，有兩個足夠有趣，以至於邏輯教科書通常會給它們命名（"冪等律"）。有沒有辦法確定一個定理是否會被命名呢？人們可能會認為這純粹是一個歷史問題。但至少在邏輯學中，似乎有一個系統的模式。比方說，我們列舉邏輯定理時，從最簡單的定理開始，按詞典順序依次排列。列表中的大多數定理都可以從前面的定理推匯出來。但也有少數定理是不可推導的。而這些定理基本上就是那些通常被命名（並在此突出顯示）的定理：
或者換句話說，至少在基本邏輯這個相當受限的情況下，那些被認為有趣到足以被命名的定理是那些 "用新資訊給我們帶來驚喜"的定理。
如果我們在 "元數學空間"中進行更廣泛的考察，就能根據經驗了解那些 "被認為有趣"的定理的位置：
人工智慧能預測這一點嗎？我們當然可以根據現有的數學文獻和其中的幾百萬條定理，建立一個經過訓練的神經網路。然後，我們可以開始向這個神經網路輸入透過系統列舉發現的定理，並要求它判斷這些定理作為可能出現在數學文獻中的事物的可信度。在我們的系統性列舉中，我們甚至可以讓神經網路來判斷哪些 "方向"可能是 "有趣的"——就像我們上面 "人工智慧輔助穿越多路系統"的第二種方法一樣。
但是在尋找 "真正的新科學"（或數學）時，這就有問題了，因為從現有文獻中訓練出來的神經網路基本上會尋找 "更多相同的東西"。就像同行評議的典型操作一樣，它所 "接受"的是 "主流"和 "不太令人驚訝"的東西。那麽，計算的不可還原性必然意味著會有驚喜，這些驚喜又是什麽呢？顧名思義，它們不會 "容易還原 "到之前已經看到的東西。
是的，它們可以提供新的事實。它們甚至可能有重要的套用價值。但是，至少在一開始，往往不會有一種 "人類可以理解的敘述"能夠 "觸及"他們。而要創造這樣的敘事，就需要我們人類將一些新的概念內化，並最終變得耳熟能詳。(是的，正如我們在上面所討論的，如果某些特定的新概念或新定理似乎是觸及事物的 "紐帶"，那就會成為值得我們 "添加"的概念的目標）。
但歸根結底，我們想要內化哪些 "新事實"或 "新方向"，還是有一定的隨意性。是的，如果我們朝著一個特定的方向前進，它可能會將我們引向某些思想、技術或活動。但抽象地說，我們並不知道哪個方向是 "正確的"；至少在第一種情況下，這似乎是人類選擇的典型問題。不過，還有一個潛在的問題。如果我們的人工智慧對人類心理和社會有足夠的了解，能夠預測 "我們會喜歡什麽"呢？起初，它們似乎可以成功地 "選擇方向"。但計算的不可重復性再一次阻礙了我們，因為最終在我們 "到達那裏"之前，我們無法 "知道我們會喜歡什麽"。
我們可以將這一切與生成式人工智慧聯系起來，例如生成影像或文本。一開始，我們可以想象列舉由任意像素陣列組成的影像。但其中絕大部份影像對我們來說根本不 "有趣"，它們在我們看來只是 "隨機噪音"：
透過在數十億張人類選擇的影像上訓練神經網路，我們可以讓它生成 "與我們發現的有趣事物大致相同"的影像。有時，生成的影像可以被辨識，以至於我們能夠對 "它們看起來像什麽"做出 "敘述性解釋"：
但很多時候，我們會發現自己的影像 "在概念空間之外"：
這些 "有趣"嗎？這很難說。掃描觀察這些影像的人的大腦，我們可能會註意到一些特殊的訊號（也許人工智慧可以學會預測這些訊號）。但如果某種型別的 "概念間影像"變得流行起來，比如說，開始被認定為一種人們熟悉的藝術，那麽這種訊號就不可避免地會發生變化。
最後，我們又回到了同一個問題上：如果我們作為一個文明的選擇使事物變得 "有趣"，那麽事物最終還是 "有趣"的。在我們的選擇之前，人工智慧或任何東西都無法 "去發現""有趣"的抽象概念。
科學也是如此。我們無法抽象地知道在所有可能性中 "什麽是有趣的"；這最終取決於我們在 "殖民"這個世界時所做出的選擇。
但是，如果我們不去涉足 "荒野"，而是緊緊圍繞科學界已經完成的工作和已經 "被認為有趣 "的東西，那會怎樣呢？人工智慧能幫助我們擴充套件已有的東西嗎？作為一個實際問題，至少在輔以我們的計算語言作為工具時，答案在某種程度上肯定是肯定的。例如，LLM 應該能夠按照學術論文的模式寫出一些東西，而 "原創性 "則來自於 LLM 所使用的隨機性。
這種方法能走多遠呢？現有的學術文獻肯定漏洞百出。在系統 X 中研究了現象 A，在系統 Y 中研究了現象 B，但反之亦然，等等。我們可以期待，人工智慧——尤其是LLM——能夠在辨識這些漏洞方面發揮作用，並在實際上 "規劃" 哪些科學（根據這一標準）是有趣的。除此之外，我們還可以預期，像 LLM 這樣的東西將有助於繪制出 "通常和慣常" 的科學路徑。(在實際 "做科學" 的時候，我們實際的計算語言工具——和計算控制的實驗裝置——可能會是通常更核心的東西。
但是，假設我們已經為科學確定了某個主要目標（"找出逆轉衰老的方法"，或者稍微謙遜一點，"解決冷凍問題"）。在給出這樣一個目標的時候，我們指定了一些我們認為 "有趣"的東西。然後，達到這個目標的問題至少在概念上就像尋找定理證明或化學物質的合成途徑一樣。有一些 "我們可以做的動作"，我們需要找出如何把這些動作 "串聯起來"，以達到我們想要的目標。但不可避免的是，（多）計算的不可還原性會帶來一個問題：我們可能需要采取不可還原的步驟才能得到結果。即使我們可能認為最終目標是 "有趣的"，也不能保證我們會發現中間的步驟哪怕只有一點點有趣。事實上，在許多證明中，以及在許多工程系統中，人們可能需要在大量令人痛苦的細節基礎上才能得到最終 "有趣的結果"。
但是，讓我們來更多地討論一下研究什麽的問題，或者，實際上，什麽是 "有趣的研究"。"正常科學"往往關註的是循序漸進，保持現有範式，但逐步填補和擴充套件現有範式。通常，最富饒的領域是在現有的成熟領域之間的界面上。一開始，不同的科學領域最終是否應該結合在一起並不明顯。但考慮到 "規則 "概念是最終的基礎結構，這似乎就不那麽令人驚訝了。盡管如此，要想真正弄清不同科學領域如何 "編織在一起"，我們往往不得不在非常不同的描述性框架之間找出，或許最初非常令人驚訝的類比。"元數學中的可判定理論就像物理學中的黑洞"；"語言中的概念就像尺度空間中的粒子"；等等。
在這一領域，我們可以期待LLM有所幫助。在看到一個領域的 "語言模式" 之後，我們可以期待他們能夠看到其在另一個領域的對應關系——可能會產生重要的後果。
但是，科學的新方向又是什麽呢？從歷史上看，這些新方向往往是套用了某種新的實用方法（比如用於做一種新的實驗或測量）的結果。但通常，最大的挑戰之一是如何認識到自己看到的東西實際上是 "有趣的"。而要做到這一點，實際上往往需要建立一些新的概念框架或範式。
那麽，我們在這裏討論的 AI 能做到這一點嗎？似乎不太可能。人工智慧通常是在現有人類材料基礎上訓練出來的，目的是直接從中推斷。它不是為了 "到荒野（wilds of the ruliad）中去"而建造的，遠離任何已經與人類有聯系的東西。
但從某種意義上說，這就是 "任意計算"的範疇，也是我們在魯裏亞學中可能列舉或隨意挑選的簡單程式的範疇。是的，透過進入 "魯裏亞學的荒野（wilds of the ruliad）"，我們很容易找到目前尚未被科學同化的新鮮事物。不過，挑戰在於如何將它們與我們人類目前 "理解 "或 "覺得有趣 "的事物聯系起來。而這一點，正如我們之前所說的，本質上涉及人類的選擇和人類歷史的缺陷。有無數條道路可以選擇。(事實上，在一個 "人工智慧社會 "中，可能會有人工智慧去追求其中的某一條道路）。但歸根結底，對我們人類和我們通常稱之為 "科學 "的事業來說，重要的是我們的內在體驗。而這一切，最終都得由我們自己來形成。
超越「精確科學」
在物理科學等領域，我們已經習慣了能夠發展出廣義理論的想法，這些理論能夠做一些事情，比如進行定量預測。但在許多領域（例如生物科學、人文科學和社會科學），我們傾向於以不那麽正式的方式來運作，像長鏈的成功理論推論這樣的事情在這些領域基本上聞所未聞。
那麽，人工智慧能否改變這種狀況呢？似乎有一些有趣的可能性，尤其是圍繞人工智慧所能實作的新型 "測量"。"這些藝術品有多相似？""這些生物的形態有多接近？""這些神話有多大不同？"這些問題，過去人們大多只能透過寫文章來解決。但現在，人工智慧有可能給我們提供一條道路，讓這些事情變得更加明確，並在某種意義上量化。
通常情況下，關鍵的想法是找出如何獲取 "非結構化的原始數據"，並從中提取 "有意義的特征"，從而以正規、結構化的方式加以處理。而讓這一切成為可能的主要原因是，我們的人工智慧已經在反映 "我們世界中典型事物" 的大型語料庫中接受過訓練，並且實際上已經形成了對世界的明確內部表征，例如，可以用數位列表來描述事物（如上文所述）。
這些數位意味著什麽？一開始我們通常不知道；它們只是某個神經網路編碼器的輸出。但重要的是，它們是確定的、可重復的。在輸入相同數據的情況下，我們總會得到相同的數位。更重要的是，當數據對我們來說 "看起來相似" 時，我們往往會給它分配附近的數位。
在物理科學這樣的領域，我們期望建造特定的測量裝置來測量我們 "知道如何解釋" 的量。但人工智慧更像是一個黑盒子：有些東西正在被測量，但至少在一開始，我們並不一定對它有任何解釋。有時，我們可以進行訓練，將我們知道的一些描述聯系起來，這樣我們至少可以得到一個粗略的解釋（如情感分析）。但很多時候我們並不能做到這一點。
(不得不說，即使在物理科學中也會發生類似的情況。比方說，我們測試一種材料是否能刮擦另一種材料的表面。我們大概可以把它理解為材料的某種硬度，但實際上這只是一種測量，如果我們能成功地把它與其他事物聯系起來，它就會變得很重要）。
"人工智慧測量"特別值得註意的一點是，它們可以從大量非結構化數據中找出 "小訊號"。我們習慣於用統計等方法對結構化的數位數據進行類似處理。但是，如果要從數十億個網頁中找出喜歡科學的孩子通常更喜歡貓還是狗，那就是另一回事了。
但是，對於 "人工智慧測量"，我們能指望它做些什麽呢？這一切都還不是很清楚，但我們至少有可能開始找到正式的關系。也許它將是一種涉及數位的量化關系；也許它將更好地由一個程式來表示，這個程式描述了一個計算過程，透過這個過程，一個測量結果會導致其他測量結果。
一段時間以來，在定量金融等領域，人們經常發現一些簡單的 "人工智慧測量"（AI measurements）之間的關系，而且主要關註的是它們是否有效，而不是它們為什麽有效，或者人們如何對它們進行敘述性描述。
從某種意義上說，試圖在無法解釋的 "黑箱"人工智慧測量結果基礎上建立科學似乎並不令人滿意。但在某種程度上，這只是我們經常做的事情的加速版本，比如日常用語。我們接觸到一些新的觀察或測量結果。最終，我們會發明一些詞語來描述它（"它看起來像一個碎形"，等等）。然後我們就可以開始 "用它來推理"，等等。
但人工智慧測量可能是更豐富的可形式化材料來源。但我們應該如何進行形式化呢？計算語言似乎是關鍵。事實上，我們在 Wolfram 語言已經有了一些例子，在這些例子中，ImageIdentity 或 TextCases（或者 LLMFunction）等函式可以有效地進行 "人工智慧測量"，然後我們可以將它們的結果符號化。
在物理科學中，我們常常想象我們只是在進行 "客觀測量"（盡管我最近提出的 "觀察者理論 "暗示，實際上我們作為觀察者的本質甚至是至關重要的）。但人工智慧的測量似乎有某種直接的 "主觀性"（"subjectivity"），而且它們的細節（比如說，與神經網路編碼器的特殊性相關的細節）確實會因我們使用的每一個不同的人工智慧而不同。但重要的是，如果人工智慧是在大量人類經驗的基礎上訓練出來的，那麽它就會有一定的魯棒性。從某種意義上說，我們可以把許多人工智慧測量看作是 "社會觀察者"（societal observer）的輸出，它使用了類似於人類經驗的全部內容，並在這樣做的過程中獲得了某種 "中心性"和 "慣性"。
我們能期望在 "社會觀察者"測量的基礎上建立什麽樣的科學呢？大部份情況下，我們還不知道。我們有理由認為（就像物理學和元數學的情況一樣），這種測量可能會挖掘出一些計算上的可還原性。如果是這樣的話，我們就可以期待，我們將能夠開始做一些事情，比如進行預測，盡管可能只是針對我們會發現很難解釋的 "人工智慧測量 "的結果）。但是，透過將這些人工智慧測量結果與計算語言聯系起來，我們似乎有可能在以前從未有過可能的地方開始構建 "形式化科學"（formalized science），並以此擴充套件我們可能稱之為 "精確科學 "的領域。
(順便提一下，現代人工智慧的另一個前景廣闊的套用領域是建立 "可重復角色"：具有某些特征的實體，其行為實際上與人類相似，但可以在這些實體上進行物理科學中典型的大規模可重復實驗）。
那麽……人工智慧將為科學帶來什麽？
一開始，人們可能會對科學的存在感到驚訝。為什麽我們可以在世界上發現規律性，從而形成 "科學敘事"？事實上，我們現在已經從 "ruriad "概念等事物中知道，計算的不可還原性不可避免地無處不在，隨之而來的是基本的不規則性和不可預測性。但事實證明，計算的不可還原性的存在本身必然意味著，一定存在著計算的可還原性區域，在這些區域裏，至少某些事情是有規律的、可預測的。而正是在這些可還原性的範圍內，科學才從根本上得以生存，我們才試圖與這個世界打交道。
那麽，這與人工智慧有什麽關系呢？我們在這裏討論的訓練有素的神經網路等事物的整個故事，就是一個利用計算可還原性的故事，尤其是計算可還原性在某種程度上與人類大腦所使用的計算可還原性是一致的。過去，捕捉和利用計算還原性的主要方式是開發描述事物的正式方法，通常是使用數學和數學公式。人工智慧實際上提供了一種利用計算可還原性的新方法。通常情況下，它的工作原理並沒有人類層面的敘述；只是在一個訓練有素的神經網路中，我們設法捕捉到某些規律性，從而使我們能夠做出某些預測。
從某種意義上說，這些預測往往很有 "人類風格"，在我們看來往往 "大致正確"，盡管在精確的形式細節層面它們並不完全正確。從根本上說，它們依賴於計算的可還原性（reducibility），而當計算的不可還原性出現時，它們或多或少都會不可避免地失敗。從某種意義上說，人工智慧是在進行 "淺層計算"，但當存在計算不可還原性時，我們就需要進行不可還原的深層計算，才能知道會發生什麽。
即使是在使用傳統數學結構的過程中，也有很多地方，人工智慧所做的並不能滿足我們對科學的期望。但也有一些地方，即使傳統方法無法實作，"人工智慧式科學" 也能取得進展。如果一個人在做精確求解單個方程式（比如，ODE）這樣的事情，人工智慧可能不是最好的工具。但如果一個人有一大堆方程式（比如機器人學），即使傳統方法會完全陷入細節的泥潭，人工智慧也可能成功地對將要發生的事情做出有用的 "粗略估計"。
機器學習和人工智慧技術的一個普遍特點是，如果一個近似（"80%"）的答案已經足夠好，那麽它們就會非常有用。但當人們需要更 "精確" 和 "完美" 的答案時，它們往往會失敗。而在科學領域，有很多工作流程（可能還有更多可以確定的流程）正是人們所需要的。"為某些事情挑選候選案例"。"找出一個可能很重要的特征"。"提出一個可能的探索問題"。
不過，這也有明顯的局限性，尤其是在計算不可還原的情況下。從某種意義上說，典型的人工智慧科學方法並不涉及明確的 "形式化事物"。但在科學的許多領域，形式化恰恰是最有價值的，也是能夠獲得大量成果的關鍵所在。近來，我們有了一個強大的新想法，那就是透過計算把事物形式化，尤其是使用計算語言來實作這一點。
有了這樣一種計算形式化，我們就能開始進行不可還原的計算，從而獲得我們無法預料的發現。例如，我們可以列舉可能的計算系統或過程，並行現 "根本性的驚喜"。在典型的人工智慧中，隨機性為我們的探索提供了一定程度的 "原創性"。但從根本上說，它比我們透過實際的不可還原計算所能達到的水平要低。
那麽，我們應該如何期待人工智慧在科學領域的發展呢？從某種意義上說，我們已經有了一種新的、類似於人類的方式來利用計算的還原性。這是一種新的科學工具，註定會有很多實際用途。不過，就發現的基本潛力而言，它與我們可以從計算範式和我們所做的不可還原計算中建立的東西相比，還是相形見絀。但是，可能給我們帶來推動科學進步的最大機會的，是將人工智慧和形式計算範式的優勢結合起來。沒錯，這正是我們近年來透過沃爾夫拉姆語言（Wolfram Language）及其與機器學習（Machine Learning）的聯系，以及現在的LLM所大力追求的部份目標。
