僅僅兩周，AI看病從80%誤診“躍升”到比醫生強，這到底是怎么回事？

點擊藍字關注，多點在看防失聯

個人觀點，不代表任何組織與單位

前段時間，我的朋友圈被一條AI看病誤診率80%的新聞刷屏了，說不定你也看到過這條消息：

可后來，我的新聞推送又給了另一條消息，AI在復雜醫療診斷里表現出色，比急診室醫生還厲害：

兩個新聞都是基于頂級學術期刊上發表的研究，“誤診80%”是4月16日發表在JAMA上：

“比急診醫生強”是4月30日發表在《科學》上：

兩篇論文相隔正好兩周，而且都是哈佛醫學院的研究人員，不過是不同研究組。

不知道你看到這兩個似乎完全矛盾的研究是什么感覺？

有一個解釋可以讓兩篇論文不矛盾：急診醫生水平太差，說不定誤診率90%，就算AI誤診率80%也吊打。

顯然這是開玩笑。

下面我們還是正經分析一下，兩項研究里為什么一個看上去很不靠譜，一個看上去很靠譜。

最關鍵的地方，或許是兩項研究測試的內容與評判標準都不一樣。

JAMA上的研究，也就是AI一趟糊涂的那篇論文，研究人員給AI出的考題是默沙東診療手冊里的29個病例情景，這與《科學》上側重急診室診斷不同，病例范圍更廣。

更重要的是，JAMA論文里，評判是AI從拿到病例那一刻起就開始，初步鑒別診斷，再到實驗檢查，最終診斷，以及治療方案，每一步的表現都“考”。在這個評判體系里，即便AI給出的最終診斷對了，但在最初的鑒別診斷里有失誤，也會被記錄扣分。

其實，誤診超過80%是在初步鑒別診斷這一步，可在最終診斷方面，失敗率不到40%——不同模型失敗率是9-39%。

而《科學》上打敗急診室醫生的研究，側重的恰恰是最終診斷。從某種程度上看，實際上兩個研究都暗示AI在最終診斷判斷上做得還不錯。

此外，必須注意JAMA論文里初步鑒別診斷失敗率高，建立在病例情景里，患者的信息是一點點輸入給AI，比如先是患者年齡、病癥表現，再加上實驗檢查結果，每輸入一點，研究人員問一部分問題，而每一步里AI給出的答案，都會與標準答案對比，不準確就被歸入失敗。

這是非常嚴苛的標準。但這個設計很重要，因為它更接近真實的臨床工作方式。醫生在門診或急診里，永遠是從一個不完整的畫面開始：先聽主訴，再做體檢，再等化驗結果回來。每一步都要在信息不全的情況下做判斷，并隨時準備推翻自己的初步猜測。JAMA的測試捕捉到的，正是這種在不確定性下持續推論的能力，而這目前看來，恰恰是AI最薄弱的環節。

相比之下，《科學》論文里即便是真實病例，也是把完整的電子病歷一次性輸入。這更像是讓AI做"事后諸葛"：所有線索已經擺在桌上，任務是從中歸納出答案，而不是在信息殘缺時就要開始押注。兩種測試場景，對應的其實是醫生工作流程里完全不同的兩個時刻：一個是診斷的起點，另一個更接近終點。

考慮到JAMA研究里，到最后診斷階段，隨著輸入信息變多，成功率上升，再結合《科學》論文里的測試方法，可能都在暗示，有較多信息時，AI的表現會更好。

那AI看病到底行不行呢？它是那個誤診80%，還是比現實世界的醫生強呢？

個人認為這其實都不是現在AI醫療需要關注的問題。

因為當下AI在醫療領域的應用，尤其是用大語言模型做診療，還在非常早期的階段。

好比我們問一個讀中學的孩子，啥時候能成為科學家，拿諾獎。這不光是做不做的到的問題，而是問這樣的問題，對孩子沒什么幫助，不會有助于他成長，去接近我們期望的結果。

最值得關注的，未必是當下的AI在醫療場景下做得有多好或多差，而是做得好的地方，為什么好；做得差的地方，原因是什么，有沒有辦法改進。可這恰恰是兩篇論文都沒有深入回答的地方：

下一步，我們怎么做，才能讓模型的表現更好。

比如，AI在逐步獲取信息時鑒別診斷能力差，是因為訓練數據里缺乏這類"漸進式推理"的樣本？還是模型本身在處理不確定性時存在結構性缺陷？如果是前者，針對性地用模擬臨床對話的數據做訓練或許有幫助；如果是后者，換一個更新的模型未必能解決問題，需要的可能是完全不同的架構思路。

這才是AI醫療研究下一步真正該啃的硬骨頭——不是再做一個"AI能不能打敗醫生"的對比實驗，而是設計能夠定位失敗根源的研究：在哪一步出錯，為什么出錯，改變哪個變量之后，可能有好轉。沒有這類研究，我們只能在"AI很厲害"和"AI很爛"之間反復橫跳，卻對如何推進毫無頭緒。

讀了這兩篇論文后，其實我做了一件事，把兩篇論文都傳到ChatGPT與Claude上，問同一個問題，為什么都是做AI診療，這兩篇論文得出了完全相反的結論。

ChatGPT和Claude都很聰明地抓住了兩篇論文在方法學、評判標準上的差別。可也都犯了讓我感到不可思議的錯誤，或者說是誤解。

例如，ChatGPT在分析為什么AI在一個研究里看上去很成功，另一個很失敗時，提出最關鍵的差別是，一項研究——JAMA那項，用了沒有噪音的干凈數據，大語言模型在這種環境下更出色：

這個解釋等于是完全誤解了兩篇論文的結果。JAMA是用了“干凈”的情景病例，可恰恰是在這項研究里，AI的成功率不高。

《科學》的論文是用了真實病例，存在潛在的“噪音干擾”，但AI在那篇論文里的表現并不差。

至于Claude，它沒有犯ChatGPT的錯，但它的解釋里強調JAMA用了普通的大語言模型，《科學》用了OpenAI的o1推理模型，推理模型在回答診療這種復雜問題時更強大：

和ChatGPT一樣，看似有道理，可惜不符合事實。JAMA的論文里除了用普通模型，也用了o1這樣的推理模型。

《科學》那篇論文，其實也同時用了GPT4與o1，在有些檢驗上二者沒有顯著差別。

這些錯誤涉及的是對兩篇論文最基礎事實的了解，我完全沒料到兩個模型能出現這樣的低級失誤。

這或許也是當下AI用于醫療的風險：它們可以既“理解”復雜問題（兩篇看似矛盾的論文，是方法與研究目的上有差異），給出看上去很好的答案，可又在一些基礎事實上出錯。

最后，同樣值得指出的是，ChatGPT與Claude指出的“數據干凈”，“推理模型”（更強更新的模型），是很多人回應AI不夠好時的口頭禪。似乎只要輸入內容噪音小，或者用了下一代模型，之前做不到的都能實現。

這背后與其說是基于證據的合理推測，倒不如說是近乎信仰崇拜，甚至可能在干擾我們，人，做出正確的判斷。

例如在《科學》這篇論文發表后，NPR做了報道，里面提到“過去的模型”表現不佳，《科學》論文展示了過去幾年技術的巨大進步：

這篇報道里的“過去表現不佳的模型”，直接鏈接到JAMA那篇論文，也就是在記者看來，JAMA論文里的“矬”，是用了比《科學》論文里更老的模型。

這是NPR報道里極為罕見的事實錯誤，真相是：JAMA里用的模型比《科學》里更新。

《科學》用的是2024年9月發布的o1-preview，JAMA不僅用了o1，還一直跟蹤到25年底的各個主流大語言模型：

就像我們不該默認AI會給出正確的答案，我們或許也不該默認，下一個AI會給出更準確的答案。

訂閱關注防失聯

前沿醫藥，請關注

參考資料

https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2847679

https://www.science.org/doi/10.1126/science.adz4433

更多精彩內容見Youtube：Y博的科普園

Y博也有播客了，歡迎關注《說醫解藥》

小宇宙、蘋果播客、Spotify同步更新