AI診斷真實(shí)病例準(zhǔn)確率超醫(yī)生，哈佛稱醫(yī)學(xué)評(píng)估標(biāo)準(zhǔn)或應(yīng)重新改寫

隨著能力的提升，AI 在某個(gè)醫(yī)療基準(zhǔn)數(shù)據(jù)集上獲得 SOTA 已不足為奇。但現(xiàn)在，研究人員證明 AI 在真實(shí)病例場景下表現(xiàn)出與醫(yī)生相當(dāng)或更高的準(zhǔn)確率。這意味著，AI 不是在訓(xùn)練過的場景下背誦標(biāo)準(zhǔn)答案，而是在臨床實(shí)戰(zhàn)中給出診斷推理。

近日，哈佛醫(yī)學(xué)院、斯坦福大學(xué)等研究團(tuán)隊(duì)在 Science 發(fā)布了一項(xiàng)迄今最大規(guī)模 AI 醫(yī)療對(duì)比研究[1]，并首次用真實(shí)的患者病歷來檢驗(yàn) AI 的推理能力，真實(shí)場景意味著可能存在病歷混亂、信息不全的情況。

研究人員讓 OpenAI 的 o1 模型與幾百名醫(yī)生在六種不同場景中進(jìn)行診斷 比對(duì)。結(jié)果表明，AI 在多項(xiàng)臨床推理任務(wù)中的準(zhǔn)確率與醫(yī)生持平甚至更高，包括急診決策、診斷以及為患者制定下一步的治療方案。

該研究結(jié)果預(yù)示著一個(gè)重要的轉(zhuǎn)折點(diǎn)：隨著模型能力越來越強(qiáng)，傳統(tǒng)的醫(yī)學(xué)評(píng)估基準(zhǔn)和人工設(shè)計(jì)的測試案例可能正面臨失效。“過去可用多項(xiàng)選擇題來評(píng)估模型的能力，現(xiàn)在它們的得分已長期接近 100%，對(duì)于進(jìn)一步追蹤進(jìn)展并無太大意義。”該論文共同第一作者、哈佛醫(yī)學(xué)院研究員 Peter Brodeur 說。

研究人員強(qiáng)調(diào)，AI 或許能給出更準(zhǔn)確的的文本建議、避免一些不必要的檢查，以及減少漏診和誤診，但并不意味著 AI 已經(jīng)能夠獨(dú)立行醫(yī)，特別是在生死悠關(guān)的急診情景。并且，醫(yī)生在處理影像、聽診、面部表情等方面具有不可替代的優(yōu)勢。研究團(tuán)隊(duì)還呼吁，需盡早開展前瞻性試驗(yàn)，以在真實(shí)的患者護(hù)理環(huán)境中評(píng)估相關(guān)技術(shù)。

圖丨相關(guān)論文（來源：Science）

研究團(tuán)隊(duì)設(shè)計(jì)了不同方面的實(shí)驗(yàn)，來考察 AI 的臨床推理能力。在第一組實(shí)驗(yàn)中，研究人員使用了 The New England Journal of Medicine（NEJM）自 20 世紀(jì) 50 年代開始作為“金牌標(biāo)準(zhǔn)”的臨床病理會(huì)議病例。

在 2012 年至 2024 年期間的 143 個(gè)臨床病例中，o1-preview 覆蓋了 78.3% 的正確病因，其給出的首個(gè)診斷即是正確答案的比例占 52%。如果將“非常接近”的診斷也看作正確答案，該比例則進(jìn)一步提升至 97.9%。

研究人員還將 GPT-4 與 o1-preview 進(jìn)行了性能對(duì)比。結(jié)果顯示，GPT-4 在同一批病例上的準(zhǔn)確率是 72.9%，而 o1-preview 在 70 個(gè)重疊病例中，24.3% 的病例表現(xiàn)優(yōu)于 GPT-4，僅 7.1% 的病例表現(xiàn)落后。

值得關(guān)注的是，在 136 例診斷檢查選擇測試中，o1-preview 選擇檢查項(xiàng)目的正確率是 87.5%。評(píng)審醫(yī)生認(rèn)為，AI 提出的檢查建議中有 11% 具備臨床價(jià)值，僅 1.5% 的建議無幫助。

（來源：Science）

在臨床推理的書寫質(zhì)量評(píng)估中，差距進(jìn)一步凸顯。研究團(tuán)隊(duì)采用 20 個(gè)來自 NEJM Healer 課程的教學(xué)病例，該項(xiàng)能力采用經(jīng)過驗(yàn)證的 R-IDEA 量表評(píng)分。

o1-preview 在 80 次評(píng)分中 78 次獲得滿分，與之對(duì)比的是，GPT-4 僅獲得 47 次滿分，而主治醫(yī)師和住院醫(yī)師得到滿分的次數(shù)分別是 28 次和 16 次。在高風(fēng)險(xiǎn)誤診項(xiàng)識(shí)別上，o1-preview 的中位命中率是 92%。但需要了解的是，盡管其在數(shù)值上比人類更高，但與醫(yī)生并未達(dá)到統(tǒng)計(jì)學(xué)顯著差異的水平。

（來源：Science）

管理決策能力的測試結(jié)果同樣值得關(guān)注。研究團(tuán)隊(duì)使用了五個(gè)基于真實(shí)病例開發(fā)的臨床場景，并在每個(gè)場景下設(shè)置了一系列治療決策問題。結(jié)果顯示，o1-preview 的中位得分是 89%，GPT-4 為 42%，將 GPT-4 作為輔助工具的醫(yī)生則獲得 41% 的中位得分，而使用傳統(tǒng)資源制定方案的醫(yī)生得分僅 34%。

圖丨 o1-preview、GPT-4 與臨床醫(yī)師在診斷推理能力方面的比較（來源：Science）

此外，為防止模型“刷題”，研究人員還使用了 6 個(gè)從未公開發(fā)布的標(biāo)志性診斷病例進(jìn)行實(shí)驗(yàn)。結(jié)果發(fā)現(xiàn)，盡管 o1-preview 獲得了 97% 的中位得分，但與 GPT-4 的 92% 以及人類醫(yī)師的 74% 相比，統(tǒng)計(jì)學(xué)的優(yōu)勢并不顯著。這也從側(cè)面上說明，大模型能力的提升并非在所有任務(wù)上都保持同一幅度。

在最接近真實(shí)臨床環(huán)境實(shí)驗(yàn)中，研究人員以波士頓一家醫(yī)院急診室的 76 名患者作為研究對(duì)象，并設(shè)置了三個(gè)臨床決策節(jié)點(diǎn)從早期分診、接診后以及決定收入病房。

標(biāo)準(zhǔn)電子病歷涵蓋了生命體征數(shù)據(jù)、人口統(tǒng)計(jì)信息以及對(duì)患者就診原因的簡要描述等信息。與此前研究不同，研究人員提供給模型的信息未進(jìn)行預(yù)處理，而是直接來源于真實(shí)的電子病歷。模型基于這些數(shù)據(jù)，生成相關(guān)診斷結(jié)果，并提出下一步治療建議。

結(jié)果顯示，在分診階段醫(yī)生的正確率僅 50% 至 55%，而 AI 在 67% 的病例中做出了接近醫(yī)生或更準(zhǔn)確的診斷。研究人員發(fā)現(xiàn)，在需要快速?zèng)Q策且信息有限的緊急情況下，AI 的優(yōu)勢更加突出。當(dāng)提供更多細(xì)節(jié)信息，人類專家的準(zhǔn)確率提升至 70% 至 79%；而 OpenAI 的 o1 模型的診斷準(zhǔn)確率則提升至近 82%。

值得一提的是，整個(gè)實(shí)驗(yàn)的過程采取的是嚴(yán)格的盲法設(shè)計(jì)，兩位評(píng)審醫(yī)生在判斷答案來源是人還是 AI 時(shí)，猜對(duì)的比例分別僅 15.2% 和 3.1%，大多數(shù)情況下他們無法區(qū)分回答是來自 AI 還是人類。

（來源：Science）

需要了解的是，急診室的核心決策通常是分診、處理和即時(shí)管理，而非僅取決于診斷的正確性。因此，這項(xiàng)研究并不意味著 AI 將全面替代急診醫(yī)生。

此外，這項(xiàng)研究仍存在局限性，例如實(shí)驗(yàn)中僅測試了 AI 與人類在解讀可通過文本傳遞的患者數(shù)據(jù)方面的表現(xiàn)，并未測試患者痛苦程度和外貌等信號(hào)方面的解讀能力。與此同時(shí)，研究所覆蓋的臨床推理場景也有限，病例主要集中在內(nèi)科和急診領(lǐng)域，未來仍需進(jìn)一步驗(yàn)證在外科、專科等更廣泛領(lǐng)域的適用性。

今年 3 月，美國醫(yī)學(xué)協(xié)會(huì)發(fā)布的一項(xiàng)研究顯示 [2]，現(xiàn)在已有近 20% 的美國醫(yī)生正在使用 AI 作為輔助診斷的工具。在英國，16% 的醫(yī)生每天使用 AI。據(jù)英國皇家內(nèi)科醫(yī)師學(xué)會(huì)今年 1 月發(fā)布的一項(xiàng)調(diào)查 [3]，在臨床決策中醫(yī)生將 AI 作為輔助診斷是最常見的一種用途。

盡管 AI 在相關(guān)方面表現(xiàn)出色，但 AI 并不是萬能的。不容忽視的是，一方面，AI 有可能帶來出錯(cuò)和承擔(dān)責(zé)任風(fēng)險(xiǎn)。另一方面，也需要警惕的是，醫(yī)生可能在無意中接受了 AI 給出的建議，而非自己的獨(dú)立思考。此外，AI 在診斷老年患者或非英語母語患者方面仍存在相關(guān)挑戰(zhàn)。

因此，綜合來看，當(dāng)前 AI 的核心角色仍然是輔助醫(yī)生決策而非獨(dú)立診療，它可以幫助整合海量文獻(xiàn)、指南與歷史病例，在信息處理的速度與廣度方面具有獨(dú)特優(yōu)勢，有利于快速給出醫(yī)生容易遺漏的重要信息或輔助判斷。但是，在非結(jié)構(gòu)化臨床情境的感知、倫理權(quán)衡及醫(yī)患共情等場景下，醫(yī)生具有不可替代的作用。

因此，人機(jī)協(xié)同或是一種理想的模式：AI 提供精準(zhǔn)、實(shí)時(shí)的數(shù)據(jù)支持，而醫(yī)生則把握整體判斷與人文溫度。未來，更重要的或許不是比較人和 AI 誰的能力更強(qiáng)，而是誰先學(xué)會(huì)與機(jī)器高效協(xié)作。

參考資料：

1. 相關(guān)論文：https://www.science.org/doi/10.1126/science.adz4433

2.https://www.ama-assn.org/system/files/physician-ai-sentiment-report.pdf

3.https://www.rcp.ac.uk/policy-and-campaigns/policy-documents/snapshot-of-uk-physicians-artificial-intelligence-in-healthcare/

4.https://hms.harvard.edu/news/study-suggests-ai-good-enough-diagnosing-complex-medical-cases-warrant-clinical-testing

5.https://www.theguardian.com/technology/2026/apr/30/ai-outperforms-doctors-in-harvard-trial-of-emergency-triage-diagnoses

排版：劉雅坤

注：封面/首圖由 AI 輔助生成