AI幻覺糾紛案背后：誰(shuí)該為“AI胡說”擔(dān)責(zé)？

作者|趙曼妤

責(zé)編|張晶

正文共3331個(gè)字，預(yù)計(jì)閱讀需10分鐘▼

近年來，生成式人工智能深刻改變?nèi)祟惖纳a(chǎn)生活方式，但AI幻覺問題卻經(jīng)常浮現(xiàn)。“真亦假時(shí)假亦真，無為有處有還無”——你是否經(jīng)歷過這樣的時(shí)刻，聰明的AI一本正經(jīng)地胡說八道，AI用篤定的語(yǔ)氣把“無”說成“有”，用戶用輕率的轉(zhuǎn)發(fā)把“假”傳成“真”……

當(dāng)生成式人工智能生成內(nèi)容具有虛假、誤導(dǎo)、錯(cuò)誤時(shí)，誰(shuí)應(yīng)當(dāng)為“說胡話”“傳播胡話”承擔(dān)法律責(zé)任？是服務(wù)提供者還是服務(wù)使用者？

杭州市互聯(lián)網(wǎng)法院、杭州市濱江區(qū)人民法院分別審結(jié)兩起“首例”案件——全國(guó)首例因AI幻覺問題引發(fā)的侵權(quán)糾紛案、浙江首例因傳播AI幻覺內(nèi)容引發(fā)的不正當(dāng)競(jìng)爭(zhēng)案，明確了生成式人工智能服務(wù)提供者、使用者的責(zé)任邊界，為AI時(shí)代的內(nèi)容生成與傳播糾紛處理提供了重要的裁判指引。

其中，全國(guó)首例因AI幻覺問題引發(fā)的侵權(quán)糾紛案被寫入2025年最高人民法院工作報(bào)告，寫入“恪守公平正義，以高質(zhì)量司法服務(wù)高質(zhì)量發(fā)展”篇章，作為“促進(jìn)人工智能規(guī)范發(fā)展，依法妥善審理涉人工智能案件，準(zhǔn)確把握科技創(chuàng)新‘容錯(cuò)’空間”的典型案例。

AI承諾“說錯(cuò)賠10萬(wàn)”，法院判決服務(wù)提供者不承擔(dān)責(zé)任

用戶梁某在某生成式人工智能中輸入提示詞詢問某高校報(bào)考的相關(guān)信息時(shí)，某生成式人工智能生成了關(guān)于該高校某校區(qū)的不準(zhǔn)確信息，梁某在對(duì)話中進(jìn)行了糾正和指責(zé)，但是某生成式人工智能仍堅(jiān)持錯(cuò)誤，并且承諾若生成內(nèi)容有誤將向用戶提供10萬(wàn)元賠償。梁某據(jù)此起訴生成式人工智能服務(wù)提供者索賠損失9999元。生成式人工智能服務(wù)提供者辯稱對(duì)話內(nèi)容由AI生成，不成立意思表示；生成式人工智能服務(wù)提供者已充分履行注意義務(wù)，無過錯(cuò)；用戶未產(chǎn)生實(shí)際損失，故不構(gòu)成侵權(quán)。

杭州市互聯(lián)網(wǎng)法院將本案爭(zhēng)議焦點(diǎn)歸納為以下三點(diǎn)：生成式人工智能可否獨(dú)立作出意思表示，生成式人工智能侵權(quán)應(yīng)適用何種歸責(zé)原則，生成式人工智能服務(wù)提供者是否構(gòu)成侵權(quán)。

杭州市互聯(lián)網(wǎng)法院經(jīng)審理認(rèn)為，首先，生成式人工智能不具有民事主體資格，不能作出意思表示，案涉AI自行生成的“賠償承諾”亦不能視為服務(wù)提供者的意思表示；其次，生成式人工智能服務(wù)依據(jù)《生成式人工智能服務(wù)管理暫行辦法》屬于“服務(wù)”范疇，而非產(chǎn)品質(zhì)量法意義上的“產(chǎn)品”，本案應(yīng)適用《中華人民共和國(guó)民法典》第一千一百六十五條的一般過錯(cuò)責(zé)任原則，而非產(chǎn)品責(zé)任的無過錯(cuò)責(zé)任原則；最后，法院基于一般過錯(cuò)責(zé)任原則，對(duì)侵權(quán)構(gòu)成的各項(xiàng)要件侵權(quán)行為、過錯(cuò)、損害結(jié)果與因果關(guān)系進(jìn)行逐一審查，認(rèn)定生成式人工智能服務(wù)提供者不構(gòu)成侵權(quán)，駁回用戶訴訟請(qǐng)求。

法院認(rèn)為，原告主張受到的侵害是因信息不準(zhǔn)確，致其受誤導(dǎo)錯(cuò)失報(bào)考機(jī)會(huì)，額外產(chǎn)生信息核實(shí)成本、維權(quán)成本等，即純粹經(jīng)濟(jì)利益被侵害，應(yīng)當(dāng)從被告是否違反注意義務(wù)進(jìn)行判定。

生成式人工智能服務(wù)提供者的注意義務(wù)處在一個(gè)動(dòng)態(tài)調(diào)整的框架之中。法院總結(jié)生成式人工智能服務(wù)提供者應(yīng)盡的三層注意義務(wù)，包括：對(duì)法律禁止的“有毒”、有害、違法信息負(fù)有嚴(yán)格審查義務(wù)；需以顯著方式向用戶提示AI生成內(nèi)容可能不準(zhǔn)確的固有局限性，以防范用戶產(chǎn)生不當(dāng)信賴；應(yīng)盡功能可靠性的基本注意義務(wù)，采取同行業(yè)通行技術(shù)措施提高生成內(nèi)容準(zhǔn)確性，比如檢索增強(qiáng)生成技術(shù)措施等。經(jīng)審查，被告已在應(yīng)用程序歡迎頁(yè)、用戶協(xié)議及交互界面的顯著位置呈現(xiàn)AI生成內(nèi)容功能局限的提醒標(biāo)識(shí)，已采用檢索增強(qiáng)生成等技術(shù)提升輸出可靠性的事實(shí)，已盡到合理注意義務(wù)，主觀上不存在過錯(cuò)。原告未能就因AI信息誤導(dǎo)而錯(cuò)失報(bào)考機(jī)會(huì)并產(chǎn)生額外成本提供任何有效證據(jù)，難以認(rèn)定損害存在，二者不存在因果關(guān)系。

本案主審法官、杭州市互聯(lián)網(wǎng)法院跨境貿(mào)易法庭庭長(zhǎng)肖芄向記者表示，“對(duì)生成式人工智能服務(wù)侵權(quán)采取過錯(cuò)責(zé)任原則能夠全面評(píng)價(jià)服務(wù)提供者的行為，有利于建構(gòu)兼具彈性、適應(yīng)性與演化能力的回應(yīng)型規(guī)則治理體系。”

肖芄進(jìn)一步表示，生成式人工智能服務(wù)不是產(chǎn)品，其提供的是持續(xù)的服務(wù)，缺乏產(chǎn)品缺陷認(rèn)定的統(tǒng)一標(biāo)準(zhǔn)，且生成式人工智能具有重要的社會(huì)意義屬性，造成損害的危害性不同于產(chǎn)品責(zé)任。通過對(duì)服務(wù)提供者有無過錯(cuò)的判斷，可以在動(dòng)態(tài)回應(yīng)的過程中尋找合理的注意義務(wù)標(biāo)準(zhǔn)，同時(shí)也讓社會(huì)公眾更加理性地認(rèn)識(shí)AI的功能與局限，生成式人工智能僅是“文本輔助生成器”和“信息查詢的輔助工具”，不是可靠的“知識(shí)權(quán)威”，更不是“決策提供者”。

博主傳播AI生成文章惹官司，法院判決使用者承擔(dān)責(zé)任

李某是百度百家號(hào)“地某”賬號(hào)的運(yùn)營(yíng)者，該賬號(hào)被認(rèn)證為電商推廣號(hào)，擁有數(shù)萬(wàn)粉絲，通過商業(yè)推廣、帶貨等方式營(yíng)利。李某使用某AI平臺(tái)生成一篇題為《某數(shù)字控股有限公司是真的嗎》的文章，稱某數(shù)字控股（深圳）有限公司是原告公司的重要子公司，是其在“數(shù)字化轉(zhuǎn)型過程中的重要布局”。隨后，李某自行添加帶有原告公司標(biāo)識(shí)的配圖，并將文章發(fā)布在自己的百家號(hào)上。實(shí)際上，文中公司與原告公司沒有任何關(guān)聯(lián)。

原告公司認(rèn)為此文含有嚴(yán)重失實(shí)信息，容易誤導(dǎo)公眾，損害其商業(yè)信譽(yù)與競(jìng)爭(zhēng)利益，遂以不正當(dāng)競(jìng)爭(zhēng)為由，將李某訴至法院，要求其消除影響、賠償損失。李某辯稱，涉案文章完全由AI生成，自己未作修改，且在后臺(tái)標(biāo)注了“由某AI平臺(tái)生成”，主觀上沒有侵權(quán)故意。

杭州市濱江區(qū)人民法院經(jīng)審理認(rèn)為，原、被告主體適格且雙方具有競(jìng)爭(zhēng)關(guān)系，被訴侵權(quán)行為構(gòu)成《中華人民共和國(guó)反不正當(dāng)競(jìng)爭(zhēng)法》第二條所規(guī)制的不正當(dāng)競(jìng)爭(zhēng)行為。生成式人工智能使用者在利用人工智能進(jìn)行內(nèi)容創(chuàng)作后，因其對(duì)生成物具有最大的控制權(quán)，其應(yīng)當(dāng)對(duì)生成內(nèi)容的傳播和利用負(fù)合理的注意義務(wù)，即審核義務(wù)與顯著標(biāo)識(shí)義務(wù)。

被告李某作為自媒體博主，在明確知曉被訴侵權(quán)文章系人工智能自動(dòng)生成、信息來源不可靠的情形下，未對(duì)被訴侵權(quán)文章內(nèi)容進(jìn)行最低程度的審核，亦未在文章中進(jìn)行顯著標(biāo)注，提示公眾該文章系由人工智能生成，使得包含虛假信息的內(nèi)容通過互聯(lián)網(wǎng)傳播，且通過手動(dòng)添加帶有原告品牌標(biāo)識(shí)配圖的方式進(jìn)一步加強(qiáng)文章的誤導(dǎo)性，被訴侵權(quán)行為擾亂了市場(chǎng)競(jìng)爭(zhēng)秩序，損害了原告的競(jìng)爭(zhēng)利益，亦造成原告相應(yīng)的損失。最終，法院判決被告應(yīng)當(dāng)承擔(dān)消除影響、賠償損失的責(zé)任。

“技術(shù)的局限，不應(yīng)對(duì)技術(shù)本身施加過于苛刻的無過錯(cuò)責(zé)任，但也不應(yīng)成為使用者規(guī)避責(zé)任的‘避風(fēng)港’。”本案主審法官、杭州市濱江區(qū)法院白馬湖人民法庭（數(shù)據(jù)知識(shí)產(chǎn)權(quán)法庭）庭長(zhǎng)倪曉花向記者表示，實(shí)質(zhì)審核義務(wù)與顯著標(biāo)識(shí)義務(wù)作為“注意義務(wù)”并非直接籠統(tǒng)地要求其承擔(dān)責(zé)任，而是要通過精細(xì)化的法律論證，構(gòu)建一個(gè)動(dòng)態(tài)、多層次的注意義務(wù)分析框架。該框架以主體身份（商業(yè)推廣主體）、行為目的（以營(yíng)利為目的）、行為方式（通過自媒體向不特定公眾公開傳播）、所用工具的特性與風(fēng)險(xiǎn)（生成式人工智能存在“幻覺”的固有缺陷）以及造成的損害性質(zhì)（損害他人商譽(yù)、擾亂市場(chǎng)競(jìng)爭(zhēng)秩序）與大小作為考量維度，在此基礎(chǔ)上，將抽象的“合理注意”義務(wù)具體化為可操作、可審查的行為標(biāo)準(zhǔn)。

AI幻覺的司法回應(yīng)與多元治理路徑

中國(guó)政法大學(xué)數(shù)據(jù)法治研究院教授、博士研究生導(dǎo)師、中國(guó)法學(xué)會(huì)網(wǎng)絡(luò)與信息法學(xué)會(huì)副會(huì)長(zhǎng)王立梅向記者表示，“涉AI幻覺司法裁判引入動(dòng)態(tài)系統(tǒng)論，清晰界定了生成式人工智能服務(wù)提供者與內(nèi)容使用者責(zé)任定性與歸責(zé)路徑，在人工智能應(yīng)用法律治理領(lǐng)域具有重要示范意義。”

杭州市互聯(lián)網(wǎng)法院的判決準(zhǔn)確適用民法典的一般過錯(cuò)責(zé)任原則，為生成式人工智能服務(wù)提供者確立了“違法信息嚴(yán)格審查、顯著風(fēng)險(xiǎn)提示說明、功能可靠性保障”三層注意義務(wù)，即要求承擔(dān)合規(guī)性、提示性、技術(shù)性的有限注意義務(wù)，并在過錯(cuò)范圍內(nèi)承擔(dān)相應(yīng)責(zé)任。杭州市濱江區(qū)法院的判決確立了“誰(shuí)傳播、誰(shuí)負(fù)責(zé)”的基本規(guī)則。鑒于生成式人工智能服務(wù)使用者對(duì)生成內(nèi)容享有實(shí)際控制權(quán)，其應(yīng)當(dāng)承擔(dān)相應(yīng)的實(shí)質(zhì)審核義務(wù)和顯著標(biāo)識(shí)義務(wù)。

王立梅表示，AI幻覺已從技術(shù)風(fēng)險(xiǎn)轉(zhuǎn)化為現(xiàn)實(shí)法律風(fēng)險(xiǎn)，亟待通過法律規(guī)制予以系統(tǒng)性回應(yīng)。AI幻覺的治理不應(yīng)止于司法裁判的事后追責(zé)，而應(yīng)堅(jiān)持事前治理與事后救濟(jì)并重，推動(dòng)技術(shù)優(yōu)化與制度完善協(xié)同發(fā)力，構(gòu)建差異化治理框架，對(duì)于醫(yī)療、金融等高風(fēng)險(xiǎn)領(lǐng)域的人工智能應(yīng)用，應(yīng)當(dāng)實(shí)施更嚴(yán)格、更前置的監(jiān)管要求，完善算法透明度、數(shù)據(jù)可追溯、安全測(cè)試與風(fēng)險(xiǎn)應(yīng)急處置機(jī)制，施加更高標(biāo)準(zhǔn)的強(qiáng)制標(biāo)識(shí)義務(wù)、安全保障義務(wù)與合規(guī)責(zé)任，以“風(fēng)險(xiǎn)越高、監(jiān)管越嚴(yán)”的原則，筑牢人工智能安全治理與法治保障底線。在此基礎(chǔ)上，應(yīng)同步強(qiáng)化數(shù)字素養(yǎng)培育與完善行業(yè)自律機(jī)制，形成多方協(xié)同的人工智能治理格局。