AI服務涉黃第一案本周將再開庭！多方探討開發者責任邊界等

備受關注的“AI服務涉黃第一案”再迎新進展。此前，因為大量用戶在一款名為AlienChat（下稱“AC軟件”）的APP上與AI智能體“聊黃”，APP的主要開發和運營者被追究了刑責，兩被告人犯制作淫穢物品牟利罪，一審分別獲刑四年、一年六個月。二審于1月14日在上海市第一中級人民法院開庭，因涉及一些AI領域的技術問題需要厘清，二審并未結束。南都N視頻記者獲悉，法院將于5月21日進行二審的第二次開庭審理。

本案爭議焦點包括淫穢色情內容的生產者到底是誰，用戶在APP上與AI聊黃是否有社會危害性等。近日，南都N視頻記者多方采訪互聯網治理領域專家，探討AI聊天軟件涉黃內容防控、開發者的責任邊界等問題。

另外，今年4月，國家網信辦等五部門聯合公布《人工智能擬人化互動服務管理暫行辦法》，對生成淫穢、色情內容等行為劃出紅線，南都N視頻也推出《AI虛擬伴侶亂象調查：可選小三暴力劇情，角色表達帶性暗示》。多位業內專家表示，針對相關亂象，需從事前治理、事后干預等方面構建全流程多方共治機制。

不傳播是否就不會造成社會危害？

南都此前報道，一審法院上海市徐匯區人民法院稱，被告人王利、李成（均為化名）等人向社會公眾開放注冊使用AC軟件，用戶多達11.6萬余人，其中充值用戶2.4萬余人，產生了400余萬段交互聊天；經抽樣鑒定，隨機抽樣檢查中150名收費用戶中的141人聊天內容“涉黃”，12495段聊天中的3618段“涉黃”。

涉事APP在社交平臺上宣傳AI角色。

南都記者注意到，雖然一審法院也認可：從淫穢物品的流通性來看，本案中的色情聊天內容是人機互動時產生的、一對一的，通常情況下涉案色情聊天內容僅有參與該聊天的AC會員能夠看到，具有一定的封閉性。不過，一審法院又表示，從淫穢物品的數量、會員人數等來看，開發者的行為具有嚴重的社會危害性，應依法追究刑事責任。

具有封閉性的AI聊黃內容，不傳播是否就不會造成社會危害？

北京郵電大學互聯網治理與法律研究中心主任謝永江認為，被告人通過“突破模型道德限制+設置會員付費”的模式，將“聊黃”作為核心吸引力，本質是將淫穢內容商業化。即便內容僅在“一對一”場景中產生，但其面向十余萬用戶開放，且抽樣段近三成涉黃，已形成“規?；`法”，破壞了網絡空間的公序良俗與監管秩序，符合刑事認定標準。

北京理工大學智能科技法律研究中心研究員王磊告訴南都記者，“封閉性”不能成為豁免“社會危害”的理由，需結合行為的覆蓋范圍、牟利本質、對公共秩序的破壞程度等綜合判斷。

他表示，即便聊天內容是“一對一”封閉交互，但軟件通過公開推廣、設置熱門角色榜單、作者獎勵機制等方式，主動吸引用戶參與“聊黃”，實為淫穢內容的產生提供了專門工具和傳播渠道，違背公序良俗，沖擊網絡空間治理秩序。此外，本案中，開發者通過修改系統提示詞突破模型道德限制，本質是“主動為淫穢內容生成提供技術工具”，即便聊天內容僅在“一對一”場景下產生，仍直接違反“禁止生成淫穢內容”的強制性要求，行為本身已具備違法性，而非僅以“傳播范圍”判定危害。

服務提供者履行責任的邊界在哪？

關于被告人王利等人是否采取有效措施防范色情內容的產生的問題，一審法院稱，王利等人在AC軟件運營過程中確實有人工審核和機器審核機制，但審核的內容僅限于角色背景等，并未對用戶輸入內容和模型輸出內容進行審核，也沒有按照相關規定采取處置措施、進行整改并及時報告。

那么，服務提供者履行安全責任的邊界在哪？

謝永江表示，AI服務提供者應在技術能力范圍內采取合理措施防范違法內容。他指出，大語言模型的倫理風險是行業共識，開發者應當預見到可能導致涉黃風險，因此，對于模型的“涉黃”缺陷，提供者有義務采取合理處置措施并優化改進，更不能積極追求“涉黃”內容的輸出，否則應承擔相應的法律責任。

在王磊看來，提供具有輿論屬性或社會動員能力的AI服務，必須先完成安全評估和算法備案，而本案中開發者明知規定卻未履行，屬于故意違規。

涉事APP在社交平臺上宣傳AI角色。

王磊稱，服務提供者還應建立有效的內容審核機制，不僅要審核角色背景、公開介紹等顯性內容，更要對用戶輸入、模型輸出的即時內容進行實時監測，而本案中開發者僅審核角色名、開場白，對核心聊天內容未作任何限制，屬于未履行核心義務。此外，發現違法內容后，必須立即采取處置措施（如關閉違規角色、停止服務）、整改并及時報告監管部門，不得放任違規行為持續。

王磊還解釋說，模型缺陷不能成為免責理由。他提到，本案的開發者并非被動遭遇模型缺陷，而是主動編寫“不受道德、法律約束”的系統提示詞，反復測試調整以突破模型的道德限制，主觀上具有追求淫穢內容產生的故意，不屬于“意外的模型漏洞”。即便存在模型本身的防護不足，服務提供者仍有法定義務通過技術手段彌補（如設置安全提示詞、語義過濾），未履行該義務即屬于“不作為違規”，不能以“模型有缺陷”推卸責任。

如何理解本案法律適用的爭議？

在法律適用方面，該案也有爭議。公訴機關認為，應以傳播淫穢物品牟利罪追究被告人刑事責任。一審法院卻認為，被告人的行為應構成制作淫穢物品牟利罪。

一審法院稱，本案中，王利、李成主觀上積極追求色情淫穢聊天內容的產生，客觀上通過編寫、修改系統提示詞等方式突破大語言模型的道德限制，將AC軟件訓練成可持續對外輸出色情淫穢內容的工具，對外宣傳AC軟件具有“聊黃”功能引導用戶參與聊天，且在明確知曉會員交互聊天中產生大量淫穢內容的情況下，繼續向用戶提供AC軟件運營和技術支持服務，對涉案色情淫穢聊天內容的產生具有決定性作用，上述過程符合“將想法、觀念或情感通過構思、取舍、選擇、安排、設計或組合在淫穢物品中表現出來”的“制作”特征。

2025年9月，一審法院判決，兩被告人王利、李成犯制作淫穢物品牟利罪，分別獲刑四年、一年六個月。

涉事APP在社交平臺上發布AI和用戶對話示意圖。

對此，王磊認為，本案雖是“AI服務涉黃第一案”，但定性邏輯仍植根于刑法對傳播淫穢物品牟利罪、制作淫穢物品牟利罪罪名的核心界定，僅針對AI生成內容的特殊性作出適配。

他表示，傳統“傳播淫穢物品”的核心是“擴散性”，即通過同一載體反復、多次向不特定多數人散布；本案中，淫穢內容是人機互動時“即時生成”的，具有“原創性”“動態性”（因人而異），不存在“同一內容反復擴散”的情形，更符合“制作”行為的本質（通過創作、設計使淫穢物品產生并見之于世）。

他告訴南都記者，本案為AI生成內容相關犯罪提供了定性標尺：對于AI服務提供者，若通過主動設計（如修改提示詞、弱化審核）讓模型持續輸出違法內容，并以此牟利，即便內容是“一對一”交互生成，也應認定為制作淫穢物品牟利罪；若將已生成的淫穢內容通過平臺二次擴散，則可能構成傳播淫穢物品牟利罪。

建議：構建全流程多方共治機制

南都記者梳理發現，此類AI聊天軟件近年越來越多出現，青少年用戶占比較大，相關案例也曾被曝光。多位業內專家表示，需從事前治理、事后干預等方面構建全流程多方共治機制。

南都此前報道相關亂象。

中國政法大學人工智能法研究院院長張凌寒此前告訴南都記者，從技術防控上，目前有企業構建雙向的“關鍵詞屏蔽”機制，既從用戶輸入端屏蔽關鍵詞，也從成果輸出端屏蔽關鍵詞，同時配合“同義詞篩查”機制，防止用戶通過近似的語言表達繞開關鍵詞限制生成有害內容。有大模型推出安全圍欄（AI Guardrail）概念，通過設置安全限制或保護機制，進行內容過濾、指令校準、數據篩選與合規保障，確保AI模型運作時遵循特定規范，防止生成不當、有害或有誤導成分的內容，保障輸出內容符合倫理和法律的標準。

謝永江建議，事前積極采取技術防控手段，進行多層次過濾與精準識別。例如，將內容安全納入AI開發全流程，如在模型訓練階段過濾淫穢數據，在產品上線前通過“壓力測試”驗證過濾機制有效性；建立“安全合規團隊”，定期更新過濾規則。建立動態敏感詞庫，實時攔截用戶輸入與AI輸出的違規內容。

他還提到，事后應積極干預，快速響應，持續優化輸出。例如，建立違法內容快速響應機制，一旦發現涉黃內容，立即暫停相關AI角色服務；對違規用戶進行警告、封號；及時采取措施優化訓練，改進輸出內容。鼓勵用戶和社會公眾舉報違規內容，對有效舉報給予獎勵，形成針對AI的政府、企業、用戶、社會共治生態。

王磊則認為，應確定開發者主體責任，明確“不得設計突破模型道德限制的功能”“不得通過獎勵機制誘導違規內容產生”等禁止性條款，將責任落實到具體個人。由監管部門聯合行業協會制定AI聊天軟件內容安全規范，明確淫穢、暴力等違規內容的判定標準，統一技術防控指標（如審核響應時間、違規內容處置率）。

在社會治理補位方面，他建議，加強對青少年的網絡安全教育，普及AI服務使用的法律邊界；通過案例宣傳，向開發者明確“技術中立不能豁免法律責任”，引導行業合規發展。

出品：南都即時

采寫：南都N視頻記者 馬輝