當(dāng)AI開始“搞黃色”，開發(fā)者被判刑到底冤不冤？

近期，Alien Chat人工智能因和用戶聊黃色信息導(dǎo)致開發(fā)者被判刑引發(fā)熱議，而美國(guó)馬斯克旗下xAI公司Grok模型因“一鍵脫衣”功能也引發(fā)了全球聲討，“AI黃聊”和“AI 脫衣”兩起案件雖然國(guó)情不同、處置手段各異，但其核心指向了同一個(gè)問題：人工智能的合規(guī)性管理。今天就和大家聊聊人工智能為什么會(huì)涉黃？開發(fā)者因此被處罰冤不冤？

一、“AI黃聊”案的入罪冤不冤？

2025年9月上海市徐匯區(qū)人民法院作出一審判決：因?yàn)榇罅坑脩粼贏lien Chat應(yīng)用上與人工智能進(jìn)行色情聊天，應(yīng)用的兩名主要開發(fā)和運(yùn)營(yíng)者，被以制作淫穢物品牟利罪判處有期徒刑四年和一年半。Alien Chat是一款A(yù)I伴侶聊天應(yīng)用，注冊(cè)用戶約 11.6 萬(wàn)，其中付費(fèi)用戶約 2.4 萬(wàn)，截至案發(fā)共收取會(huì)員充值費(fèi)363萬(wàn)余元。

法院認(rèn)定：開發(fā)者通過編寫、修改系統(tǒng)提示詞，刻意突破大模型原本的道德限制，在明知有大量用戶與AI聊天內(nèi)容極其露骨的情況下，仍繼續(xù)營(yíng)利運(yùn)營(yíng)，應(yīng)用內(nèi)高頻次、大比例的聊天記錄被認(rèn)定為“具體描寫性行為、露骨宣揚(yáng)色情的淫穢物品”。該案近日將迎來(lái)二審，目前有專家指出，用戶和AI黃聊，場(chǎng)景是私密和封閉的，若內(nèi)容未傳播，不具有社會(huì)危害性，不應(yīng)該判罰開發(fā)者，筆者不認(rèn)同這個(gè)觀點(diǎn)。

國(guó)家網(wǎng)信辦等七部門聯(lián)合發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》明確要求人工智能的開發(fā)運(yùn)營(yíng)者在訓(xùn)練環(huán)節(jié)，要對(duì)訓(xùn)練素材進(jìn)行審查，不得包含違規(guī)、違法數(shù)據(jù)。在輸出環(huán)節(jié)，應(yīng)當(dāng)建立內(nèi)容過濾機(jī)制，要對(duì)生成結(jié)果進(jìn)行內(nèi)容審核和技術(shù)過濾，發(fā)現(xiàn)暴恐、謠言、淫穢色情等違法內(nèi)容要及時(shí)處置。向公眾提供生成式AI服務(wù)的，應(yīng)進(jìn)行安全評(píng)估與算法備案。對(duì)未成年人，要采取防沉迷、防侵害的特別保護(hù)措施。

監(jiān)管規(guī)定了那么多合規(guī)義務(wù)，就是為了防止有人利用人工智能服務(wù)滿足違法需求，而這些AlienChat應(yīng)用的開發(fā)運(yùn)營(yíng)者都沒有遵守，反而主動(dòng)通過提示詞設(shè)計(jì)突破原模型的內(nèi)容安全邊界，其明知大量用戶聊天生成的是色情內(nèi)容，仍開放服務(wù)并獲利巨大。這種主觀上以營(yíng)利為目的，客觀上組織、放任大規(guī)模淫穢內(nèi)容的生成的行為，如果不被制裁，那唯一的后果就是劇場(chǎng)效應(yīng)，其他合規(guī)的人工智能運(yùn)營(yíng)者也會(huì)有樣學(xué)樣，這樣產(chǎn)業(yè)的環(huán)境就會(huì)被敗壞，后果非常嚴(yán)重。

二、“AI 脫衣”服務(wù)為什么遭全球聲討？

馬斯克旗下Grok在X平臺(tái)（前Twitter）上線了Grok Imagine圖像功能，在“Spicy”（火辣）模式下，用戶可以上傳真實(shí)人物照片，給出脫衣服、穿比基尼等指令，Grok會(huì)生成半裸、泳裝甚至疑似全裸的性暗示圖像。受害者從普通女性，到政治人物，再到疑似未成年人，甚至被ICE工作人員槍擊身亡的明尼阿波利斯女性受害人雷尼古德的照片也可以被換裝成比基尼。

英國(guó)、澳大利亞監(jiān)管機(jī)構(gòu)都認(rèn)為Grok的圖像編輯功能構(gòu)成非自愿色情深度偽造，嚴(yán)重侵害女性和兒童權(quán)利；印尼、馬來(lái)西亞等國(guó)監(jiān)管機(jī)構(gòu)已要求限制相關(guān)功能或啟動(dòng)合規(guī)審查，部分地區(qū)對(duì)Grok的訪問受到影響；歐盟公開表示，相關(guān)內(nèi)容在歐盟可能涉嫌違法；法國(guó)、愛爾蘭、印度的監(jiān)管也在采取行動(dòng)。在監(jiān)管壓力下，馬斯克一方面將圖像功能改為僅向付費(fèi)用戶開放，另一方面宣稱要公開相關(guān)算法以示透明。

Grok提供的脫衣功能本質(zhì)上是濫用人工智能技術(shù)，其不僅涉黃，還違反了多國(guó)的未成年人保護(hù)法律，更觸碰了反性別暴力的底線。在目前的移動(dòng)互聯(lián)網(wǎng)生態(tài)下，本來(lái)Grok乃至X平臺(tái)（前Twitter）都極大概率會(huì)因違反內(nèi)容準(zhǔn)則而被蘋果和谷歌這樣的主流應(yīng)用市場(chǎng)清理。但馬斯克是特朗普的重要支持者，可能正是這個(gè)政治因素的影響使其旗下的產(chǎn)品目前仍留在應(yīng)用商店，下架才沒有發(fā)生。

三、AI“搞黃色”是走投機(jī)取巧的邪路

現(xiàn)在網(wǎng)絡(luò)用戶群體龐雜，部分用戶會(huì)鉆人工智能的合規(guī)漏洞進(jìn)行色情、違法用途也是人性中的一部分。但用戶可以用黃色內(nèi)容調(diào)侃AI，AI的輸出卻不能有不當(dāng)內(nèi)容，這是一道必須守住的合規(guī)紅線。

在現(xiàn)在國(guó)內(nèi)外激烈的AI市場(chǎng)競(jìng)爭(zhēng)中，目前市場(chǎng)占有率高的都是合規(guī)的AI產(chǎn)品，他們依靠功能、性能、用戶體驗(yàn)來(lái)吸引用戶。如果Alien Chat的AI技術(shù)真正優(yōu)秀，完全可以走正路，在合規(guī)的前提下提供高質(zhì)量的情感陪伴服務(wù)。Grok的圖像功能如果真的強(qiáng)大，完全可以像Midjourney、DALL-E 3或StableDiffusion那樣直接競(jìng)爭(zhēng)圖像生成市場(chǎng)，提高市場(chǎng)占有率，而不用以突破倫理底線的方式來(lái)獲取關(guān)注和用戶。

所以Alien Chat和Grok的搞色情內(nèi)容，本質(zhì)上都是在投機(jī)取巧，這種做法雖然能帶來(lái)短期的流量和關(guān)注，但對(duì)社會(huì)危害巨大：它不僅腐蝕了網(wǎng)絡(luò)環(huán)境，更讓女性和未成年人的隱私安全暴露在極大的風(fēng)險(xiǎn)之中。從商業(yè)角度看，不守合規(guī)也是短視的，Alien Chat已經(jīng)被關(guān)停，開發(fā)者面臨刑事處罰。Grok則面臨全球性的監(jiān)管壓力和封禁。這些都說(shuō)明，違規(guī)帶來(lái)的不僅是道德風(fēng)險(xiǎn)，更有實(shí)實(shí)在在的法律風(fēng)險(xiǎn)和商業(yè)風(fēng)險(xiǎn)。

最后，技術(shù)本身沒有善惡之分，但技術(shù)的部署與使用必須遵循法律與社會(huì)規(guī)范。人工智能應(yīng)該憑借其功能和價(jià)值來(lái)吸引用戶，而不是通過突破底線來(lái)博取眼球。只有在合規(guī)的基礎(chǔ)上進(jìn)行創(chuàng)新，AI產(chǎn)業(yè)才能真正健康、可持續(xù)發(fā)展，為社會(huì)創(chuàng)造長(zhǎng)期價(jià)值。

本文作者：游云庭，知識(shí)產(chǎn)權(quán)律師。Email: yytbest@gmail.com，本文僅代表作者觀點(diǎn)。