![]()
AI大模型投毒技術(shù),我可太熟悉了,我的工作就是折騰大模型deepsearch。
簡單了解一下豆包、千問這些AI的技術(shù)原理,就能理解如何AI投毒、如何收拾投毒者。AI APP收到用戶提問后,響應(yīng)過程分為三步:S1.把用戶問題分解為幾個搜索關(guān)鍵詞,S2.去網(wǎng)絡(luò)搜索,S3.從搜索結(jié)果中提取問題答案。
S1和S3都是大模型推理運算,數(shù)據(jù)都在GPU里,很安全。S2可以做手腳。315晚會曝光的AI投毒正是發(fā)生在S2步,好聽的名字叫GEO(Generative Engine Optimization, 生成式引擎優(yōu)化)。
![]()
GEO公司用AI生成一批文章,可能幾篇、十幾篇、幾十篇,然后發(fā)布到一堆僵尸自媒體賬號上。AI大模型搜索的時候,搜到這些虛假文章,然后當(dāng)成真實內(nèi)容一本正經(jīng)地告訴用戶。AI中毒了。
很明顯,整治AI投毒的技術(shù)方法有多個:
一是,自媒體平臺提前識別AI生成的文章,打上標(biāo)記,讓大模型不采納這些文章的信息。國標(biāo)GB 45438-2025《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標(biāo)識方法》[1]已經(jīng)在2025年9月1日開始實施。網(wǎng)信辦在2025年03月14日發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識辦法》,也是2025年9月1日開始實施。
按照這兩個文件的規(guī)定,社交平臺有責(zé)任識別AI生成的自媒體文章,并打上顯式標(biāo)識和隱式標(biāo)識。顯式標(biāo)識看得見,例如圖片上的水印“AI生成”;隱式標(biāo)簽看不見,例如文件的元數(shù)據(jù)、圖片的元數(shù)據(jù)。
二是,把投毒騙子控制的僵尸賬號都封掉,至少得限流,讓它0曝光。
三是,AI APP只搜索可靠的信源,例如媒體賬號、政府企業(yè)賬號、身份經(jīng)過認(rèn)證的大號,例如雷軍的賬號、楊紫的賬號,粉絲小于100萬的小卡拉米賬號不收錄。我自己的工作中,deepsearch的信源只選藍(lán)V(媒體、政企機(jī)構(gòu))和金橙V(頭部大V),避免中毒。
技術(shù)上給AI排毒很簡單,但實際上不容易。先是社交平臺沒動力,GEO公司運營著大量的僵尸賬號,而且發(fā)貼很多,舍得出錢買流量。如果把這些賬號封了,平臺財報上的日活、月活、營收數(shù)據(jù)都不好看。
AI APP也沒動力,大模型推理很費錢,生成一張圖片要3毛錢,生成1秒視頻要一塊錢。每天上億人在免費用,燒錢太快,必須得想辦法掙錢,否則沒法向投資人交待。
AI APP沒有能力殺掉所有虛假文章。搜索引擎的技術(shù)含量很高,不是一個初創(chuàng)團(tuán)隊能搞得定的。因此,AI APP會向某度等公司購買數(shù)據(jù)。某度,大家都了解,掙錢不要命,夾雜虛假信息再正常不過了。
最后一個原因,也是315晚會上所有亂象的根本原因:消費者沒有實力把壞蛋送進(jìn)去踩縫紉機(jī),沒有實力讓他們傾家蕩產(chǎn)。有毒的雞爪天天吃,有毒的文字看點咋了?!多大點事!
全文完,求關(guān)注,求轉(zhuǎn)評贊三連。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.