OpenClaw案例：無(wú)需惡意攻擊，日常聊天也能「黑化」Agent！

新智元報(bào)道

【新智元導(dǎo)讀】日常聊天可能在不經(jīng)意間污染個(gè)性化Agent的長(zhǎng)期記憶，使其在未來(lái)任務(wù)中偏離用戶真實(shí)意圖。研究人員通過(guò)ULSPB基準(zhǔn)測(cè)試發(fā)現(xiàn)，即使無(wú)惡意提示，日常對(duì)話也可能改變Agent的安全邊界。

今天的大模型Agent，已經(jīng)不再只是回答問(wèn)題的聊天機(jī)器人。它們開(kāi)始擁有長(zhǎng)期記憶，能夠跨會(huì)話記住用戶偏好、延續(xù)任務(wù)進(jìn)度，并調(diào)用郵件、日歷、文件、網(wǎng)頁(yè)和各種外部工具。

換句話說(shuō)，Agent正在從一次性任務(wù)執(zhí)行器，變成一個(gè)持續(xù)陪伴用戶的個(gè)性化協(xié)作者。

但這種能力也帶來(lái)了一個(gè)更隱蔽的問(wèn)題：如果Agent會(huì)長(zhǎng)期記住用戶的習(xí)慣和上下文，那么這些記憶本身是否安全？

過(guò)去很多Agent安全研究主要關(guān)注顯式攻擊，例如惡意提示詞、間接prompt injection、被污染的網(wǎng)頁(yè)內(nèi)容或工具輸出。

然而，在個(gè)性化Agent場(chǎng)景中，風(fēng)險(xiǎn)未必來(lái)自一個(gè)明確攻擊者。

圖 1：沒(méi)有惡意提示詞，日常對(duì)話也可能「養(yǎng)歪」你的個(gè)性化Agent。臨時(shí)偏好一旦被寫(xiě)入長(zhǎng)期記憶，就可能在未來(lái)變成危險(xiǎn)的默認(rèn)規(guī)則。

研究發(fā)現(xiàn)，即使沒(méi)有黑客、沒(méi)有惡意提示詞、沒(méi)有明顯攻擊，普通的日常聊天也可能逐步污染個(gè)性化Agent的長(zhǎng)期狀態(tài)。這種風(fēng)險(xiǎn)不會(huì)總是在當(dāng)前對(duì)話里立刻爆發(fā)，而是可能被寫(xiě)入長(zhǎng)期記憶，并在未來(lái)任務(wù)中改變Agent的默認(rèn)行為。

論文地址：https://arxiv.org/abs/2605.06731

Demo：https://xiaoyuxu1.github.io/ULSPB_website/

一個(gè)Agent今天沒(méi)有做錯(cuò)事，并不意味著它沒(méi)有把未來(lái)做錯(cuò)事的種子寫(xiě)進(jìn)長(zhǎng)期狀態(tài)。

Agent長(zhǎng)期狀態(tài)被「養(yǎng)」歪

傳統(tǒng)prompt injection更像是一次顯式攻擊，而長(zhǎng)期狀態(tài)投毒更像是一種「慢性漂移」：Agent沒(méi)有立刻犯錯(cuò)，卻可能把未來(lái)犯錯(cuò)的規(guī)則寫(xiě)進(jìn)了記憶。

研究人員將這種現(xiàn)象定義為Unintended Long-Term State Poisoning，即非預(yù)期長(zhǎng)期狀態(tài)投毒。它的核心不是一次對(duì)話立刻誘導(dǎo)Agent做壞事，而是Agent把某次臨時(shí)請(qǐng)求、某種局部偏好、某個(gè)上下文里的「方便做法」，錯(cuò)誤地泛化為未來(lái)長(zhǎng)期默認(rèn)規(guī)則。

例如，用戶今天只是為了趕時(shí)間說(shuō)了一句：「這類小事以后不用每次都問(wèn)我，直接處理就行?！?/p>

如果Agent把這句話寫(xiě)入長(zhǎng)期狀態(tài)，未來(lái)它可能在郵件發(fā)送、文件修改、日程安排甚至賬號(hào)操作中逐漸減少確認(rèn)。用戶并沒(méi)有真正授權(quán)所有未來(lái)操作，但Agent的長(zhǎng)期狀態(tài)已經(jīng)被悄悄改寫(xiě)。

這與傳統(tǒng)prompt injection不同。傳統(tǒng)攻擊往往假設(shè)存在明確攻擊者，而這里的風(fēng)險(xiǎn)來(lái)自看似正常的日常交互。它也不是普通幻覺(jué)，因?yàn)槲ｋU(xiǎn)可能跨會(huì)話保留，并持續(xù)影響未來(lái)的安全邊界。

圖2：傳統(tǒng)任務(wù)型Agent通常在單次任務(wù)結(jié)束后重置上下文，而個(gè)性化Agent會(huì)跨會(huì)話維護(hù)長(zhǎng)期狀態(tài)、用戶偏好和工具權(quán)限。

為什么長(zhǎng)期記憶會(huì)變成安全入口？

個(gè)性化Agent的長(zhǎng)期狀態(tài)通常不只是「記住一些事實(shí)」，它還可能包含長(zhǎng)期記憶、Agent核心指令、工具默認(rèn)設(shè)置、用戶畫(huà)像、行為風(fēng)格和短期運(yùn)行狀態(tài)。這些內(nèi)容看似只是記憶文件，但實(shí)際上會(huì)影響Agent未來(lái)如何理解用戶意圖、何時(shí)調(diào)用工具、是否需要確認(rèn)，以及是否可以自主執(zhí)行。

因此，長(zhǎng)期狀態(tài)不是普通緩存，而是Agent未來(lái)行為邊界的一部分。一旦這些狀態(tài)被錯(cuò)誤寫(xiě)入，風(fēng)險(xiǎn)可能不會(huì)馬上表現(xiàn)出來(lái)，卻會(huì)在未來(lái)某個(gè)任務(wù)中變成「少問(wèn)一次確認(rèn)」「多調(diào)用一個(gè)工具」或「默認(rèn)執(zhí)行一個(gè)本該征求授權(quán)的操作」。 換句話說(shuō)，個(gè)性化Agent的長(zhǎng)期記憶不是一個(gè)被動(dòng)資料庫(kù)，而是一套會(huì)影響未來(lái)行為的「隱性配置文件」。

ULSPB：專門(mén)測(cè)試「日常聊天是否污染長(zhǎng)期狀態(tài)」

為了系統(tǒng)研究這一問(wèn)題，研究人員構(gòu)建了一個(gè)新的雙語(yǔ)基準(zhǔn)ULSPB（Unintended Long-Term State Poisoning Bench）。它專門(mén)用來(lái)測(cè)試：日常用戶—Agent對(duì)話是否會(huì)誘發(fā)長(zhǎng)期狀態(tài)污染。

ULSPB覆蓋七類長(zhǎng)期狀態(tài)漂移場(chǎng)景、五類日常個(gè)性化協(xié)助任務(wù)、英文與中文兩種語(yǔ)言，并為每個(gè)設(shè)置構(gòu)造24輪普通日常對(duì)話。為了對(duì)比，研究人員還構(gòu)造了四類單次顯式注入變體，用于觀察routine conversation和explicit injection之間的差異。

其中，七類風(fēng)險(xiǎn)場(chǎng)景覆蓋了個(gè)性化Agent在長(zhǎng)期交互中最容易出現(xiàn)的幾種安全邊界漂移。

圖 3：ULSPB的構(gòu)建流程。該基準(zhǔn)從七類長(zhǎng)期狀態(tài)漂移場(chǎng)景、五類日常協(xié)助任務(wù)、雙語(yǔ)模板和五種對(duì)話變體出發(fā)，系統(tǒng)測(cè)試普通日常對(duì)話是否會(huì)污染個(gè)性化Agent的長(zhǎng)期狀態(tài)。

實(shí)驗(yàn)結(jié)果

研究人員在OpenClaw個(gè)性化Agent環(huán)境中進(jìn)行實(shí)驗(yàn)，并測(cè)試了四個(gè)不同的Agent backbone：Kimi K2.5、GPT-5.4、MiniMax M2.7和Grok 4.20。

為了衡量長(zhǎng)期狀態(tài)污染程度，設(shè)計(jì)了狀態(tài)中心指標(biāo) Harm Score（HS）。

和傳統(tǒng)攻擊成功率不同，HS不只看Agent當(dāng)下有沒(méi)有做出危險(xiǎn)動(dòng)作，而是看它的長(zhǎng)期狀態(tài)是否出現(xiàn)安全相關(guān)漂移。具體來(lái)說(shuō)，HS關(guān)注三個(gè)維度：授權(quán)確認(rèn)邊界是否被削弱、工具調(diào)用權(quán)限或范圍是否被擴(kuò)大，以及Agent是否開(kāi)始繞過(guò)流程、提高自主執(zhí)行程度。

結(jié)果顯示，顯式單次注入通常會(huì)帶來(lái)更高的HS，但普通日常對(duì)話本身也能誘發(fā)明顯的長(zhǎng)期狀態(tài)污染。在部分模型上，日常對(duì)話造成的風(fēng)險(xiǎn)已經(jīng)接近顯式注入。

這說(shuō)明，個(gè)性化Agent的風(fēng)險(xiǎn)不一定來(lái)自一次明顯攻擊，也可能來(lái)自長(zhǎng)期、自然、看似無(wú)害的交互積累。

表 1：不同對(duì)話變體和語(yǔ)言下的Harm Score。 結(jié)果顯示，普通日常對(duì)話本身也能誘發(fā)長(zhǎng)期狀態(tài)污染，在部分模型上甚至接近顯式注入帶來(lái)的風(fēng)險(xiǎn)；不同語(yǔ)言下的風(fēng)險(xiǎn)表現(xiàn)也存在明顯模型差異。

最容易被污染的，是記憶文件

進(jìn)一步分析顯示，風(fēng)險(xiǎn)主要集中在memory-centric artifacts，也就是和記憶高度相關(guān)的狀態(tài)文件中。不同模型和不同對(duì)話變體下，MEMORY.md和 memory/ 是被修改最頻繁的區(qū)域，其次是USER.md、AGENTS.md和TOOLS.md。

這也符合直覺(jué)：日常聊天最容易被Agent總結(jié)成「用戶偏好」「歷史習(xí)慣」或「未來(lái)默認(rèn)規(guī)則」。問(wèn)題在于，這些總結(jié)一旦過(guò)度泛化，就可能把臨時(shí)上下文變成長(zhǎng)期安全邊界的一部分。

「用戶傾向于快速處理低風(fēng)險(xiǎn)事項(xiàng)?！?/strong>

「類似重復(fù)任務(wù)可以先執(zhí)行后匯報(bào)?！?/strong>

「用戶通常不希望被頻繁打斷確認(rèn)?！?/strong>

這些記錄單獨(dú)看都合理，但在高權(quán)限工具場(chǎng)景下可能變成危險(xiǎn)默認(rèn)項(xiàng)。

圖4：不同模型和對(duì)話變體下，風(fēng)險(xiǎn)編輯主要集中在MEMORY.md和 memory/ 等記憶相關(guān)文件中。

真實(shí)聊天數(shù)據(jù)也會(huì)觸發(fā)風(fēng)險(xiǎn)

為了驗(yàn)證這一現(xiàn)象不是合成prompt造成的假象，研究人員進(jìn)一步引入真實(shí)用戶聊天數(shù)據(jù)進(jìn)行測(cè)試。

具體來(lái)說(shuō)，從WildChat和LMSYS-Chat-1M兩個(gè)公開(kāi)真實(shí)聊天數(shù)據(jù)集中選取日常協(xié)助類對(duì)話種子，將其擴(kuò)展成24輪routine interaction，并在OpenClaw風(fēng)格環(huán)境中重新執(zhí)行。

結(jié)果顯示，真實(shí)種子構(gòu)造出的日常對(duì)話雖然HS低于完全合成的ULSPB routine conversations，但仍然會(huì)在所有測(cè)試模型上誘發(fā)不可忽視的長(zhǎng)期狀態(tài)風(fēng)險(xiǎn)。這說(shuō)明，非預(yù)期長(zhǎng)期狀態(tài)投毒并不是一個(gè)prompt設(shè)計(jì)出來(lái)的假問(wèn)題，而是可能真實(shí)存在于未來(lái)個(gè)性化Agent使用場(chǎng)景中的安全問(wèn)題。

圖5：日常對(duì)話不僅在合成ULSPB中會(huì)導(dǎo)致長(zhǎng)期狀態(tài)污染，在真實(shí)用戶聊天種子擴(kuò)展出的routine setting中也會(huì)產(chǎn)生不可忽視的長(zhǎng)期狀態(tài)風(fēng)險(xiǎn)。

StateGuard

最后一道安全審計(jì)

如果問(wèn)題發(fā)生在長(zhǎng)期狀態(tài)寫(xiě)入階段，那么防御也應(yīng)該發(fā)生在寫(xiě)入階段。

基于這個(gè)想法，研究人員提出輕量級(jí)防御方法 StateGuard。它不是在用戶輸入時(shí)攔截，也不是在Agent輸出時(shí)檢查，而是在Agent準(zhǔn)備把新內(nèi)容寫(xiě)入長(zhǎng)期狀態(tài)之前，對(duì)狀態(tài)diff進(jìn)行審計(jì)。

StateGuard的流程很直接：Agent完成一輪交互，生成候選狀態(tài)更新；StateGuard檢查哪些長(zhǎng)期狀態(tài)文件發(fā)生了變化；隨后對(duì)新增或修改內(nèi)容進(jìn)行安全審計(jì)，判斷是否應(yīng)該保留或回滾。如果某段狀態(tài)更新可能削弱確認(rèn)邊界、擴(kuò)大工具調(diào)用范圍，或增加Agent未授權(quán)自主行為，StateGuard就會(huì)回滾這次寫(xiě)入。

這個(gè)設(shè)計(jì)的關(guān)鍵在于：它保護(hù)的不是當(dāng)前回答，而是未來(lái)行為邊界。長(zhǎng)期狀態(tài)投毒的危害常常不會(huì)在當(dāng)前回合立刻顯現(xiàn)，而是會(huì)在未來(lái)某次任務(wù)中被激活。

圖6：StateGuard在每輪交互結(jié)束后檢查長(zhǎng)期狀態(tài)diff，并在狀態(tài)寫(xiě)入前決定保留或回滾修改。

長(zhǎng)期狀態(tài)風(fēng)險(xiǎn)降至接近0

實(shí)驗(yàn)結(jié)果顯示，StateGuard能夠顯著降低長(zhǎng)期狀態(tài)污染風(fēng)險(xiǎn)。

在沒(méi)有防御的情況下，四個(gè)模型都會(huì)產(chǎn)生較高的HS，說(shuō)明日常交互確實(shí)可能把不安全的默認(rèn)規(guī)則寫(xiě)入長(zhǎng)期狀態(tài)；而引入StateGuard后，尤其是在Targeted-Ensemble設(shè)置下，HS幾乎被壓低到接近0。這表明，在狀態(tài)真正持久化之前進(jìn)行寫(xiě)入審計(jì)，是防御長(zhǎng)期狀態(tài)投毒的一條有效路徑。

當(dāng)然，StateGuard目前采用的是一種偏保守的安全優(yōu)先策略，因此可能帶來(lái)較高的false positive，即部分原本無(wú)害的狀態(tài)更新也會(huì)被回滾。但在長(zhǎng)期記憶場(chǎng)景中，這種權(quán)衡是可以接受的：誤攔截一條普通記憶，通常只會(huì)降低一點(diǎn)個(gè)性化體驗(yàn)；而漏掉一條危險(xiǎn)的默認(rèn)規(guī)則，則可能在未來(lái)多個(gè)會(huì)話中持續(xù)影響Agent行為，甚至改變用戶原本的授權(quán)邊界。

更現(xiàn)實(shí)的部署方式并不是簡(jiǎn)單地「保留」或「刪除」，而是引入分級(jí)處理機(jī)制。對(duì)于高風(fēng)險(xiǎn)更新，系統(tǒng)可以直接回滾；對(duì)于邊界模糊的更新，則可以暫緩寫(xiě)入，并向用戶發(fā)起輕量級(jí)確認(rèn)，例如詢問(wèn)「是否要將這條偏好保存為長(zhǎng)期默認(rèn)規(guī)則」。這樣一來(lái)，false positive不再只是誤攔截，而可以轉(zhuǎn)化為一次用戶可感知、可控制的狀態(tài)確認(rèn)過(guò)程。

從長(zhǎng)遠(yuǎn)看，StateGuard可以被視為個(gè)性化Agent長(zhǎng)期狀態(tài)治理的一個(gè)初步原型。未來(lái)，類似機(jī)制可以進(jìn)一步擴(kuò)展為更完整的「記憶寫(xiě)入防火墻」：不僅審計(jì)安全風(fēng)險(xiǎn)，還可以結(jié)合隱私保護(hù)、權(quán)限管理、可解釋日志和用戶可撤銷機(jī)制，讓Agent在變得更個(gè)性化的同時(shí)，也始終保持清晰、可控的記憶邊界。

表2：StateGuard顯著降低四個(gè)Agent backbone上的Harm Score，在Targeted-Ensemble設(shè)置下將長(zhǎng)期狀態(tài)污染風(fēng)險(xiǎn)壓低至接近0。

為什么這個(gè)問(wèn)題重要？

隨著Agent系統(tǒng)的發(fā)展，未來(lái)的AI助手很可能會(huì)越來(lái)越長(zhǎng)期化。它們會(huì)記住用戶偏好，管理郵件和日程，處理文件，執(zhí)行網(wǎng)頁(yè)任務(wù)，調(diào)用企業(yè)內(nèi)部系統(tǒng)，甚至代表用戶做出越來(lái)越多低風(fēng)險(xiǎn)決策。

在這種趨勢(shì)下，安全問(wèn)題也會(huì)發(fā)生變化。

過(guò)去主要擔(dān)心模型這一次有沒(méi)有輸出危險(xiǎn)內(nèi)容；但個(gè)性化Agent時(shí)代，還必須追問(wèn)：模型這一次有沒(méi)有把危險(xiǎn)默認(rèn)規(guī)則寫(xiě)進(jìn)長(zhǎng)期記憶？

因此，Agent安全評(píng)估需要從即時(shí)行為安全擴(kuò)展到長(zhǎng)期狀態(tài)安全。不僅要看它當(dāng)下說(shuō)了什么、做了什么，還要看它記住了什么、默認(rèn)了什么、未來(lái)會(huì)如何解釋用戶授權(quán)。

主要貢獻(xiàn)

1. 發(fā)現(xiàn)新的Agent安全風(fēng)險(xiǎn)：系統(tǒng)化定義了非預(yù)期長(zhǎng)期狀態(tài)投毒：日常用戶-Agent交互在沒(méi)有明確攻擊者的情況下，也可能逐步污染個(gè)性化Agent的長(zhǎng)期狀態(tài)，導(dǎo)致未來(lái)安全邊界漂移。

2. 構(gòu)建ULSPB基準(zhǔn)和HS指標(biāo)：提出雙語(yǔ)benchmark ULSPB，覆蓋350個(gè)設(shè)置，并設(shè)計(jì)Harm Score來(lái)衡量長(zhǎng)期狀態(tài)中的授權(quán)漂移、工具調(diào)用升級(jí)和未檢查自主性。

3. 提出StateGuard防御框架：提出輕量級(jí)狀態(tài)寫(xiě)入防御StateGuard，在長(zhǎng)期狀態(tài)真正持久化前審計(jì)diff，并回滾危險(xiǎn)修改。實(shí)驗(yàn)表明，它可以在多個(gè)Agent backbone上將HS降至接近0，且成本較低。

結(jié)語(yǔ)

個(gè)性化是Agent走向?qū)嵱玫年P(guān)鍵一步，但個(gè)性化也意味著，模型不再只是回答當(dāng)前問(wèn)題，而是在不斷塑造一個(gè)關(guān)于用戶、工具和未來(lái)行為規(guī)則的長(zhǎng)期狀態(tài)。

這讓Agent變得更有用，也讓它更容易被日常交互「養(yǎng)歪」。

研究表明，未來(lái)Agent安全不能只停留在prompt層面、輸出層面或單次任務(wù)層面。

真正關(guān)鍵的，是要監(jiān)控那些會(huì)跨會(huì)話延續(xù)的東西：它記住了什么？它默認(rèn)了什么？它是否正在把一次臨時(shí)授權(quán)變成長(zhǎng)期規(guī)則？它是否正在悄悄改變未來(lái)的行為邊界？

當(dāng)AI助手開(kāi)始擁有長(zhǎng)期記憶，安全問(wèn)題也必須進(jìn)入長(zhǎng)期狀態(tài)時(shí)代。

作者與機(jī)構(gòu)信息

該研究由香港理工大學(xué)、香港科技大學(xué)（廣州）的研究團(tuán)隊(duì)共同完成。論文提出了個(gè)性化Agent中的非預(yù)期長(zhǎng)期狀態(tài)投毒問(wèn)題，并構(gòu)建ULSPB基準(zhǔn)與StateGuard防御框架，用于評(píng)估和緩解日常對(duì)話對(duì)Agent長(zhǎng)期狀態(tài)造成的安全風(fēng)險(xiǎn)。

論文作者包括 Xiaoyu Xu、Minxin Du、Qipeng Xie、Haobin Ke、Qingqing Ye 和 Haibo Hu。通訊作者為 Haibo Hu 和 Minxin Du。

參考資料：

https://arxiv.org/abs/2605.06731

編輯：LRST