AI時(shí)代的內(nèi)存優(yōu)化,本質(zhì)上就是一個(gè)數(shù)據(jù)庫(kù)的安全問(wèn)題。若想避免人工智能Agent成為新的攻擊對(duì)象,就必須像對(duì)待數(shù)據(jù)庫(kù)那樣對(duì)待Agent內(nèi)存,控制好防火墻、審計(jì)機(jī)制以及嚴(yán)格的訪問(wèn)權(quán)限管理。
![]()
大型語(yǔ)言模型(LLM)發(fā)展帶來(lái)的挑戰(zhàn)
大型語(yǔ)言模型(LLM)的迅猛發(fā)展,讓人始料未及。以技術(shù)達(dá)人艾莉·米勒的親身實(shí)踐為例,她近期對(duì)首選的 LLM 用于多項(xiàng)任務(wù)進(jìn)行了評(píng)價(jià),卻坦言“相信下周情況就會(huì)改變”。原因在于,不同模型間的競(jìng)爭(zhēng)激烈,有的會(huì)加速迭代,有的會(huì)在特定領(lǐng)域強(qiáng)化訓(xùn)練。然而,當(dāng)前這些 LLM 在處理高價(jià)值企業(yè)數(shù)據(jù)時(shí),其“接地氣”的能力亟待提升。破解難題的關(guān)鍵在于,并非單純地跟上 LLM 的進(jìn)化速度,而是要探索如何將內(nèi)存優(yōu)化經(jīng)驗(yàn)有效應(yīng)用于人工智能領(lǐng)域。
若把 LLM 比作 CPU,那么內(nèi)存就如同硬盤(pán)、上下文以及積累的智慧,是智能體有效運(yùn)行的關(guān)鍵支撐。剝奪Agent的內(nèi)存,它便淪為一個(gè)成本高昂的隨機(jī)生成器。與此同時(shí),將記憶融入這些日益成熟的系統(tǒng),也帶來(lái)了全新的、巨大的攻擊風(fēng)險(xiǎn)。
Agent內(nèi)存優(yōu)化,也是被忽視的“數(shù)據(jù)庫(kù)”危險(xiǎn)
多數(shù)組織將Agent內(nèi)存視作抓取板或 SDK 背后的簡(jiǎn)單功能,卻未意識(shí)到它本質(zhì)上是一個(gè)數(shù)據(jù)庫(kù)問(wèn)題,而且可能是組織所擁有的最危險(xiǎn)(同時(shí)也最具潛力)的數(shù)據(jù)庫(kù)問(wèn)題。
不久前,我曾提出,看似普通的數(shù)據(jù)庫(kù)正逐漸成為人工智能的“海馬體”,為類似長(zhǎng)期回憶的無(wú)狀態(tài)模型賦予外部記憶能力。當(dāng)時(shí),Agent系統(tǒng)浪潮尚未真正興起,如今風(fēng)險(xiǎn)已然大幅增加。
正如里士滿·阿萊克在“特工記憶”研究中反復(fù)強(qiáng)調(diào)的,LLM 記憶與Agent記憶存在本質(zhì)區(qū)別。LLM 內(nèi)存僅涉及參數(shù)權(quán)重和短暫的上下文窗口,會(huì)話結(jié)束后便消失不見(jiàn)。而Agent內(nèi)存則是一種持久的認(rèn)知架構(gòu),能讓Agent基于歷史互動(dòng)積累知識(shí)、保持情境感知并調(diào)整行為。
阿拉克將這一新興領(lǐng)域稱為“記憶工程”,認(rèn)為它是提示或情境工程的后續(xù)發(fā)展。其核心并非簡(jiǎn)單地向上下文窗口填充更多代幣,而是構(gòu)建一條將原始數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、持久記憶的流程,涵蓋短期、長(zhǎng)期、共享等多種類型。
這看似是人工智能領(lǐng)域的專業(yè)術(shù)語(yǔ),實(shí)則是一個(gè)偽裝成數(shù)據(jù)庫(kù)的問(wèn)題。一旦Agent能夠回溯自身記憶,每次交互都可能引發(fā)系統(tǒng)狀態(tài)變化,進(jìn)而影響未來(lái)決策。此時(shí),調(diào)整提示已無(wú)濟(jì)于事,因?yàn)檫\(yùn)行的是一個(gè)實(shí)時(shí)、持續(xù)更新的數(shù)據(jù)庫(kù),存儲(chǔ)著Agent對(duì)世界的認(rèn)知。
若該數(shù)據(jù)庫(kù)出現(xiàn)錯(cuò)誤,Agent會(huì)自信地犯錯(cuò);若遭到入侵,Agent將始終處于危險(xiǎn)境地。這些威脅主要分為以下三類:
記憶中毒:攻擊者不直接破壞防火墻,而是通過(guò)正常交互向Agent灌輸虛假內(nèi)容。開(kāi)放全球應(yīng)用安全項(xiàng)目(OWASP)將記憶中毒定義為損壞存儲(chǔ)數(shù)據(jù),致使Agent在后續(xù)決策中出現(xiàn)缺陷。如今,像 Promptfoo 這類工具已配備專門(mén)的紅隊(duì)插件,用于測(cè)試Agent是否會(huì)被惡意記錄誤導(dǎo)。一旦發(fā)生這種情況,Agent對(duì)中毒記憶的后續(xù)判斷都將被扭曲。
工具濫用:Agent越來(lái)越多地獲得訪問(wèn)各類工具的權(quán)限,如 SQL 終端、shell 命令、CRM API 和部署系統(tǒng)等。當(dāng)攻擊者能夠誘導(dǎo)代理在錯(cuò)誤上下文中調(diào)用正確工具時(shí),其危害與掌握“內(nèi)幕指令”的內(nèi)部人員無(wú)異。OWASP 將此類問(wèn)題歸類為工具濫用和Agent劫持,即Agent無(wú)法擺脫權(quán)限限制,被攻擊者利用謀取私利。
特權(quán)蔓延和妥協(xié):隨著時(shí)間推移,Agent會(huì)積累涉及敏感數(shù)據(jù)的角色、密鑰和心理快照。例如,若某Agent先協(xié)助首席財(cái)務(wù)官,后又為初級(jí)分析師服務(wù),就可能“記住”不應(yīng)在下游分享的信息。Agent人工智能安全類稅務(wù)信息明確指出,特權(quán)妥協(xié)和訪問(wèn)風(fēng)險(xiǎn)會(huì)隨著動(dòng)態(tài)角色或?qū)徲?jì)不力政策的實(shí)施而增加。
新問(wèn)題的本質(zhì)是數(shù)據(jù)安全問(wèn)題
這些威脅看似新穎,本質(zhì)上卻都是數(shù)據(jù)問(wèn)題。回顧人工智能發(fā)展歷程,這些問(wèn)題正是數(shù)據(jù)治理團(tuán)隊(duì)多年來(lái)致力于解決的。
我一直建議企業(yè)應(yīng)從“快速轉(zhuǎn)型”轉(zhuǎn)向“快速實(shí)現(xiàn)數(shù)據(jù)的有效管理”,并將其作為人工智能平臺(tái)的核心選擇標(biāo)準(zhǔn)。對(duì)于Agent系統(tǒng)而言,這一點(diǎn)尤為重要。Agent以機(jī)器速度處理人體數(shù)據(jù),若數(shù)據(jù)錯(cuò)誤、陳舊或標(biāo)注有誤,Agent出錯(cuò)的速度將遠(yuǎn)超人類管理能力。
沒(méi)有有效“治理”的“快速”發(fā)展,無(wú)異于高速疏忽。問(wèn)題在于,多數(shù)Agent框架都自帶小型內(nèi)存存儲(chǔ),如默認(rèn)的向量數(shù)據(jù)庫(kù)、JSON 文件以及內(nèi)存中的快速緩存,這些緩存可能在后續(xù)悄然投入生產(chǎn)使用。從數(shù)據(jù)治理角度看,這些屬于影子數(shù)據(jù)庫(kù),通常缺乏模式定義、訪問(wèn)控制列表和嚴(yán)肅的審計(jì)跟蹤記錄。
我們實(shí)際上是為Agent專門(mén)搭建了第二個(gè)數(shù)據(jù)棧,卻還疑惑為何安全人員對(duì)Agent接觸重要事務(wù)心存顧慮。顯然,這種做法不可取。若Agent要保存影響真實(shí)決策的內(nèi)存,該存儲(chǔ)應(yīng)與處理客戶記錄、人力資源數(shù)據(jù)和財(cái)務(wù)數(shù)據(jù)的受管控?cái)?shù)據(jù)基礎(chǔ)設(shè)施屬于同一體系。Agent是新事物,但保護(hù)它們的方法并不用是最新的。
一種行業(yè)覺(jué)醒,Agent記憶與數(shù)據(jù)庫(kù)設(shè)計(jì)的融合
業(yè)界逐漸意識(shí)到,“Agent記憶”實(shí)質(zhì)是“數(shù)據(jù)持久化”的“新包裝”。仔細(xì)審視,大型云服務(wù)提供商的舉措已初具數(shù)據(jù)庫(kù)設(shè)計(jì)雛形。例如,亞馬遜的 Bedrock AgentCore 引入“內(nèi)存資源”作為邏輯容器,明確規(guī)定了留存周期、安全邊界以及原始交互如何轉(zhuǎn)化為持久洞察,這無(wú)疑是數(shù)據(jù)庫(kù)語(yǔ)言的運(yùn)用,即便帶有人工智能品牌標(biāo)識(shí)。
將向量嵌入視為獨(dú)立于核心數(shù)據(jù)庫(kù)的特殊數(shù)據(jù)類型毫無(wú)意義,若核心事務(wù)引擎能夠原生處理向量搜索、JSON 和圖形查詢,這種分離更顯多余。將內(nèi)存整合到存儲(chǔ)客戶記錄的數(shù)據(jù)庫(kù)中,可繼承數(shù)十年的安全強(qiáng)化成果。正如布里吉·潘迪所指出,數(shù)據(jù)庫(kù)多年來(lái)一直是應(yīng)用架構(gòu)的核心,智能人工智能不僅無(wú)法改變這一現(xiàn)狀,反而會(huì)強(qiáng)化其地位。
然而,許多開(kāi)發(fā)者仍繞過(guò)這一成熟架構(gòu),構(gòu)建獨(dú)立的向量數(shù)據(jù)庫(kù),或使用 LangChain 等框架的默認(rèn)存儲(chǔ),創(chuàng)建無(wú)模式、無(wú)審計(jì)跟蹤的無(wú)管理嵌入堆。這便是前面提到的“高速疏忽”。解決方案很簡(jiǎn)單:將向量?jī)?nèi)存視為一流數(shù)據(jù)庫(kù)。
具體實(shí)踐包括:
定義思想模式:通常人們將內(nèi)存視為非結(jié)構(gòu)化文本,這是錯(cuò)誤的。Agent存儲(chǔ)器需要結(jié)構(gòu)化設(shè)計(jì),明確記錄說(shuō)話者、時(shí)間、信心水平等信息。如同不會(huì)將財(cái)務(wù)記錄隨意丟進(jìn)文本文件,Agent記憶也不應(yīng)存入通用向量存儲(chǔ),需借助元數(shù)據(jù)管理想法的生命周期。
創(chuàng)建內(nèi)存防火墻:將寫(xiě)入長(zhǎng)期記憶的每一項(xiàng)內(nèi)容都視為不可信輸入。構(gòu)建一個(gè)“防火墻”邏輯層,執(zhí)行模式驗(yàn)證、約束檢查以及數(shù)據(jù)丟失防護(hù),甚至可在數(shù)據(jù)寫(xiě)入磁盤(pán)前,使用專用安全模型掃描提示注入或記憶中毒跡象。
數(shù)據(jù)庫(kù)層實(shí)施訪問(wèn)控制:為Agent的“大腦”實(shí)施分級(jí)安全機(jī)制。在Agent為用戶提供初級(jí)審核(如初級(jí)分析師權(quán)限)前,必須有效記錄所有高級(jí)記憶(如首席財(cái)務(wù)官權(quán)限)。此操作應(yīng)在數(shù)據(jù)庫(kù)層而非提示層執(zhí)行,若Agent試圖查詢無(wú)權(quán)限內(nèi)存,數(shù)據(jù)庫(kù)應(yīng)返回零結(jié)果。
審計(jì)“思想鏈”:傳統(tǒng)安全審計(jì)關(guān)注誰(shuí)訪問(wèn)了表格,而Agent安全需審計(jì)原因。需將Agent的實(shí)際行為追溯到觸發(fā)它的特定記憶譜系。若Agent泄露數(shù)據(jù),要能夠調(diào)試其內(nèi)存,找出有毒記錄并清除。
構(gòu)建信任機(jī)制,從內(nèi)存層開(kāi)始的Agent系統(tǒng)設(shè)計(jì)
我們常以抽象概念談?wù)撊斯ぶ悄苄湃危鐐惱怼⒁恢滦浴⑼该鞫鹊龋@些固然重要,但對(duì)于在實(shí)體企業(yè)中運(yùn)行的Agent系統(tǒng),信任是具體可衡量的。
當(dāng)前處于炒作周期階段,各方都希望構(gòu)建能“直接應(yīng)對(duì)”的Agent機(jī)構(gòu),這不難理解,畢竟Agent能自動(dòng)化許多過(guò)去需團(tuán)隊(duì)協(xié)作的工作流程和應(yīng)用程序。但每一次精彩演示背后,都隱藏著一個(gè)不斷積累事實(shí)、印象、中間計(jì)劃和緩存工具結(jié)果的存儲(chǔ)庫(kù)。這個(gè)存儲(chǔ)庫(kù)必須被當(dāng)作一流數(shù)據(jù)庫(kù)處理,否則將面臨嚴(yán)重風(fēng)險(xiǎn)。
那些已掌握數(shù)據(jù)譜系、訪問(wèn)控制、留存和審計(jì)管理方法的企業(yè),在進(jìn)入Agent時(shí)代時(shí)具有結(jié)構(gòu)性優(yōu)勢(shì),無(wú)需重新發(fā)明治理體系,只需將其擴(kuò)展至新的工作負(fù)載。
若你正在設(shè)計(jì)Agent系統(tǒng),請(qǐng)從內(nèi)存層入手,明確其定義、存儲(chǔ)位置、構(gòu)建方式和管理策略。之后,再讓Agent投入運(yùn)行。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.