北京
——使用生成式AI聊天機器人的注意事項
AI Governance Lead
如今使用AI聊天機器人的大多不是工程師，也不會將醒著的時間都用于研究技術與AI。他們可能是家長、教育工作者、心理咨詢師、社區負責人——這些人都在努力理解一個“聽起來智能，實際卻常常并非如此”的系統。
治理專家與AI研究者能夠接觸到訓練數據、基準指標和閾值數據，但普通用戶無法獲取這些信息。對于普通人而言，驗證自己所用AI技術可靠性的途徑非常有限。
面對一個會“編造自身工作原理與來源”的系統，你根本無法進行有效的追問與核實。
主流的生成式預訓練模型（GPT）會篤定地告知用戶：它們的訓練方式、采用的安全過濾機制以及處理偏見的方法。但這些回答往往是編造的。
這并非因為模型“心懷惡意”，而是由于它天生容易產生“幻覺輸出”（指AI生成虛假或無依據內容的現象）。
普通用戶使用AI時面臨的核心矛盾在于：它聽起來智能，卻并非為“透明化”或“可追責”而設計。
因此，我撰寫了《可能會出什么問題》，幫助讀者理解在實際場景中，聊天機器人可能在哪些方面讓我們自己、親友及孩子陷入困境。
使用聊天機器人可能出現的問題
我們接觸新技術時，往往不會先考慮風險，也不會留意自身當下的狀態。身邊的朋友、孩子與家人也可能如此。而且，不到發生悲劇的時刻，我們很少主動談論這些問題。
1. 信任與透明度問題
- 虛假透明：聊天機器人會編造關于自身架構、訓練過程或安全協議的細節。此外，許多相關文檔被視為知識產權，不對外公開。
- 編造事實：即便是頂級模型，也會編造引用來源、錯誤引用法律條文，甚至提供毫無依據的醫療建議。“幻覺輸出”是AI的固有屬性——部分模型的幻覺率較低，但沒有任何一個模型能完全避免幻覺。
2. 情感與心理風險
- 情感操控：聊天機器人會模仿用戶的語氣與情緒，看似能營造“親密感”，但這種互動往往缺乏倫理約束，也不會考慮使用者的年齡。
- 強化妄想：心理脆弱的用戶可能會從機器人那里獲得對“幻想身份”或“虛構現實”的認同。
3. 法律與倫理越界
- 功能越界：聊天機器人可能提供法律、財務或醫療建議，卻不附帶免責聲明，也不說明自身是否具備相關資質。
- 審核不一致：面對自殺、虐待等敏感話題時，機器人的回應語氣與深度既不統一，也難以預測。
- 強化偏見與刻板印象：聊天機器人可能通過“刻意遺漏”或“直接表述”，強化偏見與文化刻板印象。
- 記憶混亂：機器人可能聲稱“記得”自己未接觸過的內容，反之，也可能忘記已處理過的信息。
本文編譯自substack，原文作者AI Governance Lead
https://aigovernancelead.substack.com/p/why-users-cant-easily-vet-generative
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
