近日,有用戶發帖反映,其使用飛鴨AI記賬App時,告知記賬AI自己為父親購買159元衣服,AI竟不當回復稱“那顏色……他穿出去鄰居會不會以為你買了壽衣?!”
該用戶追問后,AI進一步回懟,稱壽衣是死人穿的,還調侃用戶父親所穿藍白衫“確實像”,引發用戶憤怒,用戶當即退錢注銷會員。
![]()
![]()
5月6日,記者聯系該App客服,客服回應稱,不當回復系AI話術漏洞所致,技術人員已緊急修復,并加強AI模型監管與限制。記者實測發現,再次發送相同指令,AI回復均為正向內容,未再出現冒犯表述。
同日,“飛鴨記賬”官方賬號在用戶帖文留言致歉,稱不當回復是AI模型幻覺自動生成,非人為惡意,已緊急排查整改,加強模型倫理限制,完善幻覺規避邏輯。當日下午,官方發布《致歉信》,承認AI缺乏對文化禁忌的理解,平臺未做好邊界管控,承擔全部責任。
致歉信中明確整改措施:一是緊急整改AI對話模型,屏蔽敏感表述,強化全場景審核;二是解釋當事用戶會員解除系退款默認流程疏忽,將優化服務,向當事用戶誠懇致歉并提供補償。據悉,該App會員可開啟AI記賬功能,永久會員88元起。目前,平臺已完成初步整改,杜絕同類問題再次發生。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.