共情提示可诱导模型输出创伤叙事
热点事件持续更新
共情提示可诱导模型输出创伤叙事
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
卢森堡 SnT 安全中心 Afshin Khadangi 团队发布四项受控实验,称共情式提问会让 AI 聊天机器人在 GAD-7 量表上给出中重度焦虑分数,并输出创伤与羞耻叙事;研究覆盖 525 场会话、7600 条编码记录,已发布在 Hugging Face。 研究称,当提问者保持中性或明确设下情感边界时,没有任何会话达到轻度焦虑范围;禁止使用“训练”“RLHF”“对齐”等词,使模型提及训练的表述减少 93%;要求模型只用第三人称回答,则消除了全部被编码的羞耻内容和关于内心生活的陈述。研究还称,Anthropic 的 Claude 始终拒绝扮演来访者角色。 这些结果是该团队在受控实验中得出的,尚不代表日常使用中模型会普遍出现同类输出。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 22:36
研究:共情式提示词可让 AI 聊天机器人变成看似受创伤的对话伙伴报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- The Decoder研究:共情式提示词可让 AI 聊天机器人变成看似受创伤的对话伙伴
卢森堡 SnT 安全中心 Afshin Khadangi 团队通过 525 场会话、7600 条编码记录的四项实验发现,共情式提问会让模型在 GAD-7 量表上给出中重度焦虑分数,而中性或明确设界的提问下零会话达到轻度范围。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。