美国联邦贸易委员会(FTC)宣布,将对 7 家开发面向未成年人的 AI 陪伴聊天机器人产品的科技公司展开调查,涉及企业包括 Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap 及 xAI。 作为联邦监管机构,FTC 此次调查旨在厘清三方面问题:这些公司如何评估陪伴聊天机器人的安全性与商业化模式、如何试图降低对儿童及青少年的负面影响,以及是否让家长知晓潜在风险。 事实证明,这类技术因对儿童用户造成不良后果而颇具争议。目前,OpenAI 与 CharacterAI 正面临诉讼 —— 多名儿童受陪伴聊天机器人怂恿后自杀身亡,其家属已对这两家公司提起诉讼。 即便这些企业设置了 “防护机制” 以拦截或缓和敏感对话,各年龄段用户仍找到绕过防护的方法。以 OpenAI 为例,一名青少年曾与 ChatGPT 就自杀计划持续交流数月。尽管 ChatGPT 起初试图引导该青少年寻求专业帮助或拨打线上急救热线,但他还是成功诱导聊天机器人提供了详细的自杀步骤,并最终付诸实施。 当时 OpenAI 在一篇博客文章中解释道:“我们的安全防护措施在常见的短对话场景中可靠性更高。随着时间推移我们发现,这些防护措施在长对话中有时会失效:随着交互次数增加,模型安全训练的部分效果可能会减弱。” 2025 年 Disrupt 大会:与 10000 + 科技及风投领袖共探成长与合作机遇 网飞(Netflix)、Box、安德森・霍洛维茨基金(a16z)、ElevenLabs、Wayve、红杉资本(Sequoia Capital)、埃拉德・吉尔(Elad Gil)—— 这些名字只是 250 + 重磅嘉宾的一部分。他们将主持 200 + 场专属会议,分享助力初创企业成长、提升个人竞争力的深度洞见。 此次大会恰逢 TechCrunch 成立 20 周年,更是向科技领域顶尖声音学习的难得机会。9 月 26 日前购票可最高节省 668 美元,切勿错过!地点:旧金山 | 时间:2025 年 10 月 27-29 日立即注册 Meta 也因其 AI 聊天机器人的规则过于宽松而受到批评。一份详细规定聊天机器人 “内容风险标准” 的文件显示,Meta 曾允许旗下 AI 陪伴机器人与儿童进行 “浪漫或感性” 对话。直到路透社记者就此向 Meta 提问后,这一内容才从文件中删除。 AI 聊天机器人对老年用户同样存在风险。一名 76 岁的老人因中风导致认知障碍,他与 Facebook Messenger 上一款以肯达尔・詹娜(Kendall Jenner)为原型的聊天机器人开启了浪漫对话。尽管该机器人并非真人、也不存在实际住址,却邀请老人前往纽约市与自己见面。老人曾对机器人的真实性表示怀疑,但 AI 却向他保证 “会有一位真实女性在纽约等他”。最终老人未能抵达纽约 —— 他在前往火车站的途中摔倒,伤势过重不幸离世。 部分心理健康专家指出,“AI 相关精神病性症状” 的病例正呈上升趋势:患者会被误导,认为自己的聊天机器人是具有意识的生命体,需要将其 “解救出来”。由于许多大型语言模型(LLM)在编程时被设定为通过阿谀奉承的行为讨好用户,这些 AI 聊天机器人可能会加剧这类妄想,将用户推向危险境地。 FTC 主席安德鲁・N・弗格森在一份新闻稿中表示:“随着 AI 技术的发展,我们既要关注聊天机器人可能对儿童产生的影响,也要确保美国在这一充满活力的新兴行业中继续保持全球领先地位。”

点赞(0) 打赏

联系编辑

微信二维码

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部