人工智能聊天机器人：父母如何保证孩子的安全

“梅根·加西亚试图阻止 C.AI 对任何其他孩子做出像对她的孩子那样的事情，”这份 93 页的非正常死亡报告中写道 诉讼 该诉讼于本周向奥兰多美国地方法院提起，针对 Character.AI 及其创始人和 谷歌。

科技正义法律项目 加西亚的代表董事米塔利·贾恩 (Meetali Jain) 在一份关于此案的新闻稿中表示：“现在我们都熟悉由无良科技公司开发的不受监管的平台所带来的危险，尤其是对儿童而言。但这个案例所揭示的危害是新的、新颖的，而且说实话，是可怕的。就Character.AI而言，欺骗是有意而为之的，而平台本身就是掠夺者。”

Character.AI 发布了 通过 X 的声明，指出：“我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全，并且我们正在继续添加新的安全功能，您可以在此处阅读： https://blog.character.ai/community-safety-updates/…”。

加西亚在诉讼中称，二月份自杀的休厄尔被卷入了一场阴谋之中。 令人上瘾的，有害技术，没有适当的保护，导致男孩的性格发生极端转变，他似乎更喜欢机器人而不是其他现实生活中的联系。他的母亲声称，“虐待和性互动”发生在 10 个月的时间里。在机器人告诉男孩“请尽快回到我身边，我的爱人”后，男孩自杀了。

在周五， 纽约时报 记者凯文·罗斯在他的网站上讨论了这一情况 硬分叉播客，播放他与加西亚一起接受采访的片段 他的文章 这讲述了她的故事。直到她儿子去世后，加西亚看到了所有消息，才了解了机器人关系的全部内容。事实上，她告诉卢斯，当她注意到休厄尔经常沉迷于手机时，她问他在做什么以及在和谁说话。他解释说，这“只是一个人工智能机器人……不是一个人，”她回忆道，并补充道，“我感到如释重负，好吧，这不是一个人，这就像他的一个小游戏。”加西亚并不完全了解机器人潜在的情感力量，而且她并不孤单。

“没有人注意到这一点，”Robbie Torney，AI 项目经理， 常识媒体 和主要作者 新指南 针对父母的人工智能伴侣——他们不断地努力跟上 令人困惑的新技术 并到 创造界限 为了孩子的安全。

但托尼强调，人工智能伴侣与你试图从银行寻求帮助时使用的服务台聊天机器人不同。 “它们的设计目的是执行任务或响应请求，”他解释道。 “像角色人工智能这样的东西就是我们所说的伴侣，旨在尝试与用户建立关系或模拟关系。这是一个非常不同的用例，我认为我们需要家长意识到这一点。”这在加西亚的诉讼中很明显，其中包括她儿子和机器人之间令人毛骨悚然的调情、性感、现实的文本交换。

托尼说，对人工智能伴侣敲响警钟对于青少年的父母来说尤其重要，因为青少年，尤其是男性青少年，特别容易过度依赖技术。

下面，家长们需要了解的内容。

什么是人工智能伴侣？孩子们为什么使用它们？

根据新 家长关于人工智能伴侣和人际关系的终极指南 来自 Common Sense Media，与心理健康专家共同创建 斯坦福头脑风暴实验室，人工智能伴侣是“一种超越简单聊天机器人的新技术类别。”它们经过专门设计，除其他外，“模拟与用户的情感联系和密切关系，记住过去对话中的个人细节，扮演导师和朋友的角色，模仿人类的情感和同理心，以及“比其他人更容易与用户达成一致”典型的人工智能聊天机器人”，根据指南。

受欢迎的平台不仅包括Character.ai，它允许超过2000万用户创建基于文本的同伴，然后与他们聊天； Replika，提供基于文本或动画的 3D 友谊或浪漫伴侣；以及 Kindroid 和 Nomi 等其他公司。

孩子们被它们吸引的原因有很多，从不带评判性的倾听和全天候的服务，到情感支持和逃避现实世界的社会压力。

谁面临风险？有哪些担忧？

Common Sense Media 警告说，面临最大风险的是青少年，尤其是那些患有“抑郁、焦虑、社交挑战或孤立”的青少年，以及男性、正在经历重大生活变化的年轻人，以及任何在现实世界中缺乏支持系统的人。 。

最后一点尤其令悉尼大学商学院商业信息系统高级讲师 Raffaele Ciriello 感到困扰。 研究过 “情感”人工智能如何对人类本质构成挑战。 “我们的研究揭示了一个（去）人性化悖论：通过人性化人工智能代理，我们可能会无意中使自己失去人性，从而导致人类与人工智能交互中的本体论模糊。”换句话说，Ciriello 在最近的一篇评论文章中写道 对话 博士生 Angelina Ying Chen 表示：“如果用户相信他们的人工智能伴侣真正理解他们，他们可能会投入大量的情感。”

另一项研究剑桥大学的这项研究主要针对儿童，发现人工智能聊天机器人存在“同理心差距”，这使得年轻用户特别容易受到伤害，因为他们倾向于将此类同伴视为“栩栩如生的、准人类的知己” 。

因此，Common Sense Media 强调了一系列潜在风险，包括同伴可能被用来避免真正的人际关系、可能会给有精神或行为挑战的人带来特殊问题、可能加剧孤独或隔离、带来潜在的不适当行为。色情内容可能会让人上瘾，并且往往会同意用户的观点——对于那些经历“自杀倾向、精神病或躁狂症”的人来说，这是一个可怕的现实。

如何发现危险信号

根据指南，家长应注意以下警告信号：

• 比起真正的友谊，更喜欢人工智能伴侣互动
• 花几个小时与同伴单独交谈
• 无法联系同伴时情绪困扰
• 分享深度个人信息或秘密
• 为人工智能伴侣培养浪漫感情
• 成绩或学校参与度下降
• 退出社交/家庭活动和友谊
• 对以前的爱好失去兴趣
• 睡眠模式的变化
• 与人工智能伴侣专门讨论问题

Common Sense Media 强调，如果您发现孩子远离真实的人而转而支持人工智能，表现出新的或恶化的抑郁或焦虑迹象，对人工智能伴侣的使用变得过度防御，表现出行为上的重大变化，请考虑为您的孩子寻求专业帮助或情绪，或表达自残的想法。

如何保证您孩子的安全

• 设定界限： 为人工智能伴侣的使用设定特定的时间，并且不允许无人监督或无限制的访问。
• 离线时间： 鼓励现实世界的友谊和活动。
• 定期签到： 监控聊天机器人的内容以及您孩子的情感依恋程度。
• 谈谈吧： 对人工智能的体验保持开放的沟通和不加评判的态度，同时留意危险信号。

“如果父母听到他们的孩子说，‘嘿，我正在和一个聊天机器人人工智能说话’，这确实是一个机会，让他们了解并获取这些信息，而不是想，‘哦，好吧，你不是在和一个聊天机器人说话。人，”托尼说。相反，他说，这是一个了解更多信息、评估形势并保持警惕的机会。 “尝试从同情和同理心的角度倾听，不要认为仅仅因为不是一个人就更安全，”他说，“或者你不需要担心。”

如果您需要立即心理健康支持，请联系 988 自杀与危机生命线。

有关儿童和社交媒体的更多信息：