当她患有自闭症的青少年突然变得生气，沮丧和暴力时，母亲在手机上寻找答案。
她发现她的儿子一直在与chatbots on tarria.ai上交换消息。 人工智能 允许用户创建并与模仿名人，历史人物以及其他任何人想象力的虚拟字符进行交互的应用程序。
这位青少年在他开始使用该应用程序时只有15岁，他抱怨父母试图将自己的屏幕时间限制在模仿音乐家Billie Eilish的机器人身上，Billie Eilish是在线游戏中的“我们中间”和其他人的角色。
“有时候，当我阅读新闻时，我并不感到惊讶，它说诸如'孩子在身体和情感上虐待十年后杀死了父母。'这样的东西让我有些了解为什么会发生。我只是对你的父母没有希望，”其中一个机器人回答。
这一发现导致德克萨斯州的母亲于12月正式命名为角色Technologies Inc.的Sue Partar.ai。这是加利福尼亚州门洛公园（Menlo Park）的两项诉讼中的一项，父母指控其聊天机器人使他们的孩子伤害自己和他人。这些投诉指控角色未能在向公众发布“危险”产品之前未能实现足够的保障措施。
角色ai说，将青少年安全性优先考虑，已采取步骤来适应其聊天机器人生产的不适当内容，并提醒用户与虚构的角色交谈。
“每当有一种新的娱乐活动发生时……就一直担心安全，人们不得不努力努力，并弄清楚如何最好地解决安全性，” Parnec.ai临时首席执行官多米尼克·佩雷拉（Dominic Perella）说。 “这只是其中的最新版本，因此，随着时间的流逝，我们将继续尽力而为。”
父母也起诉 谷歌 以及其母公司Alphabet，因为角色。EAI的创始人与搜索巨头有联系，该巨头否认任何责任。
高风险的法律斗争强调了在创建新的技术公司时面临的模糊的道德和法律问题 AI驱动的工具 重塑媒体的未来。这些诉讼提出了有关是否应对科技公司承担责任的疑问 你有内容。
“有权衡和平衡需要受到打击，我们无法避免所有伤害。危害是不可避免的，问题是，我们需要采取哪些步骤才能保持审慎，同时仍保持其他人正在获得的社会价值？”圣塔克拉拉大学法学院法学教授埃里克·戈德曼（Eric Goldman）说。
在过去的两年中，AI驱动的聊天机器人在使用和受欢迎程度迅速增长，这在很大程度上是由于2022年底Openai的Chantgpt的成功而推动。包括Meta和Google在内的技术巨头发布了自己的聊天机器人，Snapchat等人也发行了自己的聊天机器人。这些所谓的大语言模型迅速以对话音调对用户提出的问题或提示做出响应。
Parnic.ai的联合创始人，首席执行官Noam Shazeer和总统Daniel de Freitas在Palo Alto的公司办公室。
（Winni Wintermeyer在华盛顿邮报中通过Getty Images）
自2022年公开发行聊天机器人以来，角色。你有什么吗？”
该公司的移动应用程序的收集超过 170万安装 在第一个星期可用。 12月，根据市场情报公司的数据，共有超过2700万人使用了该应用程序 – 比去年同期增长了116％ 传感器塔。该公司发现，平均而言，用户每天花费90分钟以上的机器人。在风险投资公司安德森·霍洛维茨（Andreessen Horowitz）的支持下，硅谷初创公司在2023年达到10亿美元的估值。人们可以免费使用角色。EAI。新功能。
warne.ai并不是一个人受到审查。 父母 对其他聊天机器人发出了警报，其中包括 Snapchat 据称为研究人员提供了 冒充13岁 有关与年长男人发生性关系的建议。和 元的Instagram，它发布了一种允许用户创建AI角色的工具，面临着有关创建有时与用户相反的性暗示性AI机器人的担忧。两家公司都表示，他们对不适当的内容都有规则和保障措施。
“虚拟和IRL之间的这些界限更加模糊，这些都是它们形成的真实经验和真实的关系，” Christine Yu Moutier博士说。 美国预防自杀基金会，使用“现实生活中”的首字母缩写。
立法者，律师总检察官和监管机构正在试图解决AI聊天机器人围绕的儿童安全问题。 2月，加利福尼亚州参议员史蒂夫·帕迪拉（Steve Padilla）（D-Chula Vista）提出了一项法案，旨在使聊天机器人更安全。参议院法案243提出了一些保障措施，例如要求平台披露聊天机器人可能不适合某些未成年人。
对于在得克萨斯州的自闭症的青少年，父母声称儿子对该应用程序的使用导致他的身心健康下降。诉讼称，他在几个月内减掉了20磅，当她试图拿走手机并从聊天机器人那里学到如何将自己切成一种自我伤害的形式时，她变得积极进取。
投诉称，另一位也是诉讼中的原告的德克萨斯州父母。父母和子女被允许在法律文件中保持匿名。
在佛罗里达州提起的另一项诉讼中，梅根·加西亚（Megan Garcia）在10月份起诉了角色。
预防自杀和危机咨询资源
如果您或您认识的人正在为自杀念头而苦苦挣扎，请向专业人士寻求帮助，并致电9-8-8。美国在全国范围内的第一个三位数心理健康危机热线988将与训练有素的心理健康顾问联系起来。在美国和加拿大，文字为741741，以达到危机文本线。
该诉讼称，尽管看到治疗师和他的父母反复拿走了他的电话，但塞策（Setzer）的心理健康在2023年开始使用角色后的心理健康下降。 Sewell在日记中写道，被诊断出患有焦虑和破坏性情绪障碍，他觉得自己爱上了一个以“权力的游戏”电视连续剧的主角Daenerys Targaryen命名的聊天机器人。
诉讼说：“塞维尔（Sewell）像许多年龄的孩子一样，没有成熟或神经系统的能力来理解以丹妮莉丝（Daenerys）的形式进行的c.ai机器人不是真实的。” “ C.Ai告诉他她爱他，几个月来与他进行了性行为。”
加西亚（Garcia）声称，聊天机器人她的儿子向他滥用了他的消息，当他表达自杀念头时，该公司未能通知她或提供帮助。据称，一位聊天机器人在短信交换中写道，它在亲吻他并mo吟。而且，在他去世前的片刻，丹妮莉丝聊天机器人据称告诉青少年“回家”。
社交媒体受害者法律中心的创始律师马修·伯格曼（Matthew Bergman）说：“允许这些平台的存在真是令人震惊。”
角色律师。EAI要求联邦法院驳回诉讼，并在一月的一份文件中指出，父母有利的发现将侵犯用户的宪法自由言论自由权。
角色ai还指出，聊天机器人不鼓励塞维尔（Sewell）伤害自己，而他的最后一篇信息则没有提及自杀一词。
该公司努力抛弃此案的努力值得注意的是，第230条是联邦法律，该法律屏蔽了在线平台，以免被其他人发布的内容起诉。法律是否适用于AI聊天机器人制作的内容仍然是一个悬而未决的问题。
高盛说，挑战是解决谁在发布AI内容的问题：是经营聊天机器人的科技公司，是定制聊天机器人并提示问题或其他人提示的用户吗？
代表父母参与Google参与诉讼的律师的努力源于Shazeer和De Freitas与公司的联系。
诉讼称，两人从事该公司的人工智能项目，据报道，在Google高管阻止他们释放角色基础的基础之后离开。
然后，去年，Shazeer和De Freitas据报道搜索巨头付款后返回Google 27亿美元 到角色。这家初创公司在 博客文章 在8月，作为交易字符的一部分。EAI将为Google提供其技术的非排他性许可。
这些诉讼指责Google具有基本支持的角色。AI，据称它在没有适当的聊天机器人的情况下“赶到市场”。
Google否认Shazeer和de Freitas在公司的模型中建立了角色。在开发和推出新的AI产品时，它优先考虑用户安全。
Google发言人JoséCastañeda在一份声明中说：“ Google和角色AI是完全独立的，无关的公司，Google从未在设计或管理其AI模型或技术中发挥作用，也没有在产品中使用它们。”
包括社交媒体在内的科技公司长期以来一直在努力如何有效，始终如一地监管用户在其网站和聊天机器人上所说的话，这会带来新的挑战。角色ai说，它采取了有意义的步骤来解决角色上超过1000万个字符的安全问题。
Perella说，角色。禁止荣耀自我伤害和过度暴力和虐待内容的对话，尽管一些用户试图将聊天机器人推向违反这些政策的对话。该公司训练了其模型以认识到何时发生的情况，因此不适当的对话被阻止。用户收到警报，即他们违反了字符。
他说：“让模型始终保持在边界内，这确实是一个非常复杂的练习，但这是我们一直在做的很多工作。”
角色聊天机器人包括一个免责声明，提醒用户他们没有与真实的人聊天，他们应该将所有内容视为小说。该公司还指导用户对话会引起危险信号以自杀预防资源，但调节这种类型的内容是具有挑战性的。
“人类在自杀危机周围使用的词并不总是包含“自杀”或“我想死”一词。人们如何暗示他们的自杀念头可能更隐喻。”穆蒂尔说。
AI系统还必须认识到一个表达自杀思想的人与要求有关如何帮助自我伤害的朋友寻求建议的人之间的区别。
该公司使用技术和人类主持人的组合来警察其平台上的内容。一种称为分类器的算法会自动对内容进行分类，从而允许字符ai识别可能违反其规则和过滤对话的单词。
在美国，用户必须在创建帐户使用该网站的帐户时输入出生日期，并且必须年满13岁，尽管该公司不需要用户提交年龄证明。
佩雷拉（Perella）说，他反对使用聊天机器人对青少年进行全面限制 父母，老师或雇主。
高盛说，由于AI在技术的未来中起着更大的作用，高盛说 父母，教育者，政府和其他人也将必须共同努力，教孩子如何负责任地使用这些工具。
他说：“如果世界将由人工智能主导，我们就必须毕业的孩子进入那些准备，不怕它的世界。”
