当她14岁的儿子与人工智能聊天机器人互动后自杀时，梅根·加西亚（Megan Garcia）将悲伤变成了行动。
去年，佛罗里达州妈妈起诉角色。EAI，一个平台，人们可以在该平台上与模仿真实和虚构人物的数字角色创建和互动。
加西亚在联邦诉讼中声称，该平台的聊天机器人损害了她的儿子Sewell Setzer III和加利福尼亚州Menlo Park的心理健康，当他对这些虚拟角色表达自杀想法时，他未能通知她或提供帮助。
现在，加西亚（Garcia）正在支持州立法，旨在保护年轻人免受“伴侣”聊天机器人的影响，她说“旨在让弱势用户参与不适当的浪漫和性交谈”，并“鼓励自我伤害”。
“随着时间的流逝，我们将需要一个全面的监管框架来解决所有危害，但现在，我很感激加利福尼亚处于奠定基础的最前沿，”加西亚在周二的新闻发布会上在萨克拉曼多听证会上审查该法案之前在新闻发布会上说。
预防自杀和危机咨询资源
如果您或您认识的人正在为自杀念头而苦苦挣扎，请向专业人士寻求帮助，并致电9-8-8。美国在全国范围内的第一个三位数心理健康危机热线988将与训练有素的心理健康顾问联系起来。在美国和加拿大，文字为741741，以达到危机文本线。
随着公司迅速发展聊天机器人，父母，立法者和儿童倡导团体担心，没有足够的保障措施来保护年轻人免受技术潜在的危险。
为了解决这个问题，州议员提出了一项法案，该法案需要伴侣聊天机器人平台的操作员，以提醒用户每三个小时一次，虚拟字符不是人类。平台还需要采取其他步骤，例如实施一个协议，以解决用户表达的自杀意念，自杀或自我伤害。其中包括向用户自杀预防资源。
根据参议院第243号法案，这些平台的运营商还将报告同伴聊天机器人提出自杀念头或用户的行动以及其他要求的次数。
该立法清除了参议院司法委员会，这只是州议员试图解决人工智能带来的潜在风险的一种方式，因为聊天机器人在年轻人中受到欢迎。每月有超过2000万人使用角色。
立法者说，该法案可能成为AI保护的国家模式，该法案的一些支持者包括儿童倡导组织常识媒体和美国加利福尼亚州儿科学会。
“技术创新至关重要，但我们的孩子不能用作豚鼠来测试产品的安全性。赌注很高，”参议员史蒂夫·帕迪拉（D-Chula Vista）说，他是加西亚（Garcia）参加的活动中引入该法案的议员之一。
但是，包括Technet和加利福尼亚商会在内的技术行业和业务团体反对立法，告诉立法者，它将“对通用AI模型施加不必要和繁重的要求”。旧金山的非营利性数字权利集团电子边境基金会表示，该立法提出了第一修正案问题。
“政府可能对预防自杀有着令人信服的兴趣。但是，这项法规并不是狭义的量身定制或精确，” EFF写信给议员。
角色.ai还浮出水面关于加西亚诉讼的第一修正案。它的律师在一月份要求联邦法院驳回此案，并指出，父母有利的发现将侵犯用户的宪法自由言论自由权。
Chelsea Harrison是角色。EAI的女发言人，他在一封电子邮件中表示，该公司认真对待用户安全，其目标是提供“一个吸引人和安全的空间”。
她在一份声明中说：“我们一直在努力实现这种平衡，许多公司在整个行业中使用AI也是如此。我们欢迎与监管机构和立法者一起开始考虑这一新兴领域的立法时。”
她引用了新的安全功能，其中包括一种工具，该工具使父母可以看到青少年在平台上花费了多少时间。该公司还列举了其努力缓解潜在的有害内容，并将某些用户引导到国家自杀和危机生命线。
包括Snap和Facebook的母公司Meta在内的社交媒体公司还在其应用程序中发布了AI聊天机器人，以与Openai的Chatgpt竞争，人们用来生成文本和图像。虽然有些用户使用Chatgpt获得建议或完成工作，但有些用户也转向这些聊天机器人来扮演虚拟男友或朋友的角色。
议员们还在努力定义“伴侣聊天机器人”。某些应用程序（例如Replika和Kindroid）以AI伴侣或数字朋友的身份推销他们的服务。该法案不适用于为客户服务设计的聊天机器人。
帕迪拉（Padilla）在新闻发布会上说，该立法侧重于“固有危险”的产品设计，旨在保护未成年人。
