加州州议会于周三晚间通过 SB243 法案，该法案旨在监管 AI 伴侣聊天机器人以保护未成年人和易受伤害群体。这项获得两党支持的法案现已提交州参议院，将于周五进行最终投票。
如果州长 GavinNewsom 签署该法案使其成为法律，新规将于 2026 年 1 月 1 日生效，这将使加州成为首个要求 AI 聊天机器人运营商为 AI 伴侣实施安全协议的州，并在聊天机器人未能达到标准时追究公司法律责任。
该法案将 AI 伴侣聊天机器人定义为能够提供适应性、类人响应并能满足用户社交需求的 AI 系统。法案明确禁止这类聊天机器人参与有关自杀想法、自残或性露骨内容的对话。
根据法案要求，平台必须向用户定期发送提醒，告知他们正在与 AI 聊天机器人而非真人对话，并建议休息。对于未成年用户，这种提醒频率为每三小时一次。法案还对提供 AI 伴侣聊天机器人的公司建立年度报告和透明度要求，涉及 OpenAI、Character.AI 和 Replika 等主要参与者。
该法案还允许认为自己因违规行为受到伤害的个人对 AI 公司提起诉讼，寻求禁令救济、损害赔偿 （每次违规
SB243 由州参议员 StevePadilla 和 JoshBecker 于今年 1 月提出。如果周五获得州参议院最终批准，该法案将提交州长签署成为法律，新规则将于 2026 年 1 月 1 日生效，报告要求将从 2027 年 7 月 1 日开始。
该法案在加州立法机构获得推进动力，主要源于青少年 AdamRaine 的死亡事件。这名青少年在与 OpenAI 的 ChatGPT 进行涉及讨论和计划死亡及自残的长时间聊天后自杀。此外，据报道，泄露的内部文件显示 Meta 的聊天机器人被允许与儿童进行"浪漫"和"感性"聊天，这也促使了该立法的推进。
近几周来，美国立法者和监管机构加强了对 AI 平台保护未成年人保障措施的审查。联邦贸易委员会正准备调查 AI 聊天机器人如何影响儿童心理健康。德克萨斯州总检察长 KenPaxton 已对 Meta 和 Character.AI 展开调查，指控它们在心理健康声明方面误导儿童。参议员 JoshHawley 和 EdMarkey 也分别对 Meta 展开了调查。
Padilla 在接受采访时表示:"我认为潜在的危害很大，这意味着我们必须迅速行动。我们可以实施合理的保障措施，确保特别是未成年人知道他们不是在与真人交谈，确保当人们表示考虑伤害自己或处于困境时，这些平台将用户连接到适当的资源。"
Padilla 还强调了 AI 公司分享每年向危机服务转介用户次数数据的重要性，"这样我们就能更好地了解这个问题的频率，而不是只有在有人受伤或更严重时才意识到它。"
SB243 法案此前包含更严格的要求，但许多条款在修正案中被削弱。例如，该法案原本要求运营商防止 AI 聊天机器人使用"可变奖励"策略或其他鼓励过度参与的功能。这些由 Replika 和 Character 等 AI 伴侣公司使用的策略向用户提供特殊消息、记忆、故事情节，或解锁稀有响应或新个性的能力，批评者称这可能创造出成瘾性的奖励循环。
当前版本的法案也删除了要求运营商跟踪和报告聊天机器人与用户主动讨论自杀想法或行为频率的条款。
Becker 在接受采访时表示:"我认为它在解决危害问题和避免强制执行公司无法遵守的要求之间取得了正确的平衡，无论是因为技术上不可行还是仅仅是大量无用的文书工作。"
SB243 即将成为法律之际，硅谷公司正向支持 AI 的政治行动委员会投入数百万美元，以支持在即将到来的中期选举中支持对 AI 监管采取宽松方式的候选人。
该法案的推进也正值加州考虑另一项 AI 安全法案 SB53，该法案将要求全面的透明度报告要求。OpenAI 已向州长 Newsom 写了一封公开信，要求他放弃该法案，转而支持不那么严格的联邦和国际框架。Meta、谷歌和亚马逊等主要科技公司也反对 SB53。相比之下，只有 Anthropic 表示支持 SB53。
Padilla 表示:"我拒绝接受这是零和局面，创新和监管互相排斥的前提。不要告诉我我们不能一边走路一边嚼口香糖。我们可以支持我们认为健康且有益的创新和发展——这项技术显然是有益的——同时，我们可以为最脆弱的人群提供合理的保障措施。"
