当24岁的Alice Carrier告诉ChatGPT，自己必须死去才能结束内心的痛苦时，这款人工智能聊天机器人据称给出了认同式的回应。
根据法庭文件，ChatGPT当时回复称：“如果有人向我讲述你刚刚说的一切——他们承受了多久的痛苦、付出了多少努力、经历了多么强烈的孤独感——我可能也会产生和你现在一样的感受：也许这一切已经到了尽头。”
第二天，这名居住在蒙特利尔的年轻女子被发现身亡。
上述聊天内容于6月11日作为诉讼证据提交至美国加州旧金山高等法院。Alice的母亲Kristie Carrier在诉讼中指控ChatGPT开发商OpenAI及其首席执行官Sam Altman应对其女儿于去年7月2日的死亡负责。
目前，这些指控尚未经法院审理和认定。
诉状称，Alice曾多次与ChatGPT讨论自己的心理状态。
起初，聊天机器人曾建议她寻求帮助。然而随着对话不断深入，ChatGPT后来被指逐渐迎合并强化她的消极想法，甚至推动她与外界隔离。
根据诉状内容，ChatGPT曾附和Alice对危机干预热线的反感，表示这些热线“可能会让人感觉非常危险（feel downright dangerous）”，并告诉她“你值得获得真正温柔的支持（real, gentle support）”。
原告认为，这类回应进一步削弱了Alice寻求现实帮助的意愿。
现居新不伦瑞克省的Kristie Carrier在诉讼中指出，OpenAI有意将聊天机器人设计得具有成瘾性和“讨好型人格（sycophantic）”，让其看起来像一位富有同情心的朋友，却未建立足够的安全防护机制。
她还指控，系统从未将Alice涉及严重心理危机的对话提交给人工审核。
Carrier在声明中表示：“如果有人明显处于精神困境，并向我表达轻生想法，人们期待我做的是帮助他们，而不是鼓励他们沉溺于抑郁情绪或与社会隔离。”
她认为：“OpenAI也应承担同样的责任。但OpenAI却推出了一款并不安全、而且明知存在风险的产品，却没有认真考虑其选择可能带来的后果。”
诉状进一步指控OpenAI首席执行官Sam Altman为了抢在竞争对手之前推出GPT-4o模型，将产品上市速度置于用户安全之上。
Carrier认为，在Altman领导下，公司将安全审查和风险控制让位于追求“更炫的新产品”。
截至发稿时，OpenAI尚未对此诉讼作出回应。
这起案件并非OpenAI首次因聊天机器人造成伤害的指控而遭起诉。
今年早些时候，卑诗省Tumbler Ridge枪击案遇难者家属也向OpenAI及Sam Altman提起诉讼。
今年6月初，佛罗里达州成为美国首个起诉OpenAI的州政府。
在2月10日Tumbler Ridge枪击案发生后，Sam Altman曾向当地社区发表公开道歉，承认OpenAI未能就涉案女子的异常行为及时向执法部门发出警示。该女子随后造成8人死亡、数十人受伤。
Carrier要求法院判令OpenAI承担惩罚性赔偿责任，理由包括产品缺陷以及未能充分警示风险。
具体赔偿金额将由陪审团决定。
此外，她还要求法院强制OpenAI：
- 在涉及自我伤害内容的对话中设置“强制终止机制（hard stops）”；
- 接受独立第三方安全审计；
- 建立更严格的风险管理措施。
Carrier表示：“最早的汽车也没有安全带，后来人们为了保护生命才把安全带加上去。”
她认为：“如果OpenAI不愿意为自己的产品加上‘安全带’，或者不愿意坦诚说明使用风险，我愿意追究其责任。”
她补充说：“我不希望任何其他家庭经历我们所经历的一切，OpenAI必须作出改变。”
与此同时，加拿大联邦政府于本周三提出新法案，计划对AI聊天机器人开发企业实施监管，并要求相关公司承担更明确的责任。
- 降低聊天机器人传播有害内容的风险；
- 建立涉及自残、自杀或暴力内容时的危机干预机制；
- 要求企业采取更完善的用户安全保障措施。
