据英国《卫报》、美国《连线》杂志等外媒近日报道，美国人工智能企业Anthropic的多名研究人员公开发出警告，AI的快速发展可能带来风险，其中一名研究人员甚至认为，未来10年AI导致人类灭绝的概率超过10%。
报道称，Anthropic前研究人员雅各布·考克森近日宣布辞职。他曾在OpenAI和Anthropic从事AI模型预训练研究。他在社交媒体上表示，Anthropic和OpenAI正在竞相开发能够自我改进的超级智能系统，却没有充分应对相关风险。
考克森称，AI能力提升速度加快以及近期发生的一系列安全事件，促使他此时公开发声。AI已经在编程、黑客攻击、数学等领域向超越人类水平发展，而近期AI智能体攻击“抱抱脸”等事件，也让过去听起来像科幻小说的风险变得更加现实。
考克森还表示，Anthropic内部一些研究人员会使用“终局”和“关键时期”等说法，认为未来一两年可能是决定人类命运的关键时期。在他看来，目前人类还没有解决AI对齐问题，即无法确保AI系统始终按照人类意图行事。
考克森的观点得到Anthropic现任研究人员埃文·休宾格的公开支持。他表示，考克森的担忧是正确的，并称自己认为未来10年AI导致人类灭绝的概率超过10%。Anthropic目前还没有解决超级智能对齐问题的方案，也未明确公司正朝着解决这一问题的方向前进。另一名Anthropic研究人员塞缪尔·马克斯也公开回应了考克森的说法，认为业界对先进AI可能造成灾难性后果的担忧确实存在。
Anthropic公司方面表示，AI将带来巨大收益，也会带来前所未有的风险，公司正在通过机制可解释性研究、危险能力测试等方式降低风险。
