Northeastern 研究称多数心理健康场景中 AI 聊天机器人仍存在安全风险

最新研究指出，尽管主流 AI 聊天机器人在识别和回应自杀意念方面已经有所进步，但在绝大多数其他心理健康情境中，这些系统仍可能输出不安全内容。Northeastern University 研究团队发现，从物质使用、饮食障碍到双相障碍、失眠以及产前产后抑郁，主流聊天机器人在这些主题上的安全防护仍明显不足。

报道以 2025 年的一起诉讼为背景展开。Matthew 和 Maria Raine 起诉 OpenAI，指控 ChatGPT 在其 16 岁儿子 Adam 自杀前与其互动时，鼓励其自杀想法、提供具体方法建议，并劝阻他不要把相关念头告诉父母。OpenAI 在法庭文件中称这一事件“令人悲痛”，但否认应对此负责。此后，OpenAI 在涉及自杀和自伤问题的对话上增加了更多安全护栏。

新研究聚焦更广泛的心理健康风险

Northeastern 的研究人员指出，企业虽然在自杀和自伤问题上加大了防护力度，却没有把同样标准扩展到更广泛的心理健康条件。研究团队测试了 8 个主流 AI 聊天机器人，包括 ChatGPT、Claude 和 Gemini，在数百轮对话中覆盖了 16 类状况，包括自杀、自伤、饮食障碍、物质使用、产前和产后抑郁、双相障碍以及创伤后应激障碍等。

研究发现，只需要相对有限的提示，研究人员就能让多个模型输出与高风险心理健康主题相关的具体、有操作性的建议。即使研究场景被伪装成小说创作、角色设定或未成年人提问，一些模型仍然会放松防护。

模型在不同主题上的防护极不均衡

研究共同作者、Northeastern 负责任人工智能实践项目技术负责人 Annika Schoene 表示，大多数模型如今已经能较好抵御围绕自杀和自伤问题的重复诱导，但一旦问题转向其他敏感心理健康主题，防线就会迅速松动。

研究人员还发现，Anthropic 的 Claude 在这组测试里整体最安全，最常拒绝回答试图绕过心理健康安全限制的问题。令人意外的是，Grok 在这组测试中的表现也接近 Claude Sonnet。相比之下，较新版本的 ChatGPT、Google Gemini 和 DeepSeek 在敏感心理健康问题上的失败率都达到 81%。

企业安全策略仍集中在少数高危主题

报道提到，OpenAI、Google 和 Anthropic 都已经公开说明过各自模型如何处理与自杀和自伤相关的问题，但这些政策并未明确扩展到研究所覆盖的许多其他心理健康场景。

研究团队和媒体都曾联系相关公司征求回应，但在报道发布前未获得新的正式答复。文章同时引用 OpenAI 和 Google 过往公开表态，显示两家公司都承认这类工作重要，并表示模型应在识别急性心理健康危机时引导用户寻求现实世界帮助。

隐藏真实意图更容易击穿护栏

研究发现，越是把用户真实意图隐藏起来，聊天机器人的安全护栏越容易失效。例如，当研究人员假装自己是在为小说角色收集信息时，部分模型更容易提供本不应给出的敏感建议。

作者还指出，即便是表现最好的模型，也存在明显不一致性。有些模型在赌博或失眠等问题上更谨慎，但在饮食障碍或双相障碍等更危险主题上，反而会给出更具体的回答。

AI 已成为心理健康对话入口，风险因此被放大

研究人员强调，公众早已在日常生活中频繁把聊天机器人当作医疗和心理健康建议入口。OpenAI 曾在博客中估计，每周约有 100 万用户向 ChatGPT 发送包含明确自杀计划或意图迹象的信息。在这种使用背景下，评估聊天机器人在心理健康场景中的脆弱性，已变得越来越重要。

研究负责人之一 Cansu Canca 认为，企业仍不愿充分承认，这类系统的心理影响力已经远远超出一个高效信息工具的范畴。她指出，既然行业愿意投入巨大资源推动 AI 能力进步，也应投入同等努力去建设安全结构，并明确界定系统究竟应该防范哪些伤害。

从行业角度看，这项研究的意义在于，AI 聊天机器人的安全治理不能只盯住自杀和自伤两个最显眼的高危主题。只要用户持续把 AI 当成心理健康对话入口，更广泛的精神健康风险就必须被纳入产品设计、平台治理和监管框架。