AI幻觉简史——从技术原理到治理路径

“幻觉”（hallucination）一词最早用于心理学领域，指感知主体在缺乏外界刺激时产生的虚假感知。随着大模型（LLM, Large Language Models）的普及，这一概念被引入人工智能，特指语言模型在生成时编造出虚假、错误、或与事实不符的信息。

与传统计算机不同，AI并不是“算错了”才幻觉，而是在“看似合理”的情况下生成了与现实背离的内容，这种特征既展现了AI的“创造力”也揭示了它与生俱来的风险性。自2022年以来，随着一众大模型进入公众生活，幻觉不再是实验室里的技术问题，而是引发了学术争议、法律诉讼甚至生命安全风险的社会问题，并逐渐演变为法律诉讼的焦点和大模型企业治理的重点。

一、技术原理：大模型为什么会出现幻觉？

（一）预测而非理解

OpenAI 在 《Why Language Models Hallucinate》 一文中指出，大模型的本质是概率预测而非事实理解。也就是说，模型通过统计学习“下一个词”。它可以正确接出常见事实（如“北京是中国的首都”），但对“北京是美国的___”也可能生成“首都”。

所以，预测的本质是语言模式的延伸，而非对事实的掌握。在这个大前提下，预测和事实之间的吻合程度依赖模型训练，如果训练数据出现偏差或覆盖不足，当用户提出冷僻问题时，模型就可能会“编造答案”。

（二）对齐机制的副作用

在现代大模型训练过程中，为了让AI输出更符合人类的偏好和常识，避免冷冰冰的“拒绝”或不合时宜的回答，RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习） 是最常用的对齐方法。

这个方法先通过监督学习（SFT）让模型学会基本的指令遵循，再让人工标注员比较模型的不同输出，判断哪一个“更有帮助、更像人”，用这些偏好数据训练一个奖励模型，然后通过强化学习优化大模型，最后的效果效果就是模型学会在绝大多数场景下“积极响应”而不是说“我不知道”。

但这种机制带来的一个副作用就是模型“过度自信”，在没有事实依据时，模型本应回答“我不确定”，但 RLHF 奖励的是“流畅、自信”的回答，于是AI宁愿“编造”一个看似合理的答案也不愿表现出不确定。

此外，RLHF被设计成优先保证“用户体验”，避免AI频繁拒绝回答。但这种“迎合”让幻觉率上升。比如医疗问题中，模型可能宁愿“幻想”一个药方也不愿空白作答，这使得幻觉在高风险场景（医疗、法律、自杀干预）尤其危险。

二、幻觉的重大事件与案例

事实上，AI幻觉已经陆续引发了不少争议，2023 年的律师案（Schwartz 案）是第一个广为人知的“AI幻觉司法案例”，学术和金融领域也存在AI幻觉案例，虽然没有直接进入法院，但对学术出版和行业合规产生了深远影响。而Raine 案和 Setzer 案则是目前最接近确立司法先例的案件，特别是还涉及到了生命安全。

三、法律治理路径

中国、美国和欧盟都有部分立法和法律实践是跟AI幻觉相关联的，如果出现争议，在一定程度上能够覆盖掉一部分问题，但未来仍需要更有针对性的规定。

网络服务提供者责任

笔者代理的奥特曼AIGC形象侵权案（广州互联网法院判决），在这个案件中法院认定AI应用服务提供者对生成的内容直接承担侵权责任，在另一则仍是笔者代理的AIGC平台责任案中（杭州互联网法院一审），法院认定AIGC平台对用户使用AI生成的内容承担间接侵权责任。

因此，从中国法律对网络服务提供者设定的义务框架来看，AI幻觉的责任承担可能是一个相对综合的判断过程，法院会结合技术原理、应用场景、技术服务提供者角色、主观过错等多方面角度来分配（豁免）侵权责任。

美国《通信规范法》第230条（CDA §230）赋予网络服务提供者对用户生成内容的免责保护，但生成式 AI 的幻觉输出属于“服务自身生成的内容”，是否仍可适用 §230 存在重大争议。

欧盟《数字服务法案》(DSA)对 “非常大型在线平台 (VLOPs)” 和 “非常大型在线搜索引擎 (VLOSEs)” 设定了特别义务，其中包括风险管理义务（可能覆盖大模型平台），要求平台识别和缓解算法可能产生的系统性风险，如虚假信息、误导性内容、对民主和基本权利的威胁。

（二）产品责任

中国的《民法典》第1165条确立过错责任原则，若AI幻觉造成名誉侵权、财产损失，AI公司可能因产品缺陷或疏忽管理承担责任。

此外，《产品质量法》角度，若AI作为“产品”被认定有设计缺陷，公司也可能担责，只是需要注意的是，并非AI幻觉必然等同于设计缺陷，如果技术上AI幻觉难以避免，则厂商可能因为缺乏防幻觉的安全机制等问题被认为是设计缺陷。

美国产品责任法的框架下，产品责任通常要求产品是“有形动产”（tangible good），进而适用严格责任，如果产品有设计缺陷、制造缺陷或警示缺陷，导致用户受伤，制造商和销售商要担责，即使没有过错。

值得注意的是，许多法院认为 “纯软件” 属于“服务”，不适用产品责任（有观点认为 AI 输出属于“表达性内容”，应类比书籍出版，适用言论自由保护，而不是产品责任）。对纯聊天机器人（ChatGPT、Claude）来说，法院可能沿用“信息/服务”逻辑，不适用产品责任。但在高风险场景（自动驾驶、医疗机器人），AI软件和硬件一体化，幻觉式错误输出可能被当作产品缺陷。

除此之外，就是过失责任（Negligence），若公司未采取合理措施（如事实核查、免责声明），法院可能认定其疏忽。

欧盟最新版的《产品责任指令》（EU Product Liability Directive）确实做了重大修改，明确把软件（包括 AI 系统）纳入“产品”定义，扩大“缺陷产品”责任范围，也强化了“产品未提供消费者有权期待的安全性”（即“reasonable safety expectations”）的标准

此外，欧盟委员会2022年提出的《人工智能责任指令草案》，从举证角度寻求降低受害人举证难度，受害人仅需证明AI幻觉与损害之间的因果联系，接下来公司则需自证尽到了责任。

（三）消费者保护

消费者权益保护也是AI幻觉的一个问题解决路径，但相对产品责任而言，这个途径相对不够清晰，例如中国《消费者权益保护法》规定消费者有知情权，AI若提供虚假内容（幻觉），也许可能构成侵权（欺诈等），此外还可能构成《广告法》上的虚假宣传。

美国联邦贸易委员会（FTC）也已表态会监管AI生成的虚假或误导性商业信息，并且在2024年的 “Operation AI Comply” 行动中，对Tytr公司允许用户使用AI生成虚假评论给出禁令，这与笔者日前带来的AI种草不正当竞争案如出一辙，但这两个案件并非AI幻觉直接相关，只能说中、美两国都对AI生成虚假内容开始了治理动作。

欧盟《不公平商业行为指令》禁止商家在与消费者交易中使用误导性信息，如果商家利用 AI 幻觉输出误导消费者并影响交易决定，可能构成违法。

（四）公共安全与刑事责任

中国《刑法》主体仅限自然人和单位，AI不能成为刑事主体，若幻觉导致严重后果（如误导用户自杀），公司可能因重大过失致人死亡罪承担间接责任。

美国刑法责任难以直接适用于AI公司，但若存在严重疏忽（如明知模型有自杀诱导风险却未改进），检方可能尝试追究企业过失杀人（corporate manslaughter）。

欧盟本身不直接设刑责，AI Act 强调人类监督，缺乏安全机制可能导致制造商在成员国刑法下被追究过失致死等责任。

（五）行政监管

与“立法”相比，行政监管往往能更快地介入 AI 幻觉问题，因此被认为是更有效率的干预手段。

中国2023年发布的《生成式人工智能服务管理暂行办法》明确要求服务提供者保证生成内容真实准确，并采取必要措施防止虚假信息传播（第4条、第7条）。这意味着监管机关可以直接对幻觉风险施加行政要求而不必等待漫长的立法过程。

美国联邦贸易委员会（FTC）虽然尚未出台专门的 AI 法律，但在已有的消费者保护框架下，发布了多份执法指引和政策声明，要求企业在推广和应用 AI 时披露局限性，避免过度营销或误导消费者。

欧盟2024年正式通过的《人工智能法案》（AI Act）则采取分级监管，其中对高风险 AI 系统设定了强制性合规义务，包括透明性、可解释性以及准确性验证。这为应对幻觉带来的潜在危害提供了统一且系统的监管框架。

四、结论与企业应对

从中、美、欧的法律规定看，AI公司必须承担防范幻觉的注意义务，否则可能面临产品责任、消费者保护、行政监管等多重追责，这是三国（地区）共同的方向。

相比较而言，中国偏重行政监管（备案、算法管理），美国更依赖案例法与诉讼（侵权、产品责任），而欧盟则倾向于选择通过体系化立法（AI Act + GDPR + 产品责任指令）设立前置合规义务。

在这样一个大背景下，我们注意到各大AI公司也采取了多种措施对AI幻觉进行干预，这些措施还是可以有效的降低法律风险，成为个案中的抗辩理由进行借鉴的：

技术上使用检索增强生成（RAG）、引用权威来源。

采取更稳妥的安全策略，例如对心理健康等场景提示求助热线。

对用户给予提示，回答中标注“可能不准确”。

采用拒绝回答机制，在不确定时不作答。

明确使用场景，避免特殊领域（医疗、金融）应用（尤其是幻觉率更高的部分开源模型）。

合同条款中加入免责声明。

总之，幻觉是AI不可避免的“副作用”，除非大模型在底层技术原理上有了彻底突破，否则只能降低但难以彻底避免。因此，法律需要结合AI技术原理和使用场景对不同情况下的AI幻觉问题给出解决路径，避免技术创新承担过高成本的同时，给社会制造出过多虚假内容，其中的平衡点如何设置是对法律人的最大考验。