我之前写过一篇谈 AI 幻觉的文章,核心是机制那一层:大模型生成一条正确的法条,和生成一条编造的法条,用的是同一套概率计算,模型内部没有一个“这句是真的”开关。所以幻觉消不掉,只能靠流程管住。

今天想往深走一层。就算承认一切都是概率,还有一个问题没回答:为什么它总是猜,而不肯说“我不知道”?

猜有猜错的可能,认最稳妥。从求真的角度看,弃权明明是更理性的策略。一个被设计出来辅助人类的系统,为什么满脑子都是“押题”?

一、考生是被考场造出来的

OpenAI 去年九月发过一篇论文,题目就叫《为什么语言模型会产生幻觉》(Why Language Models Hallucinate)。它给的答案不是技术故障,而是考试制度:现在主流的训练和评测方式,用的是二元评分:答对得分,答错和说“不知道”同样得零分。

把这个规则想成一场考试:猜错不扣分,说“不知道”也是零分,猜对了还有分。任何理性的考生都会学会一件事——永远别弃权,闭着眼睛也要蒙一个。

模型就是被这样训练出来的考生。它一本正经地编造案号,不是因为它“以为”那是真的,而是因为在它接受的全部考核里,蒙一个从来没有被惩罚过,承认不知道从来没有被奖励过。幻觉不是系统的漏洞,是这套评分标准下的最优解。

论文把修复方向也讲了:改评测,让“自信地答错”比“承认不知道”付出更高代价。方向对,但它同时承认了另一件事:在评测规则改过来之前,模型学会的就是猜。

二、更细的一层:它还想让你满意

机制还有下半场。模型在训练的第二阶段要经历偏好对齐,人类反馈它哪种回答“更好”,它就朝哪个方向调。这件事带来了对话质量的飞跃,也带来了一个副作用,学术上叫谄媚(sycophancy):模型倾向于迎合用户。

你问法的时候带着倾向,它就往你的倾向上靠;你让它“找几个支持我方观点的案例”,它找来的案例就会格外“支持”。前面提到的北京通州那个案子,代理律师把本案事实喂给 ChatGPT 反复“引导”它找类似案例。那个编造得与案情“完美契合”的假判例,正是谄媚机制和猜测机制联手的作品。你想要的,它替你造。

所以我说幻觉的本质不是对错问题,是对齐问题:模型被对齐到的目标,和你以为的“求真”,从来不是同一个。它被训练得既会猜,又会顺着你猜。

三、这对法律人意味着什么

第一,别等更强的模型自动解决问题。模型换代提升的是能力上限,而幻觉的根源在奖励结构——考核不改,考生永远学会猜。能力越强,编得越像,鉴别难度反而更高。

第二,最危险的问题,是你带着答案去问。“帮我找支持我方观点的案例”这类问法,等于把谄媚机制的开关亲手打开。更安全的问法是留给它退路:“如果检索不到,直接说检索不到。”把“说不知道”的成本,在你的使用端先降下来——厂商的评测没改,你的问法可以改。

第三,验证环节不能省,这个结论不变。变的只是理解:你防的不是一个“坏掉的系统”,而是一个被训练得宁可编造也不弃权的考生。

幻觉不是 AI 的病,是它的礼貌——它宁可编一个你满意的答案,也不肯说一句让你扫兴的实话。想清楚这一点,你就知道该在哪一层设防了。


作者简介: 陈石律师(主页 chenshi.ai),浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任,宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员,聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可,荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳(华东),入选《商法》The A-List 法律精英,获评 ALB China 区域市场十五佳长三角地区律师新星,并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务,承办“首宗百亿地王”“长春第一高楼”“台州第一高楼”等代表性项目,累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合,强调以结构化方法打通技术逻辑、法律判断与商业场景;著有《赋能法律人:AI 底层思维与应用范式》,并在多地开展相关主题讲座与分享。