上个月在所里做内训,有位律师问了我一个问题:同一份合同,喂给 AI 审了两遍,一遍漏了关键的风险条款,一遍又抓到了。他问,是不是该换个更好的模型。

我的回答可能出乎他意料:先别动模型。大概率,问题出在你的文件上。模型没坏,是它没读到。

这两年,大家把注意力都放在两件事上。一是选模型——参数、榜单、涨价消息;二是写规则——提示词、规则文件、各种约束 AI 的技巧。但自己的系统用下来,我越来越确信一个判断:对法律工作来说,输出质量的第一性变量,既不是模型,也不主要是规则体系,而是数据管线:你的文件从哪里来、经过了什么处理、以什么形态进入 AI 的上下文。

道理不复杂:数据是第一步。数据跑偏了,后面全偏;读错了、没读到,后面不可能分析出对的信息。我把它压成一句话——越智能,越出问题。自动化程度越高,输入管线的缺陷被放大得越厉害:手工时代你至少会把材料翻一遍,现在你连翻都不翻了,漏读的缺陷直接沉淀进结论,还带着一副流畅周延的模样。

为什么法律人格外容易踩

程序员的世界里几乎全是文本:代码、配置、日志。而法律人手里是什么?PDF、Word、扫描件、图纸、照片,还有政府部门的 tiff 公文。格式越杂,AI 穷尽处理输入的难度越大——这不是 AI 的重点进化方向,却是我们的日常。

所以有一个错觉必须先破掉:流畅的答案,不等于读完了你的材料。

你丢给 AI 一包文件,它输出一份逻辑严密、看起来很有道理的分析,你很容易默认它读完了全部内容。但很可能它根本没有合适的工具去穷尽处理你的输入:扫描件没有过 OCR,文字层根本不存在;图纸没有工具读得懂;几十个附件,它可能只翻了前几个。结论的流畅和输入的完整,是两回事。

输入端最常见的三个失效点

失效点一:漏读。一包材料里混着文字版 PDF、扫描件、图片、图纸,AI 对每类的处理能力天差地别。一个简单有效的动作:让 AI 先报告它读到了什么——文件清单、每份的页数、每份在讲什么。报告和你的材料对不上,先别要分析,先补管线,该 OCR 的 OCR,该转换的转换,该拆分的拆分。

失效点二:转换取舍不当。二进制转成文本,一定是有损转换——排版、字号、缩进、间距都会丢。知识库场景里这无所谓,内容留下来就行;证据场景就不一样了,印章是红的还是黑的、盖在哪个位置、周围是什么文字,纯文本表达不了这些。取舍的关键不在损了多少,在于把损失清单列出来,逐项确认对你的场景无关紧要。还有一条纪律:反复使用的数据要提前转换好,不要每次让 AI 临时转。临时转换不稳定——这次它选的方案信息全,下次换了个方案就有缺失,你以为自己拿到了同一条管线,其实没有。

失效点三:召回率陷阱。这个最隐蔽。你给它一个几万份文件的库,问一个合同问题,它检索、总结、输出,一切看起来都对。但库里可能有 10% 的文件都含“合同”这个词——关键词太宽,命中的候选太多,它只取权重靠前的几十条,其余全部丢掉。而被采纳的那些,可能跟你要的裁判方向毫无关系。检索失败的根源,常常不是“库里没有”,而是“库里太多”。

所以库不是越大越好。查“夫妻共同财产怎么认定”,是放进全部资料里检索,还是放进《民法典理解与适用》、民事审判指导加民事案例库这三个库里检索?后者边界更窄、权重排序更准,效果一定更好。更小的库,反而更有价值。检索质量由边界决定,不由存量决定。

输出异常时的排查顺序

输出异常时的排查顺序 AI 输出异常 ① 先查输入(大概率病根在这里) 漏读?· 转换损失了关键信息?· 检索范围太宽? ② 再查规则与提示 指令是否把 AI 带偏 · 知识库调用范围是否合理 ③ 最后才考虑模型:换模型、升参数、拆任务

定位到输入缺陷之后,比换模型有效得多的动作是补上下文:转换漏掉的补转换,范围太宽的收敛,关键材料直接显式喂进去,让它带着完整输入重新走一遍。

数据好了,成果反而是简单的事

前几天我用自己积累的历史数据做了一本一百三十页左右的宁波律师业发展传记,内部参考用。两天做完,靠的是数据足够好,不是哪个模型多强——贴近这个行当的高颗粒度数据,分析质量比网上能看到的多数行业报道细得多、准得多。数据到位之后,剩下的事情是大模型并行的批量处理能力,要形成什么成果形态,反而是件简单的事。

顺带说一句:别迷信大厂的默认方案。Word 文档批注和修订的读取,大厂产品的内置处理未必是最好的——我们自己用专用工具搭的处理管线,效果就比它们好。同样的模型、同样的规则,仅仅因为数据管线更好,产出就会更好。这件事跟规则体系都没有关系,仅仅是因为数据更好。

边界:什么时候确实该怪模型

别把“数据决定论”绝对化。三类情况,问题确实在模型:任务本身是推理密集型的,多步论证、策略推演,模型能力不够就是不够;上下文真超限了,再好的管线也塞不进去;任务需要特定模态能力而模型不具备。数据管线解决的是“它看到了什么”,模型解决的是“它想明白了没有”。两个问题,别混着排查。

对法律人来说,顺序应该是:先修管线,再谈智能。你的判断、你沉淀的规则、你选的模型,全都建立在“AI 看到了什么”这个地基上。

下一次 AI 的输出让你不满意,先别急着换模型。问问它:你刚才,到底读到了什么?


作者简介: 陈石律师(主页 chenshi.ai),浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任,宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员,聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可,荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳(华东),入选《商法》The A-List 法律精英,获评 ALB China 区域市场十五佳长三角地区律师新星,并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务,承办“首宗百亿地王”“长春第一高楼”“台州第一高楼”等代表性项目,累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合,强调以结构化方法打通技术逻辑、法律判断与商业场景;著有《赋能法律人:AI 底层思维与应用范式》,并在多地开展相关主题讲座与分享。