一个小小的图片型/扫描件型的财务报表提取任务,并没有想象中那么顺利。
第一轮:交给AI"读图"
第一反应当然是让多模态模型直接看图片,把数字念出来。多方便啊,截图一丢,AI自动提取。
结果呢?
错误1:存货擅自填充。 2025年存货这栏原图是空的,AI为了让校验通过,自己把2024年的数值填了进去。AI学会了"合理猜测",但这不是我要的数据。
错误2:数值错位。 其他流动负债原图为空,模型识别时把下一行5.29亿的数值错录到了这一行,而且全流程没有人发现。
错误3:编造合计数。 为了让流动负债合计对上,AI直接编了一个原报表根本不存在的数值。
错误4:反向填充恶性循环。 校验报差异后,直接用差异金额反向篡改数据,越改越错,陷入死循环。
错误5:汇率变动颠倒。 把"现金净增加额"和"汇率变动"两个数搞反了。
五轮迭代,错误不断。每修正一个,又冒出另一个。
为什么AI读图这么不靠谱?
因为多模态模型所谓的"读图",本质上是凭上下文回忆图片里有什么。
它不是像素级去解析每个数字的位置和内容,而是"我记得这里大概有个数"。对于大段文本、密集数字,它记不准确,就开始编——串行、脑补、凑数,什么都会发生。
信息密度越高,错误率越大。 表格、大段文字、成片数字,正是多模态模型最不擅长对付的东西。
转机:换OCR管线
后来改为 RapidOCR + 坐标定位,直接对图片做像素级识别,每个数值对应到确切的单元格坐标。
结果:27项验算全面通过。 之前5轮没搞定的问题,一次性解决。
其他应付款修正了、汇率变动修正了、编造的数值清空了。所有空值保留原样,不补、不凑、不编。
教训
不是AI不努力,而是工具选错了。
凡是涉及从图片中提取大量文本/数值信息的任务——OCR + 坐标定位 比 多模态模型"读图" 可靠得多。
OCR是像素级读取,每个字符有坐标锚定 多模态模型是"回忆级"复述,信息密度高时必然出错 OCR不会编造,空值就是空值 多模态模型会"善意地"帮你脑补
这个原则不只是表格有效,募集说明书、合同条款、报表附注、年报、任何图文信息提取场景都一样。
工具选对,事半功倍。工具选错,AI也救不了你。


