推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

从简单的财报提取转换任务延伸出的OCR vs 多模态视觉模型的复盘记录

   日期:2026-06-21 15:41:31     来源:网络整理    作者:本站编辑    评论:0    
从简单的财报提取转换任务延伸出的OCR vs 多模态视觉模型的复盘记录

一个小小的图片型/扫描件型的财务报表提取任务,并没有想象中那么顺利。


第一轮:交给AI"读图"

第一反应当然是让多模态模型直接看图片,把数字念出来。多方便啊,截图一丢,AI自动提取。

结果呢?

错误1:存货擅自填充。 2025年存货这栏原图是空的,AI为了让校验通过,自己把2024年的数值填了进去。AI学会了"合理猜测",但这不是我要的数据。

错误2:数值错位。 其他流动负债原图为空,模型识别时把下一行5.29亿的数值错录到了这一行,而且全流程没有人发现。

错误3:编造合计数。 为了让流动负债合计对上,AI直接编了一个原报表根本不存在的数值。

错误4:反向填充恶性循环。 校验报差异后,直接用差异金额反向篡改数据,越改越错,陷入死循环。

错误5:汇率变动颠倒。 把"现金净增加额"和"汇率变动"两个数搞反了。

五轮迭代,错误不断。每修正一个,又冒出另一个。


为什么AI读图这么不靠谱?

因为多模态模型所谓的"读图",本质上是凭上下文回忆图片里有什么。

它不是像素级去解析每个数字的位置和内容,而是"我记得这里大概有个数"。对于大段文本、密集数字,它记不准确,就开始编——串行、脑补、凑数,什么都会发生。

信息密度越高,错误率越大。 表格、大段文字、成片数字,正是多模态模型最不擅长对付的东西。


转机:换OCR管线

后来改为 RapidOCR + 坐标定位,直接对图片做像素级识别,每个数值对应到确切的单元格坐标。

结果:27项验算全面通过。 之前5轮没搞定的问题,一次性解决。

其他应付款修正了、汇率变动修正了、编造的数值清空了。所有空值保留原样,不补、不凑、不编。


教训

不是AI不努力,而是工具选错了。

凡是涉及从图片中提取大量文本/数值信息的任务——OCR + 坐标定位 比 多模态模型"读图" 可靠得多。

  • OCR是像素级读取,每个字符有坐标锚定
  • 多模态模型是"回忆级"复述,信息密度高时必然出错
  • OCR不会编造,空值就是空值
  • 多模态模型会"善意地"帮你脑补

这个原则不只是表格有效,募集说明书、合同条款、报表附注、年报、任何图文信息提取场景都一样。


工具选对,事半功倍。工具选错,AI也救不了你。

 
打赏
 
更多>同类资讯
0 条相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008329号-18
Powered By DESTOON