推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

大模型读财报,超过8个季度就有30%的数字是错的:第一家敢为幻觉赔钱的金融AI

   日期:2026-08-12 17:21:14     来源:网络整理    作者:本站编辑    评论:0    
大模型读财报,超过8个季度就有30%的数字是错的:第一家敢为幻觉赔钱的金融AI

Invest with AI 第7期节目封面 | 图源:Fundamental Edge

买方培训机构Fundamental Edge的播客「Invest with AI」第7期,请来了Hudson Labs创始人兼CEO Kris Bennatti——CPA会计师出身、创业前在公司治理咨询公司做数据科学家的加拿大创业者。这期56分钟的对谈只围绕一个金融AI最不性感、也最要命的问题:精度。她的团队刚刚上线了一个业内没人敢跟的东西——"无幻觉保证",每查实一条幻觉,赔50美元。她的原话是:"我相信我们是市场上唯一敢做无幻觉保证的公司——这本身就能让你感受到,普通金融AI软件里藏着多大的风险。"

先看速览

• Hudson Labs测试所有最先进大模型:追溯超过4-8个报告期取财务指标,约30%概率拿到错数;官方benchmark里GPT-5多期查询正确率68%,Perplexity Pro 25题全错

• 幻觉的教科书定义:模型不知道答案、而且不知道自己不知道——超出舒适上下文范围时最高发

• 解法在检索层不在生成层:向量数据库+元数据声明(KPI/时态/情绪),5年期重述调整后数字零幻觉,才敢"每条赔50美元"

• 情绪成为可检索字段:可以直接筛"最焦虑的CEO"——纯关键词搜索做不到的查询

• 法证风险分(2019年上线):定性红旗量化+ML定权重;得分≥70约三分之一概率遭SEC执法,高风险公司吃集体诉讼概率是常规3倍

• "2026年,integrate or die":分析师会写代码、只买有API的产品;同一数据集自家架构跑100美元,直接调Opus API要1.3万美元

• 她给客户的反营销忠告:"短期内把订阅都用到顶吧,这些价格不会一直存在"

30%这个数字是怎么来的

先把这期播客最扎眼的数字讲清楚。Bennatti说,团队几个月前对当时所有最先进的大模型做了测试:只要你要的财务指标向前追溯超过4到8个报告期,大约30%的概率会拿到一个错误的数字。不是刁钻问题,就是"过去几年营收多少"这种分析师每天都在干的常规活。

84%

Hudson Labs Co-Analyst多期查询正确率

68%

GPT-5多期查询正确率

0/25

Perplexity Pro25题全错

Hudson Labs公开发表过的benchmark和这个说法对得上:25个多期查询任务里,自家Co-Analyst对了21个,GPT-5对了17个,Perplexity Pro全军覆没——报告里的说法是,它会"基于趋势"编造数字来填空。让AI"看起来有答案"和"答案是对的"之间,隔着一整个行业。

为什么会这样?Bennatti引用了联创Suhas Pai在O'Reilly教材《Designing LLM Applications》里的定义:幻觉发生在模型不知道答案、而且不知道自己不知道的时候。超出舒适的上下文范围,模型拿不到它需要的信息,又意识不到自己没拿到,于是开始编。而金融检索恰恰是最容易触发这个状态的场景——她举的例子很具体:你要的是某个子分部的9个月数字,检索回来的却混着合并口径的3个月数字,20份新闻稿里满是长得一模一样的"营收"。

"无幻觉保证":赌的不是模型,是管道

那Hudson Labs怎么敢赔钱?答案是整套AI架构,而不是最后那一步生成。文件进来先过预处理:每个句子、段落转成向量存进数据库,并挂上元数据声明——这是不是KPI、说的是过去还是未来、情绪是什么。查询时模型不是在原文里大海捞针,而是被引导到已经标注好的信息上;如果预期的信息没取到,系统直接报错,而不是让模型自由发挥。

这套管道支撑的承诺范围很明确:5年期、经重述调整(restatement-adjusted)的管理层披露数字,每查实一条幻觉赔50美元(2026年6月17日正式上线)。保证的边界画得同样清楚——通过MCP接入使用时不提供保证,因为上面还压着另一个非确定性的模型,"它有时会引入我们和你都没预料到的东西"。精度是端到端的属性,链条上多一环,承诺就得撤一档。

顺带,她把NotebookLM"感觉更准"的秘密也拆了:"它不是上下文窗口更大,只是搜索更好。"

当情绪变成可检索的字段

向量库+元数据这套后端,还解锁了一类纯搜索永远做不到的查询。Hudson Labs的embedding里带情绪标注,所以你可以直接筛:"谁是最焦虑(stressed-out)的CEO?"关键词搜索怎么搜"焦虑"?没有这个词可搜。但如果压力、回避、挫败感在入库时就被标成了字段,它就成了和市盈率一样可以横向比较的数据。

规模是这套打法的第二层价值:5200万个数据点的向量库,覆盖上万家公司。Bennatti对通用模型的长期判断也建立在这里——她坦率承认,未来五年通用模型会在单公司精度上追上来,"十年后我们不可能还靠精度竞争";但跨1万到2万家公司的高精度检索、筛选、数据集构建,是暴力法喂上下文永远啃不动的(她的说法是,大机构现在"每两周烧3万美元"用暴力法造数据,问题不只是贵,是漏——用Claude直接查会计政策变更,"你会漏掉太多东西,因为它们很难被找到")。

法证风险分:把"CFO跑了"变成一个数

Bennatti是会计师,Hudson Labs起家的产品是法证风险分(forensic risk score)。她对传统欺诈预测的批评很生动:应收账款周转天数、应计项目这些财务指标能抓到欺诈公司,但同时抓进来一大堆正常公司,噪音太大。

"你给老板pitch一个做空标的时,不会说'DSO上升了X%'。你会说:CFO辞职了、他们把产品卖给CEO他妈、表外藏着几百万美元的债、市场为一份合同兴奋,但那其实是关联方合同。"

Hudson Labs做的就是把这些以前只能靠人肉翻披露的定性红旗——管理层诚信、高层更替、分部披露口径变更次数、激进会计政策、表外风险、关联交易、治理结构——用LLM转成数学化的风险表示,再用机器学习在"有SEC调查或欺诈类集体诉讼和解记录"的公司库上训练权重。一个反直觉的发现:ML学出来的权重和人类做空者的直觉常常不一致;另一个冷知识:双层股权结构同时高度预测增长和欺诈。

战绩可以量化:风险分2019年上线,高风险公司遭遇证券集体诉讼的概率是常规公司的3倍;得分70以上的公司,约有三分之一最终面临SEC执法行动——Bennatti补了一句,剩下三分之二"大概率也是欺诈,只是没被SEC盯上"。官网还晒过一个案例:SMCI(超微电脑)的法证风险分早在2019年就已偏高,关联交易红旗(CEO梁见后与其兄弟的公司互售组件)远早于2024年8月兴登堡的做空报告。

Integrate or die:2026年金融AI的生死线

谈到商业模式,Bennatti给出了这期播客的题眼:

"2026年,integrate or die(要么被集成,要么死)。未来的分析师是会写代码的,他们在搭自己的工具。我自己就偏技术——我永远不会买一个没有API的产品。"

但市场是分叉的。一头是主持人Brett Caughran这样的重度用户,用skills和agent工作台把Hudson Labs当积木拼进自己的投研流程;另一头是只被允许用Copilot的大企业客户,反而希望Hudson Labs成为它们的"单一玻璃面板",把各处信息收进来。所以策略是双向连接器:既做出口(API/MCP,被别人集成),也做入口(把别的数据接进来)。

成本经济学是这个判断的底层。同一个数据集,Hudson Labs用自家长时agent架构跑一遍成本约100美元;直接怼Opus API,"你会一不小心花掉1.3万美元"。她给客户的忠告干脆是反营销的:"短期内把订阅都用到顶吧,这些价格不会一直存在。"当补贴退潮、价格上涨,行业的注意力会被迫从顶层模型转向AI架构——数据怎么存、从哪取、怎么省着用。开源工具和自建模型路由的兴起是同一个逻辑:大银行宁可自建router也不依赖别人的MCP,"用AI这件事,说到底是控制自己的结果、自己做选择"。

一个具体的受害者已经出现:量化基金。风险分这类产品每次架构升级都要重跑10年历史数据,成本几十万美元起——"我们都以为LLM对量化基金是天赐,结果发现最先进的功能只供得起不需要10年回测的人"。

大模型还漏什么:动词时态

结尾处Bennatti留了一个让人哭笑不得的技术细节。两年前他们做了一个管理层指引(guidance)提取模型,当时以为护城河最多9个月。结果到今天,最先进的大模型提取"软指引"仍然会漏——因为LLM判断一句话说的是过去还是未来时,盯着动词的时态。而American Eagle这类公司偏偏爱说"CapEx is now expected to be…"(资本开支现在预计为……)。时态是现在时,内容是未来指引,模型就放过去了。她自嘲说,在播客上讲出来之后"明天大概就被修复了——不过Invest with AI总共也就10个听众"。

考虑到各家大模型厂商都在猛投金融专项训练(Anthropic的金融日披露过金融是仅次于科技的第二大垂直),这个细节的存活本身就是个信号:金融语料的长尾坑,比模型厂想的深。

我的思考:第一个为幻觉赔钱的公司,是第一个把AI当金融产品卖的公司

这期播客最值得抄的不是技术方案,是定价姿势。整个金融AI行业都在卖"能力"——更快的摘要、更炫的问答;Hudson Labs卖的是"责任":错一条,赔50美元。金额小到近乎象征性,但它把AI输出从"参考信息"变成了带SLA的金融数据产品——这是彭博终端、标普数据库们用几十年建立的商业语言,机构客户只为这种语言掏钱。反过来看,敢赔钱的前提是把不确定性从生成层挤到检索层,让系统"宁可报错、绝不编造"。国内做金融大模型的团队不妨自问一句:你的产品,敢为每条幻觉赔5块钱吗?在金融行业,AI的天花板从来不是聪明程度,是错误的价格。

本文参考:Invest with AI播客(Fundamental Edge)第7期,Hudson Labs CEO Kris Bennatti: Financial AI Still Gets the Numbers Wrong,2026年7月24日

https://www.fundamentedge.com/invest-with-ai-episodes/07

本文基于Buzzsprout官方全文转写稿写作(机器转写,个别专有名词以音频为准)。"30%错误率"为嘉宾在节目中引述的内部测试,未见独立发表;最接近的公开佐证是Hudson Labs官方benchmark(GPT-5多期查询正确率68%)。另参考:Hudson Labs官网No-Hallucination Guarantee公告(2026年6月17日)、Co-Analyst benchmark博客、Forbes对Hudson Labs的报道(Noah Barsky)。

关注【AI掘金师】,每周追踪最值得读的AI×金融动向。

 
打赏
 
更多>同类资讯
0 条相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008329号-18
Powered By DESTOON