拥抱“大模型时代”
——金融行业大模型研究
PART ONE
行业大模型介绍
01
通用大模型与行业大模型
上文介绍了大模型的定义、基本原理和训练方法，而对于大模型的应用，目前通常分为两个方向，即通用大模型和行业大模型。
通用大模型指的是模型训练时使用了大量的通用语料的，可以在多个领域和任务上通用的大模型。它们利用大算力、使用海量的开放数据与具有巨量参数的深度学习算法在大规模无标注数据上进行训练，以寻找特征并发现规律，进而形成可“举一反三”的强大泛化能力，可在不进行微调或少量微调的情况下完成多场景任务，相当于AI完成了“通识教育”。
行业大模型，也叫垂类大模型、领域大模型等，是为解决行业问题，利用行业数据训练的，针对特定任务或场景的大模型。它们通常使用行业相关的数据进行预训练或微调，以提高在该领域的性能和准确性，相当于AI成为“行业专家”。
行业大模型与通用大模型的核心区别在于行业数据。行业数据有两方面用途，一是用行业数据对通用模型进行继续训练、微调等一系列改变模型权重的方法；二是不改变通用大模型的权重，用in context learning的能力通过Prompt，或者利用外挂数据库的方式注入行业内的专业知识。
02
行业大模型主要应用领域
大模型因此优越的理解、生成、推理等能力，在经济社会中的应用领域已经越来越广。大模型技术最初被应用于计算机视觉、自然语言处理等领域，随着技术的发展和应用场景的不断扩大，大模型也逐渐被应用于医疗、法律、金融、智能制造等领域，并具有更加广泛的应用前景。本篇文章主要介绍大模型在金融行业的应用情况及发展前景。
PART TWO
大模型在金融行业的应用
金融行业具有数据规模大、数据类型多、数字化基础强、市场规模大、客户付费能力强等特点，是大模型应用落地的最优场景之一。而在大模型的加持下，金融行业的智能化更将迎来新一轮的创新和加速。在金融行业中，大模型能够深度赋能的场景包括智能投顾、智能投研、智能营销、智能风控、智能交互等。目前，国内外的金融大模型都在陆续推出，赛道内竞争激烈。
01
国外>>
BloombergGPT
2023年3月底，全球最大的财经资讯公司彭博社发布拥有500亿参数的大型语言模型——BloombergGPT，标志着全球首个金融大模型的诞生。该大模型在3630亿 tokens金融数据集、3450亿tokens公共数据集之上进行训练，可全方位支持金融领域NLP任务，表现明显优于其他类似规模的开放模型，在一般NLP基准上的表现也达到甚至超过平均水平。
Broadridge: BondGPT
2023年6月7日，Broadridge子公司LTX宣布，通过GPT-4打造了BondGPT，主要用于帮助客户回答各种与债券相关的问题。BondGPT 是 LTX 将自己整合的 Liquidity Cloud 中海量的匿名实时交易数据及金融数据通过 GPT-4 训练得到的债券垂类大模型。用户可以通过与BondGPT交流获得符合需求的公司信息、利率、价格、发布日期、到期日期、债券评级等信息。它还可以用于简化债券投资流程以及提供投资组合建议，此外 BondGPT 还能根据特定数据筛 选输出可视化图表。
02
国内>>
无涯Infinity
2023年5月，大数据基础软件供应商星环科技推出第一款面向金融量化领域的生成式大语言模型“无涯Infinity”。无涯Transwarp Infinity能够支持股票、债券、基金、商品等市场事件的全面复盘、总结及演绎推理，以及政策研报的深度分析，为基金经理提供决策辅助。
轩辕金融大模型
2023年5月，度小满推出国内首个千亿级中文金融大模型“轩辕”，该模型是在1760亿参数的Bloom大模型基础上训练而来，聚焦于金融名词理解、金融市场评论、金融数据分析和金融新闻理解等任务。据其介绍，轩辕大模型基于度小满实际业务场景积累的海量金融数据进行训练，保证在提升金融能力的同时，不会损失通用能力。
LightGPT
2023年6月，恒生电子发布金融行业大模型LightGPT。LightGPT使用了超4000亿tokens的金融领域数据（包括资讯、公告、研报、结构化数据等）和超过400亿tokens的语种强化数据（包括金融教材、金融百科、政府报告、法规条例等），并以之作为大模型的二次预训练语料，支持超过80+金融专属任务指令微调。
拓天大模型
2023年6月，拓尔思发布拓天金融大模型，使用了110亿+金融主题数据、百亿级产业指标数据、30亿+产业要素明细数据、2亿+产业动态本体、500+以上标引维度、10000+知识标引规则、10万+产业标签作为专业数据进行训练。
蚂蚁金融大模型
2023年9月，蚂蚁金服基于蚂蚁自研基础大模型，针对金融产业深度定制。据其介绍，作为工业级垂直大模型，蚂蚁金融大模型聚焦真实的金融场景需求，在“认知、生成、专业知识、专业逻辑、合规性”五大维度28类金融专属任务中表现突出，在“研判观点提取”“金融意图理解”“金融事件推理”等众多领域达到行业专家平均水平，目前已在蚂蚁集团的财富、保险平台上内测。
腾讯云天御
腾讯云聚焦于金融安全领域，推出金融风控大模型，锚定机构交易、信贷、营销等场景的风控需求。
文因大模型
文因互联公布了基于“文因大模型”联通多个金融场景的解决方案。该解决方案覆盖债权发行、IPO、ESG评级评价、智能投研、智能投顾、信贷评估、债券评级、合规审计、新闻写作、工业维修等多个场景，定位是“为金融人提供安全高效副驾驶”。
PART THREE
典型产品：同花顺问财大模型
——HithinkGPT
作为A股市场的“互联网+金融+AI”第一股，同花顺已在人工智能领域探索了十多年，并在2024年1月初，推出了问财HithinkGPT大模型，也是首家通过网信办备案的金融对话大模型。
同花顺大模型提供7B、13B、30B、70B和130B五个版本，最大允许32k文本输入，支持API接口调用、网页嵌入、共建、私有化部署等，并可提供标注和评测服务。
在数据方面，同花顺利用自身过去十几年的数据积累和公开的金融数据，预训练了万亿级的金融语料库，建立了一套自动化的流程，用于数据的获取、清洗和验证，每月可新增数千亿tokens优质预训练数据以及数十万条优质微调数据，以提高数据的实时性和准确性。此外，同花顺自建了HithinkFinEval数据集，涵盖了各类金融行业考试，在这些考试中，问财HithinkGPT-70B大模型平均得分达到75.9分。
在模型训练方面，同花顺对模型的训练进行了创新优化。通过构建科学高效的大模型训练体系，包括数据配比实验方案、Scaling Law实验体系、模型架构优化、分布式训练框架优化、硬件加速技术等，提高训练效率。
在算力方面，同花顺构建了千卡异构集群为模型训练提供支持，并应用了一系列优化推理技术，如无损自适应选层剪枝、通信算子优化等，使模型推理速度大幅提升。同时还自主研发了大模型量化算法，据其介绍量化后的模型精度损失小于1%，部署显存需求减半，推理吞吐量提高两倍以上。
在安全合规性方面，同花顺使用RLHF方案，实现大模型对安全的认知与人类拉齐，同时独创补丁式大模型热修复技术，以应对安全漏洞，不断提高模型的安全性。
同花顺的大模型产品面向B端和C端应用落地。B端主要包括大模型合作及iFinD平台应用，金融机构可与同花顺开展算力、数据、技术、咨询等各方面合作，通过联合训练、模型微调、私有化部署和MaaS等服务，开发个性化应用。C端应用主要为问财客户端，为用户提供投资理财服务等。
PART FOUR
金融行业大模型发展前景
大模型技术的出现标志着金融行业信息处理和智能化决策的新纪元，金融机构可以借此更高效地梳理和分析海量数据，提升决策的效率和精度，从而在激烈的市场竞争中获得优势。
尽管如此，目前的大模型技术仍存在明显的缺陷和风险。一是“知识幻觉”问题，即大模型有时候会生成看似合理却无法应用于实际场景的非事实性内容，而在金融领域，这可能导致错误的投资建议，给用户带来损失。二是实时性问题，大模型通常依赖于海量的历史数据进行训练，但这些数据不总是实时更新的，而对于金融市场，实时性是至关重要的。三是数据安全问题，大模型公司掌握和处理大量用户数据，不仅增加了隐私泄露的风险，也可能侵犯数据产权，而这可能会面临法律风险。
总之，大模型在金融行业应用前景广泛，并能为行业的发展带来全新机遇，但仍需要克服现有的不足，探索新的技术架构和商业模式，才能充分发挥其潜力和价值。
END
