文章摘要
大数据 AI 公司 Databricks 于 3 月 27 日开源了一款拥有1320 亿参数、使用 MoE(专家混合模型)架构的 DecoderOnly 大模型 DBRX。DBRX 模型正式开源后,Databricks 官网发布了 DBRX 模型与其他大模型的功能对比与评价。
综合来看,DBRX 模型的多项性能优于马斯克开源的 Grok-1,DBRX 是目前在所有开源大模型中性能处于领先位置。Databricks 官网同时也发布了 DBRX 模型与其他大模型的训练和推理效率的评价对比,在使用新的 MoE 架构与更好的预训练数据后,DBRX 在模型质量与效率之间达到了一个更好的平衡。
文章内容
文章篇幅有限,仅为部分预览
回复暗号:24041429

*免责声明:以上报告均为本公众号通过公开、合法渠道获得,报告版权归原撰写/发布机构所有,如涉侵权,请联系删除;本号报告为推荐阅读,仅供参考学习,不构成投资建议。
往期推荐
2023-06-04

2023-06-06

2023-06-10

2023-06-11

2023-06-17

2023-06-19

2023-06-21

2023-06-23

2023-06-25

