
模型评测工作算是除了数据标注之外在ai领域门槛非常低的一个岗位和工作。很多人觉得这个工作简单、好入门,很多人因此也瞧不起,觉得这样的工作没有太多的含金量,没地位,也学不到太多的东西。但是当我身处其中,越来越发现评测的重要性和难点。
首先是重要性,模型评测的目的有很多,摸底评测,行业横评,指导优化迭代,指导技术选型,发现风险等等,好的评测结论或者可以直接为算法或其他研发同学提供优化方向,或者可以明确行业状态,定位技术短板,支撑商业合作决策等。所以评测像是引擎,没有有效的评测,即便是再先进的模型,也难以保证在实际用途中的体验。可惜,目前行业里对评测的认知还不够,评测也容易被边缘化。
第二是,要把评测做好真的很难,很有挑战性,当你身处其中就会发现,有效的评测绝不是外人看起来那么简单。之前我的上级说,评测就好比出题人,出题看似简单,但能把学生的真实水平考出来真的很难。这会涉及一系列需要考虑的点,这要求评测人员要了解模型能力的边界,了解产品的需求点,构建完整的,丰富的,合理的评测集,设计合理的评测维度和标准,同事还要联动下游的一线标注同学,保证他们完全理解标注,高效率高质量完成,后续还有相应的评测结果归因等。有可能忽视一个很小的细节,都会导致评测结果不置信。
所以,评测其实水很深,想做好不容易也不简单。慢慢来吧…
#ai #人工智能 #大模型评测 #大模型应用 #大模型入门 #工作#感悟分享
首先是重要性,模型评测的目的有很多,摸底评测,行业横评,指导优化迭代,指导技术选型,发现风险等等,好的评测结论或者可以直接为算法或其他研发同学提供优化方向,或者可以明确行业状态,定位技术短板,支撑商业合作决策等。所以评测像是引擎,没有有效的评测,即便是再先进的模型,也难以保证在实际用途中的体验。可惜,目前行业里对评测的认知还不够,评测也容易被边缘化。
第二是,要把评测做好真的很难,很有挑战性,当你身处其中就会发现,有效的评测绝不是外人看起来那么简单。之前我的上级说,评测就好比出题人,出题看似简单,但能把学生的真实水平考出来真的很难。这会涉及一系列需要考虑的点,这要求评测人员要了解模型能力的边界,了解产品的需求点,构建完整的,丰富的,合理的评测集,设计合理的评测维度和标准,同事还要联动下游的一线标注同学,保证他们完全理解标注,高效率高质量完成,后续还有相应的评测结果归因等。有可能忽视一个很小的细节,都会导致评测结果不置信。
所以,评测其实水很深,想做好不容易也不简单。慢慢来吧…
#ai #人工智能 #大模型评测 #大模型应用 #大模型入门 #工作#感悟分享


