2023年中央经济工作会议指出，要大力推进新型工业化，发展数字经济，加快推动AI发展。
在AI大模型发展热潮中，国内“产学研用”等各方积极布局、大力投身大模型研发应用。目前，国内已经发布超200个大模型，通过国家网信办备案的大模型超过20个，大模型已进入规模落地应用阶段。据赛迪研究院数据，2023年我国大语言模型市场规模将达到132.3亿元，增长率达110%。
近日，在2023通信产业大会暨第18届通信技术年会上，《通信产业报》全媒体发布了2023年度AI大模型先锋榜TOP50，受到业界广泛关注。
那么，作为大模型关键能力的代码能力，是怎样呈现出大模型理解、逻辑、推理、生成等综合能力，又该如何客观评估大模型代码能力，促进大模型代码能力迭代进步？同日在大会上，中国软件评测中心人工智能研究测评事业部联合中国科学院信息工程研究所孟国柱团队，依托人工智能场景化应用与智能系统测评工信部重点实验室，发布了《大语言模型代码能力测评分析报告》（以下简称《报告》），从评测实证大语言模型的真正代码能力。
《大语言模型代码能力测评分析报告》在2023通信产业大会暨第18届通信技术年会上发布。
部分大模型表现优异
代码能力是大模型关键能力，是大模型理解、逻辑、推理、生成等综合能力的体现，其已成为程序员辅助编程必备助手，能够编写、翻译、补全代码，帮助定位和修改错误，大大提高了编程效率，正给软件开发带来变革。
《报告》从代码生成、代码翻译、代码纠错、代码补全、代码安全五大维度构建测评体系，面向各能力项建立契合测试任务要求的数据集，设计了涵盖代码完整性、功能完备度、文本相似度三项指标，编译正确率、运行时正确率、运行超时率、pass@k、样例通过率、CodeBleu六项二级指标。基于该测评规范，对文心一言、讯飞星火、智谱清言、通义千问、MINIMAX、CodeLlama等5款版本国内大模型和1款开源大模型开展测评，分析大模型代码能力表现，形成国内份专门测评分析大模型辅助编程能力的报告。
