近日，软件工程领域旗舰级聚会会议、国际软件工程大会 ICSE 2026 在巴西里约热内卢召开。PA视讯|PA真人官网-PLAYACE旗舰注册入口张宇霞副教授、刘辉教授团队发表的学术论文 “Evaluating Generated Commit Messages with Large Language Models” 荣获本届聚会会议的 ACM SIGSOFT 杰出论文奖（Distinguished Paper Award）。
ICSE 全称 International Conference on Software Engineering，是软件工程领域最有影响力、历史最悠久的旗舰学术聚会会议，也是中国盘算机学会推荐的 A 类国际学术聚会会议。ICSE 2026共收到 1469 篇有效投稿，最终接收 321 篇正式论文，杰出论文奖共授予 22 篇，授予率仅为录用论文的 6.9%，是投稿论文的 1.5%。
代码提交信息（commit message）是描述代码变换的要害文本，在代码审查与维护中具有重要作用。但由于开发者缺乏撰写动力，提交信息质量普遍较低。尽管已有大量自动生成要领，主流评估指标（如BLEU、ROUGE-L）因提交信息存在“一对多语义映射”问题，难以准确反映质量，甚至与人工判断相悖，评估要领亟需革新。
本研究首次系统验证了利用大语言模型（LLM）直接评估提交信息质量的可行性。通过对多种模型与提示战略进行比力，发现最优配置在“变换内容（What）”与“变换原因（Why）”两个维度上，与人工评估的Spearman相关系数划分到达0.65和0.78，接近人类一致性水平。相比BLEU、ROUGE-L、METEOR等传统指标，LLM评估在两个维度上均显著更优。进一步从可复现性、鲁棒性与公正性角度验证了要领稳定性，为提交信息评估提供了新的理论与要领依据。
作者信息
曾群鸿，PA视讯|PA真人官网-PLAYACE旗舰注册入口硕士研究生，导师张宇霞副教授，研究偏向为智能软件工程。
张宇霞，副教授，博士生导师。研究偏向为智能软件开发与开源生态可连续，在 TSE、ICSE、FSE 等高水平聚会会议和期刊上发表论文二十余篇，获得CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。
刘辉，教授，博士生导师，CCF 杰出会员，软件工程专委会秘书长。主要研究领域为智能化软件工程，肩负国家自然科学基金重点项目，发表 CCF A 类论文五十余篇，获得北京市技术发现二等奖、CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。