PA视讯|PA真人官网-PLAYACE旗舰注册入口宋大为教授团队近期在大规模预训练语言模型的领域适配、知识蒸馏、模型压缩以及下游任务应用（例如情感分析、语义匹配、文本生成等）方面，取得一系列研究新进展。2022年9月25日，团队的学术论文荣获自然语言处置惩罚国际聚会会议NLPCC2022（CCF-C类）最佳论文奖（Best Paper Award）。10月6日，自然语言处置惩罚领域顶会EMNLP 2022放榜，宋大为教授团队体现卓越，共有4篇高质量主会长文论文被接收。
NLPCC（Natural Language Processing and Chinese Computing）是中国盘算机学会主办的自然语言处置惩罚（NLP）和中文盘算(CC)领域的高水平国际聚会会议。NLPCC 2022于2022年9月22日至9月25日在桂林举办，宋大为教授团队学生杨艺、张辰与香港中文大学（深圳）相助的论文“Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets”被评选为最佳论文。
EMNLP（Conference on Empirical Methods in Natural Language Processing）是自然语言处置惩罚领域的顶级国际聚会会议，由国际盘算语言学会（ACL）主办，Google Scholar盘算语言学刊物指标中排名第二，是CCF-B类推荐聚会会议（清华大学A类聚会会议）。EMNLP 2022将于2022年12月7日至12月11日在阿布扎比(Abu Dhabi)以在线和离线的混淆模式举行。本次聚会会议中，宋大为教授团队学生张辰、张寒青、马放、杨艺所完成的4篇论文被接收为主会长文。
下面对录用论文的研究内容和要领进行简朴的介绍：
论文1: Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets
录用聚会会议：NLPCC 2022 (Best Paper Award)
作者：杨艺，张辰，王本友，宋大为
链接：https://arxiv.org/abs/2207.09638
简介：预训练语言模型在NLP的下游任务上都取得很好的效果，但在领域泛化任务中，预训练模型中要害部门的参数体现为domain-specific，而其他参数体现为domain-general。受此现象启发，我们提出domain-general 分数来识别预训练模型中的domain-general参数（称为doge tickets），通过将参数与方差关联来描述参数的域稳定性，进一步来获得domain-general的预训练模型。实验结果讲明，doge tickets具有更强的领域泛化能力。我们也证明了domain-general参数的存在及doge ticket的性能一致性。
论文2: Making Pretrained Language Models Good Long-tailed Learners
录用聚会会议：EMNLP 2022 main conference
作者：张辰，任磊，王金刚，武威，宋大为
链接：https://arxiv.org/abs/2205.05461
简介：Prompt tuning有效地利用预先训练的知识使其在小样天职类中具有很强的性能。受此现象启发我们认为Prompt tuning也适用于长尾分类任务。因为尾部类别属于小样本。实验结果讲明，Prompt tuning至少能使预训练语言模型成为良好的长尾学习者。我们通过逐步缩小Prompt tuning和fine-tune之间的差距来深入分析Prompt tuning可以在长尾分类中取得良好的性能的原因。分析发现，分类器结构和参数化是使Prompt tuning成为好的长尾学习者的要害。
论文3: XPrompt: Exploring the Extreme of Prompt Tuning
录用聚会会议：EMNLP 2022 main conference
作者：马放，张辰，任磊，王金刚，王奇凡，武威，权小军，宋大为
链接：https://arxiv.org/abs/2210.04457
简介：随着预训练模型规模的增加，prompt tuning范式已经逐渐到达全模型fine tune的性能水平，但对于中小规模的模型，两者之间仍然存在较大的性能差距。在特定任务上，并非所有prompt tokens都对目标任务有同等孝敬，其中某些甚至可能带来负面影响。因此，结合彩票假设的思想，我们提出一种层级结构化剪枝的要领(XPrompt)来缩小性能差距，通太过层结构化剪枝消除差异粒度级此外negative prompt，从而生成参数效率更高的prompt。大规模实验结果讲明，XPrompt能够在较小的模型规模上缩小性能差距。
论文4: Sparse Teachers Can Be Dense with Knowledge
录用聚会会议：EMNLP 2022 main conference
作者：杨艺，张辰，宋大为
链接：https://arxiv.org/abs/2210.03923
简介：在模型蒸馏的研究中发现，知识型教师模型不仅需要知识的表达能力，还应具备对学生的友好性。我们发现教师包罗的某些知识具有很强的表达能力但是对学生不友好，使得整体知识方面受到限制。为了消除对学生不友好的参数，我们基于教师模型参数的知识分数对教师进行稀疏化。知识分数本质上是参数表达能力和学生友好度分数的插值。实验结果讲明，稀疏的教师模型可以拥有富厚的知识并能使学生模型体现的越发精彩。
论文5: DisCup: Discriminator Cooperative Unlikelihood Prompt Tuning for Controllable Text Generation
录用聚会会议：EMNLP 2022 main conference
作者：张寒青，宋大为
简介：大规模预训练模型能够生成高质量文本，但却面临着生成内容属性不行控等问题。为此，提出了一种判别器协同的非似然prompt tuning要领，其通过结合判别器的属性知识来优化控制prompt，以引导语言模型生成特定属性的文本。实验结果讲明，该要领仅依靠10个左右的控制prompt就能够取得较好地控制性能，并保证高效、高质量的文本生成效果。