1.题目:WTA-MT: Weakness-Targeted Augmentation with Large Language Models for Machine Translation
作者:张庆宏 罗应峰 马安香 肖桐 朱靖波
简介:
本文针对大语言模型(LLMs)机器翻译存在的高计算成本问题,及传统知识蒸馏忽视学生模型能力、导致训练冗余的缺陷,提出WTA-MT框架。
该框架先通过CometKiwi质量评估模型识别学生模型翻译表现差的样本,定位其知识弱项;
再利用教师模型结合检索增强等技术生成针对性平行数据,补充弱项知识。
实验显示,WTA-MT在数据量远少于传统序列知识蒸馏(SeqKD)的情况下,
性能相当甚至更优,能消除低得分样本缺陷,缩小小模型与大模型的知识差距,为轻量化高绩效机器翻译系统提供方案。
2.题目: LLM-Guided NMT Optimization: Data-Centric Knowledge Distillation via LLM-Assisted Repair and Active Mining
作者:欧阳宇轩,罗应峰,许子强,王新宇,肖桐,朱靖波
简介:
虽然大型语言模型(LLMs)为机器翻译设定了新的质量上限,但其高昂的计算成本使得高效、专门的神经机器翻译(NMT)模型仍需继续使用。
为了缩小质量差距,我们提出了一种新颖的两阶段自校正框架,将 LLMs 的知识蒸馏到 NMT 模型中。
在第一阶段,我们解决了数据优化这一核心问题,在一个嘈杂的、网络规模的平行语料库上系统地比较了 “激进过滤” 和 “LLM 辅助修复” 两种方法。
我们的研究结果提供了强有力的实证结论:
修复数据是构建强大基线模型的更优策略。在第二阶段,我们引入了自诊断难题挖掘流程,
该流程能让基线模型通过翻译大量单语语料库并利用质量评估模型检测错误,自主识别自身的特定弱点。
随后,我们对微调过程进行了剖析,揭示了两个关键见解:
(1)我们的目标挖掘方法显著优于随机增强;(2)与传统观点相反,在纯高质量、经 LLM 修复的难题集上进行微调,能使强大的基线模型取得最佳性能。
最终,我们优化后的 NMT 模型不仅实现了显著的质量提升,在公平的评估条件下,
其 BLEU 得分甚至超过了强大的 LLM “教师” 模型,同时其规模缩小了 30 多倍,速度也快了几个数量级。
