1.题目:Enhancing Neural Machine Translation Through Target Language Data: A kNN-LM Approach for Domain Adaptation(main)
团队:阿卜杜热西提·热合曼,刘宏宇,阮俊豪,阿布都克玉木·阿布都拉,罗应峰,肖桐,朱靖波
摘要:
神经机器翻译(NMT)的领域适应往往依赖大量领域特定的双语平行语料,这在实际应用中往往难以获取。针对该问题,我们探索了仅利用目标语言单语数据进行领域适应的途径。
我们在kNN-LM框架下,将目标语相似句子的信息融合到NMT的解码过程。
与此同时,利用目标语句子相似度信息实现了对来自相似度不同句子的信息的动态加权。
针对非相似部分带来的噪声问题,我们设计了n-gram级别的局部相似片段融合算法。
本文方法实现了无需双语语料、"即插即用"的轻量级领域适应,在专业领域翻译任务中展现出显著的性能提升。
2.题目:Beyond Decoder-only: Large Language Models Can be Good Encoders for Machine Translation(findings)
团队:罗应峰,郑童,穆永誉,李北,张庆宏,高永祺,许子强,冯佩楠,刘晓倩,肖桐,朱靖波
摘要:
神经机器翻译(NMT)与大语言模型(LLM)两种主流翻译范式之间存在着性能与效率的权衡:
NMT训练简单,推理高效,但在泛化方面存在不足;
LLM具备强大的语言理解和任务泛化能力,却面临推理成本高昂的问题。
为兼顾两者优势,我们提出了LaMaTE(Large Language Models as Machine Translation Encoders)
——将LLM作为编码器、结合轻量级NMT解码器的混合架构。
该方法利用LLM的表征能力实现高质量源语语义建模,同时通过高效紧凑的解码器来降低推理负担。
为更全面评估方法性能,我们构建了一个综合性的、覆盖任务更广的多任务机器翻译数据基准——ComMT。
实验结果表明,LaMaTE在保持接近LLM翻译性能的同时,实现了2.4~6.5倍的推理加速,
并将KV缓存内存占用减少了约75%,同时模型仍保持了良好的泛化能力。
代码、模型及数据集:https://github.com/NiuTrans/LaMaTE
