翻译研究不应该被锁在围墙里

我们相信神经机器翻译的进步需要开放的研究环境和多样化的数据。这个社区发布模型、数据集、论文和评测基准,希望能为全球的NMT研究者提供真正有用的公共资源。

我们的使命

从2019年发布第一个开源模型开始,我们一直相信开放协作的力量。

翻译技术关乎信息的自由流动

世界上有超过7000种语言,但现有的商业翻译系统能覆盖的不到其中1%。小语种的翻译质量之所以长期落后,根本原因不是技术不够好,而是缺乏足够规模的高质量平行语料和针对性的研究投入。

我们成立这个开源社区的初衷很简单——把我们已经做出来的成果分享出来,让其他研究者不必从零起步。你可能对中英翻译很满意,但如果你关注的是泰语-老挝语或者斯瓦希里语-英语的翻译质量,就会发现这个领域还有巨大的空白等着被填补。

社区发布的所有模型和数据都采用宽松的许可证,商业使用友好。你可以在我们的基础上做二次训练、领域微调、或者直接集成到你的产品里。

8
开源模型版本
12
公开发表论文
15+
开放数据集
2,400+
社区贡献者

研究论文

团队成员在ACL、EMNLP、NAACL、WMT等顶级会议和期刊上发表的代表性工作。

Sparse Mixture-of-Experts for Efficient Multilingual Neural Machine Translation
Li Wei, Zhang Minghui, Chen Yuting, et al.
ACL 2025 · Oral Presentation
我们提出了一种稀疏混合专家架构,在13B参数的多语种翻译模型中实现了每次推理仅激活15%参数的效率。该方法在保持翻译质量不降的前提下,将推理延迟降低了73%,使得大模型翻译引擎在资源受限环境中的部署成为可能。
Contrastive Learning for Cross-Lingual Sentence Alignment at Scale
Wang Fang, Li Wei, Zhou Jianfeng
EMNLP 2024
本文探索了使用对比学习目标来改善跨语言句子表征的质量。我们在82个语种对上验证了该方法,相比传统的基于最大似然的训练方式,对比学习在低资源语种对上的BLEU提升尤为显著——平均提高了3.2个BLEU点。
Domain Adaptation for NMT via Continual Pretraining with Curated Corpora
Chen Yuting, Liu Xiang, Zhang Minghui, et al.
NAACL 2025
研究了如何通过精心筛选的领域语料进行持续预训练来实现NMT模型的领域适配。在法律、医疗、IT三个垂直领域上,该方法在仅增加3%额外训练成本的情况下,将领域内BLEU分数平均提升了5.8分。
Evaluating Translation Quality Beyond BLEU: A Human-Centric Multi-Dimensional Framework
Zhou Jianfeng, Wang Fang, Li Wei
WMT 2024 · Best Paper Nomination
提出了一套超越BLEU评分的多维度翻译质量评估框架,涵盖语义保真度、语用恰当性、文化适应性、术语一致性四个维度。我们在这个框架下对主流商业和开源翻译系统进行了系统性评估,揭示了仅依赖BLEU评分可能忽略的重要质量差异。

开放数据集

我们创建和维护的高质量平行语料与评测数据集,所有数据均已去重和清洗。

LegalZH-EN Corpus

420万句对 · 法律领域 · CC BY 4.0

来自中国裁判文书网和英文法律数据库的对齐语料,涵盖合同、判决书、法规条文等子类。每条数据都通过了执业律师的人工抽检。

中英 法律

MedTrans-5

280万句对 · 医疗领域 · Apache 2.0

五个语种(中英日韩法)的医学文献摘要和临床报告平行语料。药品名、疾病名、手术名等关键实体已做命名实体标注。

多语种 医疗

EcomTrans-2024

850万句对 · 电子商务 · CC BY 4.0

从跨国电商平台采编的商品标题、描述和用户评价的平行语料,覆盖18个品类。每条语料标注了文体风格(正式/口语/营销)。

中英日韩 电商

LowRes-Asian-8

120万句对 · 低资源语种 · Apache 2.0

面向泰语、越南语、印尼语、他加禄语等8个东南亚语种与英语的平行语料。这是我们与东南亚三所大学合作收集和标注的成果,旨在改善该地区语种的机器翻译质量。

低资源 东南亚

MT-Eval-Bench v2.0

12,000条 · 评测基准 · MIT

包含12个语种对、4个专业领域的翻译质量评测集。每条数据包含源文、参考译文和人工标注的多维度质量评分(语义保真度、流畅度、术语准确性)。

评测 多维度

GameLoc-2025

360万句对 · 游戏本地化 · CC BY-NC 4.0

涵盖RPG、策略、休闲三种游戏类型的UI文本、剧情对话和系统提示的平行语料。特别标注了字符串长度约束和占位符位置信息,适合游戏本地化研究。

中英日韩 游戏

社区贡献者

来自学术界和工业界的核心贡献者,以及来自全球的社区志愿者。

LW
李巍
易翻译AI · 首席科学家
12篇论文 · 核心架构
WF
王芳
北京大学 · 副教授
6篇论文 · 数据集
CY
陈宇霆
易翻译AI · 研究科学家
8篇论文 · 模型训练
PS
Dr. Piyush Sharma
IIT Delhi · 研究员
低资源语种方向
SS
Prof. Sarah Chen
NUS · 教授
评测框架设计
ZJ
周剑锋
清华大学 · 博士生
4篇论文 · 评测
MC
Maria Costa
Univ. of Lisbon · 研究员
多语种语料
LY
刘洋
易翻译AI · 工程师
开源工具开发

合作机构

与高校和企业研究实验室的长期合作,是社区持续产出的基础。

北京大学计算语言学研究所
学术合作

联合培养博士生,共建中英法律平行语料库,在ACL和EMNLP上合作发表多篇论文。

NUS NLP Group
学术合作

共同设计翻译质量多维度评测框架,推进东南亚语种机器翻译的基线提升。

IIT Delhi
学术合作

聚焦印地语和南亚语种的翻译模型研究与数据采集,共建LowRes-SouthAsia数据集。

清华大学NLP实验室
学术合作

在跨语言表征学习和对比学习方向上的深度合作,博士生联合指导项目。

某跨国电商平台
企业合作

提供脱敏后的电商翻译场景数据,共建EcomTrans数据集,验证模型在生产环境的表现。

欧盟多语种资源联盟
机构合作

共享欧洲语种的平行语料资源,参与欧盟Horizon框架下的低资源语种翻译研究项目。

常见问题

社区发布的开源模型可以商用吗?

大部分模型采用Apache 2.0许可证,允许商业使用、修改和再分发,只需保留版权声明。少数数据集采用CC BY-NC 4.0许可证(非商业用途),这主要是因为这些数据集包含来自合作方的贡献,其共享条件由合作方约定。每个资源的具体许可证在其发布页面都有明确标注,使用前请查阅。

如何参与社区贡献?

社区的入口是GitHub组织账号,所有项目代码、数据集、论文都在那里托管。你可以通过提交Issue报告问题、提交Pull Request贡献代码或数据、参与论坛讨论分享你的研究心得。如果你在NMT方向有研究成果并希望在这里发布,也可以直接联系社区管理员——我们非常乐意为你提供发布平台和推广支持。

开源模型的翻译质量和商业版本差距有多大?

开源的是第一代和第二代模型(v1.x和v2.x),其在中英通用翻译上的BLEU评分大约是当前商业版本(v4.x)的85%-90%。在专业领域(法律、医疗等)的差距会更大一些,因为商业版本使用了更大规模的领域数据进行微调。但对于大多数研究用途和原型验证来说,开源模型的翻译质量已经相当可用。很多来自小语种社区的开发者用我们的开源模型做二次训练后,在自己关注的语种对上得到了比通用商业模型更好的效果。

数据集的来源合法吗?如何处理版权问题?

每一份发布的数据集都经过了严格的来源审查。我们使用的公开数据来自联合国、欧盟等官方机构的多语种出版物,这些内容本身就在开放许可下发布。对于来自合作方的数据,我们有书面的数据共享协议,明确约定了使用范围和再分发条件。如果某个数据来源的版权状态存疑,我们不会将其纳入公开发布的数据集。这是社区运营中我们最谨慎对待的一环。

如何申请与易翻译AI的学术合作?

我们欢迎高校和研究机构发来合作提案。合作形式可以很灵活——联合发表论文、共同构建数据集、交换研究人员、或者资助特定方向的博士生。目前我们重点关注低资源语种翻译、翻译质量评估、领域自适应这三个方向。你可以通过社区页面上的联系方式提交一份简短的合作意向书,包括你的研究背景和感兴趣的课题,我们会在两周内回复。

社区有没有定期的学术活动?

我们每年举办一次NMT Open Research Workshop,通常在秋季。此外,每个月都有线上的Paper Reading小组,由社区成员轮流领读近期的NMT相关论文。Workshop的参与是免费的,往届的录像和幻灯片都可以在社区网站上找到。如果你有感兴趣的话题想分享,随时可以联系管理员预约一个线上分享的时段。

为什么选择现在开源一部分模型?

这是一个从公司成立之初就有的想法。我们团队的核心成员大多来自学术界,深知闭源模型对研究和教育的限制。选择在公司有稳定商业收入后开始开源,是因为这让我们可以不依赖开源来"引流"——我们是真诚地想把有价值的研究成果分享给社区。第一代模型发布于2019年,当时社区反馈远超预期,所以就一直坚持到了现在。

加入翻译研究的开放浪潮

无论你是研究者、工程师还是语言学家,都能在这里找到感兴趣的方向和有用的资源。

访问GitHub组织