我们提出了zero-shot实体链接任务,其中mentions必须链接到没有域内标记数据的未曾见过的实体。这样做的目的是实现向高度专业化的领域的鲁棒迁移,也因此我们不会假设有元数据或别名表。在这种设置中,实体仅通过文本描述进行标记,并且模型必须严格依赖语言理解来解析新实体。首先,我们表明对大型未标记数据进行预训练的阅读理解模型可用于推广到未曾见过的实体。其次,我们提出了一种简单有效的自适应预训练策略,我们将其称为域自适应预训练(domain-adaptive pre-training ,DAP),DAP可以解决与在新域中链接未见实体的域迁移问题。我们在为此任务构建的新数据集上进行的实验,显示了DAP在强预训练基线(包括BERT)上有所改进。本文提供了数据集和代码。
最佳 Demo 论文奖
OpenKiwi: An Open Source Framework for Quality Estimation
论文作者:Fabio Kepler, Jonay Trenous, Marcos Treviso, Miguel Vera and André F. T. Martins
论文地址:https://arxiv.org/abs/1902.08646
获奖理由:
这是机器翻译中第一个可以自由使用的用于执行基于神经的质量估计的框架;
包含了WMT 2015-18基准评估中四种最佳质量评估系统的实现;
包含了易于使用的API和可复现的实验。
论文摘要:
我们介绍基于PyTorch的开源框架OpenKiwi,这个框架可用于翻译质量评估。OpenKiwi支持单词级和句子级质量评估系统的训练和测试,实现了WMT 2015-18 质量评估比赛中的最佳系统。我们在WMT 2018(英-德 SMT 和NMT)的两个数据集上对OpenKiwi进行了基准测试,在单词级任务达到最先进的水平,句子级任务中也能够接近最先进的水平。
在现场的获奖论文作者合影