A前瞻官网
前瞻网
a 当前位置: 前瞻网 » 资讯 » 产经

重大突破!微软宣布中英机器翻译水平媲美人类 可应用于整个AI研究领域

分享到:
 Emma Chou • 2018-03-17 10:22:47 来源:前瞻网 E2469G0
100大行业全景图谱

前瞻经济学人

一个由微软研究人员组成的团队周三表示,他们已经创建了第一个机器翻译系统,可以将新闻文章的句子从中文翻译成英文,并且具有与人相媲美的质量和准确性。

微软亚洲和美国实验室的研究人员表示,他们的系统在一套常用的新闻报道测试集上实现了达到了人类水平,测试集名为newstest2017。系统是由一群行业和学术合作伙伴开发的,去年秋天在WMT17研讨会上发布。为确保结果既准确又符合人们的期望,团队聘请了外部双语人力评估人员,他们将微软的结果与两个独立制作的人类参考翻译进行了比较。

负责微软演讲,自然语言和机器翻译工作的技术专家黄学东称,这是最具挑战性的自然语言处理任务之一的一个重要里程碑。

“在机器翻译任务中达到人的水平是我们所有人的梦想。” 黄学东说, “我们没有想到这么快就能攻克它。”

黄学东同时领导最近在对话式语音识别任务中达到人类水平的团队,表示翻译的里程碑特别令人欣慰,因为它可以帮助人们更好地理解对方。

“追求消除语言障碍来帮助人们更好地交流是非常棒的。”他说,“这非常非常有意义。”

机器翻译是研究人员数十年来研究的问题,并且,专家说,在很多时候,许多人相信达到人类水平永远无法实现。尽管如此,研究人员告诫说,这个里程碑并不意味着机器翻译是一个已经解决了的问题。

微软亚洲研究院副总经理兼领导该项目的自然语言处理团队负责人周明表示,该团队很高兴能够实现数据集上达到人类水平的里程碑。但他提醒说,未来还有很多挑战,比如在实时新闻报道中测试系统。

前瞻经济学人

微软机器翻译团队的合作伙伴研究负责人Arul Menezes说,该团队着手证明,当它使用中文和英文这样的语言对时,它的系统可以表现得和一个人一样出色,因为在一个包含普通有趣新闻故事常见词汇的测试集上,中文和英文都有很多数据。

帮助领导该项目的Menezes说:“就数据和资源可用性而言,鉴于最佳情况,我们希望了解我们是否能够真正达到专业人工翻译的表现。”

Menezes说,研究团队可以将他们为这一成就所取得的技术突破应用到微软商用翻译产品中,并应用于多种语言。这将为更精确,更自然的跨语言翻译和词汇更复杂或更小的文本铺平道路。

对偶学习,推敲网络,联合训练和一致性规范

尽管学术和行业研究人员多年来一直致力于翻译工作,但他们最近通过使用称为深度神经网络的AI系统培训方法取得了重大突破。这使得他们能够创造更流利,听起来更自然的翻译,考虑到比以前的方法更广泛的背景,即统计机器翻译。

为了在这个数据集上达到人类水平的里程碑,微软北京和华盛顿州雷德蒙德的三个研究小组共同合作,增加了许多其他培训方法,使系统更加流畅和准确。在许多情况下,这些新方法模仿人们如何反复改进自己的工作,一遍又一遍地翻阅,直到他们做对。

微软亚洲研究院副院长、机器学习组负责人刘铁岩表示:“我们的大部分研究都受到人类工作方式的启发。”他领导了一个负责该项目的机器学习团队。

前瞻经济学人

他们使用的一种方法是对偶学习。把这看作是对系统工作进行事实核查的一种方式:每次他们通过系统发送一个句子,将其从中文翻译成英文时,研究团队还将其翻译成英文翻译成中文。这与人们如何确保他们的自动翻译是准确的相似,并且允许系统改进并从自己的错误中学习。由微软研究团队开发的对偶学习也可用于改进其他AI任务的结果。

另一种称为推敲网络的方法类似于人们通过一次又一次地编辑和修改他们自己文章的方式。研究人员教导该系统重复翻译相同句子的过程,逐步完善和改进反应。

周明说,研究人员还开发了两种新技术来提高翻译的准确性。

一种称为联合训练的技术被用于反复推动英汉翻译和中英翻译系统。用这种方法,英汉翻译系统将新的英文句子翻译成中文,以获得新的句子对。然后使用这些数据来增加训练数据集,这些数据集的方向是相反的,从中文翻译至英文。然后在另一个方向上应用相同的程序。当它们联合时,两个系统的性能都会提高。

另一种技术称为一致性规范。使用这种方法,可以通过从左至右或从右至左读取系统来生成翻译。如果这两种翻译技术产生相同的翻译结果,则认为结果比没有得到相同结果更可靠。该方法用于鼓励系统生成一致的翻译。

周明说,他预计这些方法和技术对于改进其他语言和情况下的机器翻译也很有用。他表示,除了翻译,它们也可以用在制作其它的AI突破。

“这是机器翻译研究可以应用于整个AI研究的领域。”他说。

没有“正确”的答案

团队用来达到人类水平里程碑的测试集包括来自专业翻译的在线报纸样本中约2000个句子。

微软对测试集进行了多轮评估,每次随机挑选数百个翻译进行评估。为了验证微软的机器翻译与人类翻译得一样好,该公司超出了测试集的规格,并聘请了一群外部双语语言顾问,将微软的结果与人工生成的人工翻译进行比较。

验证结果的方法突出了教学系统准确翻译的复杂性。通过语音识别等其他任务,可以非常直观地判断系统是否与人同样出色,因为理想的结果对于人员和机器来说完全相同。研究人员称这是一种模式识别任务。

随着翻译,有更多的细微差别。即使是两位流利的人工翻译员翻译完全相同的句子也可能会略微不同,而且两人都不会出错。这是因为有多种“正确”的方式来表达同一个事物。

“机器翻译比纯粹的模式识别任务复杂得多。”周明说,“人们可以用不同的词语来表达完全相同的东西,但是你不能说哪一个更好。”

研究人员表示,复杂性是机器翻译最具挑战性的问题,也是一个非常有意义的问题。

Liu说,没有人知道机器翻译系统是否能够很好地翻译任何语言对中的任何文本,以及翻译人员的准确性和抒情性。但是,他说,这些最近的突破允许团队继续迈向实现这一目标的下一重大步骤,以及AI等其他重大成就,比如在言语—语音翻译方面达到人类水平。

“我们可以预测的是,我们肯定会做得更好。” 刘铁岩说。

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33069875 或 hezuo@qianzhan.com

p48 q0 我要投稿

分享:

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人微信二维码

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院微信二维码

前瞻产业研究院

如何抓准行业的下一个风口?未来5年10年行业趋势如何把握?扫一扫立即关注。

前瞻经济学人 让您成为更懂趋势的人

想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:

  • 10000+ 行业干货 免费领取
  • 500+ 行业研究员 解答你的问题
  • 1000000+ 行业数据 任君使用
  • 365+ 每日全球财经大事 一手掌握
  • 下载APP

  • 关注微信号

前瞻数据库
企查猫
前瞻经济学人App二维码

扫一扫下载APP

与资深行业研究员/经济学家互动交流让您成为更懂趋势的人

下载APP
前瞻经济学人APP

下载前瞻经济学人APP

关注我们
前瞻经济秀人微信号

扫一扫关注我们

我要投稿

×
J