A前瞻官网
前瞻网
a 当前位置: 前瞻网 » 资讯 » 产经

技术新进展!谷歌AI部门宣布发现新技术以加速AI神经网络训练

分享到:
 Winnie Lee • 2019-07-16 16:16:18 来源:前瞻网 E2072G0
100大行业全景图谱

565

谷歌的张量处理器(TPU)和英特尔的Nervana神经网络处理器等人工智能加速器硬件有望加速人工智能模型训练,但由于芯片的架构方式,训练管道的早期阶段(如数据预处理)并没有从提升中受益。

这就是为什么近日Google Brain (谷歌的人工智能研究部门)的科学家在一篇论文中提出了一种名为“数据响应”(data echoing)的技术。

TPU、Nervana与神经网络

TPU是一种高速定制机器学习芯片,最初是在2016年5月由该公司进行的 I/O 开发者大会上推出的。搜索、街景、照片、翻译,这些Google提供的服务,都使用了Google的TPU(张量处理器)来加速背后的神经网络计算。

据称,TPU与同期的CPU和GPU相比,可以提供15-30倍的性能提升,以及30-80倍的效率(性能/瓦特)提升。

TPU设计封装了神经网络计算的本质,可以针对各种神经网络模型进行编程。

英特尔则于今年1月的CES 2019展会上发布了Nervana系列神经网络处理器的最新型号NNP-I,这种芯片适用于企业级高负载推理任务的加速,计划于今年投入生产。

英特尔推出的Nervana神经网络处理器据称可以在训练任务上达到其竞争对手GPU的十倍速度。

Facebook是英特尔的合作伙伴之一,而7月3日,英特尔还宣布将与百度合作开发英特尔Nervana神经网络训练处理器(NNP-T)。这一合作将全新定制化加速器,以实现极速训练深度学习模型的目的。

数据响应技术

研究人员表示,这种目前性能最好的数据响应算法可以使用较少的上游处理来匹配基线的预测性能,在某些情况下,可以抵消4倍慢的输入管道。

“训练一个神经网络需要的不仅仅是在加速器上运行良好的操作,所以我们不能仅仅依靠加速器的改进来在所有情况下保持加速。”合著者表示。

一个神经网络训练计划可能需要读取和解压培训数据,对其进行清洗、批处理,甚至对其进行转换或扩充。

这些步骤可以使用到多个系统组件,包括cpu、磁盘、网络带宽和内存带宽。

在典型的训练环节中,人工智能系统首先读取和解码输入数据,然后对数据进行重组,应用一组转换对其进行扩充,然后将示例收集到批次中,并迭代更新参数以减少错误。

研究人员的数据响应技术是在管道中插入一个阶段,该阶段在参数更新之前重复前一个阶段的输出数据,理论上可以回收空闲的计算能力。

在实验中,团队使用在开源数据集上训练的AI模型,评估了两个语言建模任务、两个图像分类任务和一个目标检测任务上的数据响应。

他们将训练时间作为达到目标指标所需的“新鲜”训练示例的数量来衡量,并研究了数据响应是否能够减少所需的示例数量。

合著者报告说,除了一种情况外,所有情况下,与基线相比,数据响应所需的新例子都更少,而且训练也更少。

此外,他们注意到前面的响应被插入到训练环节中——即,在数据增强之前,与成批处理后相比,需要的新示例更少,并且在较大的批处理大小下,响应的性能偶尔更好。

该团队写道:“当训练管道在上游某个阶段遇到瓶颈时,所有的数据响应变量都至少达到了与基线相同的性能……(这)是一种提高硬件利用率的简单策略。”

“数据响应是优化训练管道或增加额外工人来执行上游数据处理的有效替代方案,而这可能并不总是可行或可取的。”

此前,谷歌的神经网络还有过很多别的应用。麻省理工学院和谷歌人工智能实验室的研究人员提出了一种自动破译失传文字的神经网络算法。这一算法首次实现了古希腊迈锡尼文明时期“线形文字B”的自动翻译,准确地把67.3% 的线形文字B同源词翻译成了希腊语。

谷歌还训练过两个神经网络,意图在嘈杂的环境里分离出目标人声。

相关深度报告 REPORTS

2024-2029年中国人工智能芯片(AI芯片)行业发展前景预测与投资战略规划分析报告
2024-2029年中国人工智能芯片(AI芯片)行业发展前景预测与投资战略规划分析报告

本报告前瞻性、适时性地对AI芯片行业的发展背景、供需情况、市场规模、竞争格局等行业现状进行分析,并结合多年来AI芯片行业发展轨迹及实践经验,对AI芯片行业未来的发展...

查看详情

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33069875 或 hezuo@qianzhan.com

p39 q0 我要投稿

分享:

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人微信二维码

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院微信二维码

前瞻产业研究院

如何抓准行业的下一个风口?未来5年10年行业趋势如何把握?扫一扫立即关注。

前瞻经济学人 让您成为更懂趋势的人

想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:

  • 10000+ 行业干货 免费领取
  • 500+ 行业研究员 解答你的问题
  • 1000000+ 行业数据 任君使用
  • 365+ 每日全球财经大事 一手掌握
  • 下载APP

  • 关注微信号

前瞻数据库
企查猫
前瞻经济学人App二维码

扫一扫下载APP

与资深行业研究员/经济学家互动交流让您成为更懂趋势的人

下载APP
前瞻经济学人APP

下载前瞻经济学人APP

关注我们
前瞻经济秀人微信号

扫一扫关注我们

我要投稿

×
J