A前瞻官网
前瞻网
a 当前位置: 前瞻网 » 资讯 » 产经

创纪录!Fast.ai和DIU在18分钟内完成ImageNet训练 成本仅需40美元

分享到:
 Evelyn Zhang • 2018-08-16 16:40:38 来源:前瞻网 E1676G0
100大行业全景图谱

据报道,来自德累斯顿国际大学(DIU)和Fast.ai的研究人员,在18分钟内用40美元成功训练了ImageNet,准确度达到93%。

前瞻经济学人

(图源:Anette von Kapri)

这是一个新的速度纪录,用于在公共基础设施上训练Imagenet达到这种准确性,并且比其专有TPU Pod群集上的谷歌DAWNBench纪录快40%。

这也意味着一个关键的里程碑——只需40美元,几乎所有人都可以在一个相当大的数据集上训练大规模神经网络。

前瞻经济学人

(以往的Imagenet训练结果)

DIU和fast.ai称将发布软件,允许任何人使用该项目中开发的最佳实践轻松地在AWS上训练和监控他们自己的分布式模型。

为了节省时间,团队开发了基础设施,可以轻松地在公共云上托管的机器上运行多个实验——他们使用了16个AWS云实例(每个实例使用8个英伟达V100 GPU)来运行fastai和PyTorch库,以获得最低计算成本。这使得个体研究人员能够以相对较低的成本将他们的系统与广泛使用的计算密集型benchmark进行对比。

许多组织使用复杂的分布式训练系统来进行大型计算,但fast.ai团队却在基础架构中使用最简单的方法实现了目标。“避免像Docker这样的容器技术,或像Horovod这样的分布式计算系统。我们没有使用具有单独的参数服务器、存储阵列、集群管理节点等的复杂集群架构,而只使用具有常规EBS存储卷的单个实例类型。”

前瞻经济学人

(图源:Fast.ai)

但是,在这种方法中,快速迭代仍然需要面临诸多挑战,比如:

如何在没有大量可持续运行的昂贵实例时,在多台机器上轻松运行多个实验?

如何便捷地利用AWS的EC2 Spot实例(比一般实例便宜70%)?每次使用该实例时都需要从零开始重新设置。

该团队的主要训练方法是:fast.ai用于分类任务的渐进式调整大小和矩形图像验证;英伟达的NCCL库,该库整合了PyTorch的all-reduce分布式模块;腾讯的权重衰减调整方法;谷歌大脑的动态批量大小的一个变体,学习率逐步预热(Goyal等人2018、Leslie Smith 2018)。该团队使用经典的 ResNet-50 架构和具备动量的SGD。

在调度程序上,他们使用了一个名为“nexus-scheduler”的系统来管理机器。Nexus-scheduler由前OpenAI和谷歌员工Yaroslav Butov建造,类似于谷歌的开源系统Kubernetes。

在代码改进方面,设计高效的基础设施的同时,Fast.ai还对传统的训练方法进行了一些巧妙的AI调整,以最大限度地提高训练效率,包括部署一个可以处理可变图像大小的训练系统,它可以对矩形图像进行裁剪和缩放,这样训练便可加速23%,且达 93%的准确度。

前瞻经济学人

(图源:Fast.ai)

fast.ai在DAWNBench竞赛中取得的主要进展是引入了渐进式图像尺寸调整来进行分类——在训练开始时使用小图像,随着训练的进行逐渐增加图像尺寸。采用这种做法,刚开始的时候模型非常不准确,但它可以很快看到大量图像并取得快速进展。这一新研究还一定程度上改变了批量大小,以更好地利用GPU RAM并避免网络延迟。

此类方法表明,个体或小团队能够轻松地利用容易获得的开源组件构建最佳系统,并以相对较低的成本在公有云上进行计算。这也意味着——更多的科学家可以进入人工智能领域,并进行大型实验来验证他们的方法。

据悉,nexus-scheduler将在8月25日进行首次官方发布。

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33069875 或 hezuo@qianzhan.com

p34 q0 我要投稿

分享:

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人微信二维码

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院微信二维码

前瞻产业研究院

如何抓准行业的下一个风口?未来5年10年行业趋势如何把握?扫一扫立即关注。

前瞻经济学人 让您成为更懂趋势的人

想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:

  • 10000+ 行业干货 免费领取
  • 500+ 行业研究员 解答你的问题
  • 1000000+ 行业数据 任君使用
  • 365+ 每日全球财经大事 一手掌握
  • 下载APP

  • 关注微信号

前瞻数据库
企查猫
前瞻经济学人App二维码

扫一扫下载APP

与资深行业研究员/经济学家互动交流让您成为更懂趋势的人

下载APP
前瞻经济学人APP

下载前瞻经济学人APP

关注我们
前瞻经济秀人微信号

扫一扫关注我们

我要投稿

×
J