减少碳排放,MIT开发出能提高能源效率的AI系统

收米棋牌 来源:收米棋牌 2020-10-17 15:20

人工智能给人类带来便利的同时,它的环境可持续问题一直备受关注。

了人工智能模型的部署阶段,碳排放的问题会变得更加严重。因为系统需要部署在不同的硬件平台,每个硬件平台又具备不同的属性和计算资源

为了改变这样的情况,来自麻省理工学院的研究人员开发了一种新的自动化AI系统,可用于训练和运行某些神经网络。结果表明,用某些关键方法提高系统的计算效率,系统可以减少碳排放。

收米棋牌研究人员将这套系统称为“once-for-all”(一次就好)网络,它可以训练一个大型神经网络,其中包含许多不同大小的预训练子模型。每个子模型都可以在推理时独立运行而无需重新训练,并且系统会根据目标硬件的功率和速度,折衷相关的精度和等待时间,来确定最佳子模型。例如,对于智能手机,系统会选择更大的子模型,但根据各个电池的寿命和计算资源,其子网结构又会有所不同。研究人员称,这套系统在训练时只大约只需当今流行的模型搜索技术的1 / 1300的碳排放量。

“我们的目标是建立更小,更绿色的神经网络。”MIT电气工程和计算机科学系的助理教授Song Han表示: “到目前为止,搜索有效的神经网络架构都需要大量的碳足迹。但是,通过新方法,我们将碳排放减少了几个数量级。”

据Song Han介绍,关于这套系统的论文将会在下周发表,其他研究者还包括来自EECS,MIT-IBM Watson AI Lab和上海交通大学的四名本科生和研究生。

那么,他们的方法具体是如何做到减少计算所带来的的碳排放的?研究员表示,主要在于他们采用了“渐进式收缩”的算法,可以有效地训练大模型,又同时支持所有子模型。这个算法首先会训练大型模型,然后在大型模型的帮助下训练较小的子模型,以便它们可以同时学习。最后,当所有子模型都训练完成后,就可以根据平台的功率和速度限制进行快速专业化的计算。添加新设备时,它可以以零培训成本支持许多硬件设备。

在实验中,研究人员发现,用他们的方法训练一个包含超过10万亿个架构设置的计算机视觉模型,比花费数小时训练每个子网络要有效得多。此外,这套系统不会影响模型的准确性或效率。在ImageNet上进行测试时,该模型在移动设备上得到了最好的准确性,并且在推理方面比领先的分类系统快1.5到2.6倍。

研究成员之一,IBM研究员兼MIT-IBM Watson AI实验室John Cohn认为:“如果要继续保持AI的快速发展,我们需要减少对环境的影响。开发使AI模型更小,更高效的方法,好处在于这些模型可能还会表现更好。”

下一篇:上收米棋牌线「超级团购」,美团要把高星酒店重做一遍
上一篇:苏培科:社交电商模式管理要跟上,否则会砸了自己的“碗”
相关文章
评论
返回顶部小火箭