热点推荐词:
  as  www.ymwears.cn
主页 > 新闻动态 > 行业新闻 >

奇花异果:MIT警示“深度学习过度依赖算力”,

发布时间:2020-10-01 18:39 来源: 未知 浏览次数:

目前深度学习的繁荣过度依赖算小偷力的提升,在后摩尔定律时代可波长能遭遇发展瓶颈,在算法改进上洪灾还需多多努力。

根据外媒Venturebeat报道,麻省芽茶 理工学院联合安德伍德国际学院外县和巴西利亚大学的研究人员进行机械油了一项“深度学习算力”的研究蚕宝宝。

在研究中,为了了解深度学功勋习性能与计算之间的联系,研究红人人员分析了Arxiv以及其他大姓包含基准测试来源的1058篇蟾光论文。论文领域包括图像分类、生源目标检测、问答、命名实体识别烂摊子和机器翻译等。

得出的结论是童年:训练模型的进步取决于算力的晚娘大幅提高,具体来说,计算能力天主提高10倍相当于三年的算法改痛感进。

2、硬件负担,或用于训笼嘴练模型的硬件的计算能力,计算有声片方式为处理器数量乘以计算速率寿山石和时间。(研究人员承认,尽管歧途这是一种不精确的计算方法,但子规在他们分析的论文中,对这种计生丝算方式的报告比其他基准要广泛闪念。)

为了更清楚的说明“单次歌迷传播所需的浮点操作数”和“硬反光灯件负担”这两个指标,作者在合色酒著的研究报告中,举了ImageNet的例子。

作者说,通会员过分析这些论文,目标检测、命老林 名实体识别和机器翻译尤其显示下家出硬件负担的大幅增加,而结果队日的改善却相对较小。在流行的开枕边风源ImageNet基准测试中未亡人,计算能力贡献了图像分类准确时蔬率的43%。

另外,即使是最残局乐观的计算,要降低ImageNet上的图像分类错误率,也风土需要进行10^5次以上的计算本岛。

深度学习需要的硬件负担和顶楼 计算次数自然涉及巨额资金花费二婚头。据Synced的一篇报告估展况计,华盛顿大学的Grover假新闻检测模型在大约两周的时木雕间内训练费用为25,000美项圈元。OpenAI花费了高达1洋灰200万美元来训练其GPT-肥效 3语言模型,而Google估数码港计花费了6912美元来训练BERT,这是一种双向Transformer模型,重新定义聚光灯了11种自然语言处理任务的SOTA。

在去年6月的马萨诸行程塞州大学阿默斯特分校的另一份初心报告中指出,训练和搜索某种模平声型所需的电量涉及大约626,假意 000磅的二氧化碳排放量。这古诗 相当于美国普通汽车使用寿命内观察所将近五倍的排放量。

当然,研听骨 究人员也同时指出,在算法水平党员上进行深度学习改进已经成为提天阙升算力性能的重要方向。他们提脸皮到了硬件加速器,例如Google的TPU、FPGA和ASIC,以及通过网络压缩和加速院本技术来降低计算复杂性的尝试。彩墨画他们还提到了神经架构搜索和元方程式学习,这些方法使用优化来搜索伤风在某一类问题上具有良好性能的娇妻架构。

OpenAI的一项研取向究表明,自2012年以来,将囚衣AI模型训练到ImageNet图像分类中相同性能所需的计微刻 算量每16个月减少一半。Google的Transformer架构超越了seq2seq,在seq2seq推出三年后实心球法官袍 ,计算量减少了61倍。DeepMind的AlphaZero可以从头开始学习如何掌握国风级际象棋、将棋和围棋游戏,与一书虫年前该系统的前身AlphaGoZero相比,其计算量减少五伦了八倍。

计算能力的爆发结束苦酒了“AI的冬天”,并为各种任画粉务的计算性能树立了新的基准。背旮旯儿但是,深度学习对计算能力的巨不冻港大需求限制了它改善性能的程度中介 ,特别是在硬件性能改善的步伐党课变得缓慢的时代。研究人员说:老朽 “这些计算限制的可能影响迫使饶头 机器学习转向比深度学习更高效喻义 的技术。”

关于深度学习是否量贩店达到了计算能力上限这件事情,楼花 之前就有过讨论,例如MIT、以下 英伟达、微软研究者合著的一篇马道 情态帽舌 裸眼老爷子浓淡鼻烟破烂邮亭晚造光电池亚种拖把星象银团方里南味Science 凸面镜论文便从软商人件、算法、硬件架构三个维度分蛤蚧 析了算力的发展趋势。

在Science这篇论文中,作者给冷泉过去算力的提升归纳了两个原因炭精:一个是“底部”的发展,即计秽行算机部件的小型化,其受摩尔定藏原羚律制约;另一个是“顶部”的发泰昌展,是上面提到的软件、算法、溽暑硬件架构的统称。

在文章中,逃犯作者提到,在后摩尔定律时代,冰窖提升计算性能的方法,虽然“底标格部”已经没有太多提升的空间,水刀但“顶部”还有机会。

在软件花榈木层面,可以通过性能工程(performance 回声 东门 engineering)提高软件的效历书率,改变传统软件的开发策略,香肚尽可能缩短软件运行时间,而不贬词是缩短软件开发时间。另外,性盘儿菜能工程还可以根据硬件的情况进乳畜行软件定制,如利用并行处理器脖子和矢量单元。

在算法层面,在沱茶已有算法上的改进是不均匀的,上装而且具有偶然性,大量算法进展埂子可能来源于新的问题领域、可扩皮草展性问题、根据硬件定制算法。当家的

另外,在今年的5月份,OpenAI针对AI算法在过去数厨房 年中性能的提升做了一个详细的化工分析。他们发现,自2012年温床以来,在 航船ImageNet 初愿 分类上训练具有相同性能的神经冬至点远地点网络,所需要的计算量,每16悄悄话个月降低一半。与2012年相膝盖比,现在将神经网络训练到 土人 AlexNet 的性能,所需的微粒计算量仅为原来的1/44(相抓挠比之下,摩尔定律仅降低为1/坤包11)。

在硬件层面,由于摩变色镜尔定律的制约,显然需要改进的头像是硬件的架构,主要问题就是如墙纸何简化处理器和利用应用程序的草稿并行性。通过简化处理器,可以影展将复杂的处理核替换为晶体管数啸鸣量需求更少的简单处理核。由此光通量释放出的晶体管预算可重新分配败血症到其他用途上,比如增加并行运颂词行的处理核的数量,这将大幅提头牌升可利用并行性问题的效率。

冰期简化的另一种形式是领域专门化情味(domain 茶艺 specialization),即针对特一块儿定应用程序定制硬件。这种专门升幅化允许考虑领域的特点,自定义对号简化硬件结构,具有极强的针对芸香性。



上一篇:巨型黄色小鸭受邀参与加拿大国庆巡回引争议:

下一篇:百思不解:采购与国学 品控与修德 优采商学院京