从算力到半导体供应链,硬件如何决定机器学习_为人处世
您当前位置:pc蛋蛋微信群号 > 励志 > 为人处世 >
上一篇:媒体谈"冰释前嫌"强奸案:保护是初衷 绝不能成借口 下一篇:错失过良机的多点Dmall,如今还能获得多少青睐?

从算力到半导体供应链,硬件如何决定机器学习

深度 | 从算力到半导体供应链硬件如何决定机器学习研究趋势

2018-09-26 12:42 来源:机器之心Synced 开发 /公司 /设计

原标题:深度 | 从算力到半导体供应链硬件如何决定机器学习研究趋势

选自arXiv

作者:Tim Hwang

参与:路、刘晓坤、张倩

今日,Andrej Karpathy 推荐了一篇有趣的论文,介绍了计算力、机器学习专用硬件架构和供应链的变化对机器学习模型研究方法以及人工智能未来的影响。机器之心重点节选了第二部分和第三部分,更多细节请参见原文。

从算力到半导体供应链,硬件如何决定机器学习

论文:COMPUTATIONAL POWER AND THE SOCIAL IMPACT OF ARTIFICIAL INTELLIGENCE

从算力到半导体供应链,硬件如何决定机器学习

论文链接:https://arxiv.org/ftp/arxiv/papers/1803/1803.08971.pdf

机器学习是一个计算过程,因此它与计算力紧密相关,也就是与承载机器智能算法的芯片和半导体紧密相关。最明显的是,计算力和计算架构决定了机器学习的训练和推断速度,从而影响该技术的发展进度。然而,这些关系远比上面描述的更加微妙:硬件决定了研究者和工程师在设计、开发机器学习模型时使用的方法。芯片的能耗等特性也决定了机器学习在现实世界中的应用。

从更广泛的角度来说,计算力也很重要,因为其具备特殊的地理影响。半导体通过复杂的国际供应链进行设计、装配及部署。市场结构和该领域公司之间的竞争影响着机器学习的发展。此外,从国家安全的角度来看,这些供应链也很重要,硬件成为对人工智能必备的基础器械有直接影响的政府工业和贸易政策竞技场。

本文旨在深入探讨计算力与机器学习发展之间的关系。更具体地说,本文要探索计算架构、机器学习方法和供应链的变化对人工智能未来的影响。为此,本文尝试理清这一底层硬件层与深远的社会影响及 AI 相关风险之间的特殊关系。一方面,这一探索凸显了硬件如何加剧对无处不在的监控、技术失业和地缘政治冲突的一系列担忧。另一方面,它也凸显了促进计算力发展在解决这些问题上可能发挥的重要作用。

第一部分将研究算力在机器学习发展中所起的作用,并指出在近期关于该技术社会影响的报告中,其影响被扁平化。第二部分将探讨机器学习硬件的专门化趋势,以及它对控制和隐私的影响。第三部分将讨论半导体供应链及其对机器学习地缘政治的影响。第四部分将介绍在机器学习工作流程中改变数据和算力之间平衡的研究进展,以及它对技术的经济影响。最后,我们将介绍硬件作为行动杠杆的潜在作用。

第一部分:机器学习和算力

以计算机视觉领域为例,该领域聚焦于提高机器从图像和视频中提取可理解特征的能力。20 世纪 90 年代和 21 世纪早期的「传统」方法聚焦于在人为定义的特定特征上运行算法执行图像处理和分类。相对地,神经网络可以自己学习用于分类的相关特征,而不需要在算法中进行预定义。

扩展算力和数据可用性改变了计算机视觉领域的实践方法。从数据方面来看,消费网络的增长产生了大量可用于机器学习系统训练的图像。包含 2 万类别、1400 万张标注图像的 ImageNet 数据集为研究者提供了图像处理研究的常用数据集。从 2000 年的每芯片 3700 万晶体管到 2009 年的每芯片 23 亿晶体管,算力在 21 世纪继续发展。这一趋势随着一类特殊的计算架构 GPU 的出现而持续增强。GPU 因其并行计算的特性尤其适用于神经网络。

基于自动学习特征和并行训练的特性,神经网络得以显著超越该领域的早期方法,ImageNet 大规模视觉识别挑战赛是这一过渡趋势的典型标志。自 2010 年举办以来,该挑战赛聚集了很多研究者在视觉识别任务上进行系统设计的竞争。从 2010 年到 2011 年,传统方法从未将误差率降到 25% 以下。由 Hinton 带领的团队在 2012 年开发的 AlexNet 首次实现了 25% 以下的识别准确率,有研究者称「ImageNet 2012 引发了 AI 大爆炸」。

第二部分:计算力专门化

更多

励志名言 名人名言 励志电影 励志歌曲 经典语录 励志签名 励志文章 励志故事 人生感悟 伤感日志 创业
Copyright © 2012-2020pc蛋蛋微信群号【进群请加微信号77728849】pc蛋蛋群,幸运28微信群,加拿大28微信群,pc蛋蛋加拿大28微信群,微信群大全免费提交微信群二维码,pc蛋蛋走势分析讨论微信群。 Power by DedeCms pc蛋蛋微信群号,加拿大28群-pc蛋蛋信誉平台 版权所有 | 百度地图 | 联系方式 | 广告服务