人工智对于电力有巨大需求
懒人小魔法师
2024-04-23 23:56
为什么人工智对于电力有巨大需求?中国人工智能发展迅猛,中国政府也高度重视人工智能领域的发展。预计到2020年,中国人工智能产业规模将超过1500亿元,带动相关产业规模超过1万亿元。2017年全球新兴人工智能项目中,中国占据51%,数量上已经超越美国。但全球人工智能人才储备,中国却只有5%左右,人工智能的人才缺口超过500万。
当今的人工智能(AI)系统离复制真正的人类智能还很远。但是,他们在识别数据模式和挖掘见解方面肯定会做得更好,在某种程度上要比我们更好。目前,人工智能模型可以识别图像,通过聊天机器人与人交谈,驾驶自动驾驶汽车,甚至在国际象棋中赢得了我们的青睐。但是,您知道吗,训练和构建这些模型所涉及的能源和功耗非常惊人?换句话说,训练人工智能是高碳足迹的高能耗过程。
因此,减少这种能源消耗将对环境产生积极的连锁影响。此外,它还将为企业带来其他好处,例如减少其碳足迹并更接近与碳有关的目标。在继续建设节能人工智能或绿色人工智能之前,我们必须了解为什么人工智能如此耗电?
训练神经网络
以一个神经网络模型为例。神经网络是一种强大的机器学习类型,它通过镜像人脑来进行自我建模。由节点层组成的神经网络试图通过模仿人的大脑功能来识别数据集中的潜在关系。每个节点相互连接,并具有关联的权重和阈值。假设节点的输出值高于指定的阈值,则表明该节点已激活并准备将数据中继到神经网络的下一层。
神经网络的训练包括运行前向通过,其中输入通过它,并在处理输入后生成输出。然后,后向遍历涉及使用前向遍历中接收的错误,通过需要大量矩阵操纵的梯度下降算法来更新神经网络的权重。
2019年6月,来自马萨诸塞州大学阿默斯特分校的一组研究人员发表了一篇关于他们的研究的论文,他们在其中评估了训练四个大型神经网络所需的能源消耗。这些神经网络包括:Transformer、ELMo、BERT和GPT-2,它们分别在单个GPU上进行了一天的训练,并测量了整个过程的能耗。
这些神经网络之一,即BERT使用了来自英语书籍和维基百科文章的33亿个单词。根据KateSaenko的《对话》一文,BERT在训练阶段不得不读取大约40次此庞大的数据集。为了进行比较分析,她提到一个五岁的普通孩子学会说话,到这个年龄可能会听到4500万个单词,比BERT少3000倍。
在马萨诸塞大学阿默斯特分校的研究中,研究人员发现,对BERT进行训练曾经使一名乘客在纽约和旧金山之间往返旅行时产生了碳足迹。该团队通过将该数字乘以每个模型的原始开发人员报告的总训练时,间来计算出训练每个模型的总功耗。碳足迹是根据美国电力生产中使用的平均碳排放量计算的。
实验研究还包括培训和开发称为神经建筑搜索的调整过程。该技术涉及通过耗费大量精力的反复试验过程使神经网络的设计自动化。此额外的调整步骤用于提高BERT的最终精度,估计产生了626,155吨的二氧化碳,大约等于五辆汽车的总寿命碳足迹。相比之下,美国人平均每年会产生18.078吨的二氧化碳排放量。
GPU饥饿
借助如今强大的GPU(图形处理单元),人工智能的发展成为可能。这些GPU通常会消耗大量电能。根据NVIDIA的说法,GPU耗散的最大功率等于250W,是IntelCPU的2.5倍。同时,研究人员认为拥有更大的人工智能模型可以带来更好的准确性和性能。这与游戏笔记本电脑的性能相似,尽管游戏笔记本电脑的功能比普通笔记本电脑高,但由于性能高而变得更快。如今,人们可以在几分钟内租用具有数十个CPU和强大GPU的在线服务器,并快速开发强大的人工智能模型。
根据位于旧金山的人工智能研究实验室OpenAI的研究,从机器学习发展的早期到2012年,该技术所需的计算资源数量每两年翻一番(这与摩尔的处理器能力增长定律相提并论)。但是,2012年之后,构建一流模型的计算能力轨迹平均每3.4个月翻一番。这意味着新的计算要求会转化为人工智能带来的负面环境影响。
现在,专家们还认为,构建大规模的人工智能模型并不一定意味着在性能和准确性方面会有更好的ROI。因此,公司可能必须在准确性和计算效率之间进行权衡。
尖峰神经网络
美国橡树岭国家实验室的一个研究小组之前已经展示了一种有前途的方法,可以通过将深度学习神经网络转换为尖峰神经网络(SNN)来提高人工智能能源效率。SNN复制了大脑的神经触发机制,因此具有大脑的许多功能,例如能量效率和时空数据处理。美国橡树岭国家实验室团队通过引入随机过程来加深深度加标神经网络(DSNN),该过程增加了诸如贝叶斯深度学习之类的随机值。贝叶斯深度学习是通过将随机值引入神经网络来模仿大脑如何处理信息的尝试。通过这一动作,研究人员可以知道在哪里执行必要的计算,从而降低能耗。
目前,SNN被吹捧为神经网络的下一个迭代,也是神经形态计算的基础。去年,荷兰国家数学和计算机科学国家研究中心(CWI)的研究人员以及荷兰埃因霍温的IMEC/Holst研究中心的研究人员已经成功开发了一种用于加标神经网络的学习算法。
以培养掌握人工智能理论与工程技术的专门人才为目标,学习机器学习的理论和方法、深度学习框架、工具与实践平台、自然语言处理技术、语音处理与识别技术、视觉智能处理技术、国际人工智能专业领域最前沿的理论方法,培养人工智能专业技能和素养,构建解决科研和实际工程问题的专业思维、专业方法和专业嗅觉。
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
人工智对于电力有巨大需求
下载Word文档到电脑,方便收藏和打印~
猜你喜欢
人工智对于电力有巨大需求
人工智能将给电力行业带来巨大变革
编程热搜
人工智能你要知道的那些事
编程学习网:早在1g时代我们只能接打电话。2g时代可以打电话发短信,玩早期的qq,但网络十分不稳定。3g时代带给我们很大的改变就是宽带上网,视频通话,看视频,听歌玩游戏。那时的人们认为4g无用,认为不会有什么改变,但当4g出来时我们才发现这是一次质的飞跃。人工智能无人机管制到底有多难?
编程学习网:近日,一段“重庆网红列车遭无人机撞击逼停”的视频,在网络热传。人工智能与人类
欢迎各位阅读本篇,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本篇文章讲述了人工智能与人类,编程学习网教育平台提醒各位:本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!两小时 Elasticsearch 性能优化,直接把慢查询干团灭了……
公共集群的机器负载分布不均衡的问题,业务的查询和流量不可控等各种各样的问题,要节省机器资源就一定会面对这种各种各样的问题,除非土豪式做法,每个业务都拥有自己的机器资源,这里面有很多很多颇具技术挑战的事情。关于OpenStack的架构详细讲解
欢迎各位阅读本篇文章,OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。本篇文章讲述了关于OpenStack的架构详细讲解,编程学习网教育平台提醒各位:本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!AI &神经网络
欢迎各位阅读本篇,本篇文章讲述了AI &神经网络,人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。神经网络内容丰富,反映了当前国内外该领域的最新研究成果和动向,编程学习网教育平台提醒各位:本篇文章纯干货~因此大家一定要认真阅读本篇文章哦!人工智能对于网络安全的优缺点
编程学习网:如今,产生的数据比以往任何时候都要多。由于数据分析工具的发展,各行各业的组织都更加重视大数据的收集和存储。Bash 初学者系列 7:bash 中的条件语句(if else)
今天我们介绍一下如何在 bash 中使用条件语句。人工智能机器学习的重要趋势是什么?
编程学习网:在竞争日益激烈的技术市场中,从高科技初创公司到全球跨国公司都将人工智能视为关键竞争优势。但是,人工智能行业发展如此之快,以至于很难跟踪最新的研究突破和成就,甚至很难应用科学成果来实现业务成果。人工智能为什么会觉得Matplotlib用起来困难?
编程学习网:Matplotlib是一个流行的Python库,可以很容易地用于创建数据可视化。
编程资源站
- 资料下载
- 历年试题