我的编程空间,编程开发者的网络收藏夹
学习永远不晚

大规模参数服务器上的神经网络训练优化——Facebook 研究团队进展报告

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

大规模参数服务器上的神经网络训练优化——Facebook 研究团队进展报告

作者:禅与计算机程序设计艺术

1.简介

随着深度学习在图像、自然语言处理等领域的广泛应用,其模型的规模也越来越大,训练所需要的时间也越来越长。为了加快训练速度,参数服务器(Parameter Server)模式被提出,将神经网络训练过程中的参数分配到多个计算机上,并通过统一的管理器进行调度和通信,从而减少了不同机器之间的通信开销,加快了训练过程。但是,由于参数服务器模式的数据集并行的方式,导致在训练时需要对不同batch的数据进行划分,因此需要对训练脚本进行改造,增加数据集并行的功能。本文详细介绍Facebook AI研究院所做的大规模参数服务器上神经网络训练优化相关的工作。

2.背景介绍

参数服务器(Parameter Server)模式是在Facebook AI实验室开发出的一种分布式并行训练模式。该模式将神经网络训练过程中的参数分配到多个计算机上,并通过统一的管理器进行调度和通信,从而减少了不同机器之间的通信开销,加快了训练过程。该模式的优点主要有以下几点:

  1. 可以利用多台机器的计算能力,加速训练过程;

  2. 使用参数服务器可以实现在线学习,即在不停止训练的情况下,可以继续添加新的数据并进行训练;

  3. 参数服务器模式下,可以有效避免不同机器之间的数据同步延迟,因此训练过程更稳定;

  4. 在参数服务器模式下,各个worker只负责更新自己的梯度,因此通信效率高。

使用参数服务器模式能够显著地加速深度学习模型的训练过程,但是这种模式也带来一些新的挑战。比如,在参

来源地址:https://blog.csdn.net/universsky2015/article/details/133004565

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

大规模参数服务器上的神经网络训练优化——Facebook 研究团队进展报告

下载Word文档到电脑,方便收藏和打印~

下载Word文档

编程热搜

目录