大规模参数服务器上的神经网络训练优化——Facebook 研究团队进展报告
作者:禅与计算机程序设计艺术
1.简介
随着深度学习在图像、自然语言处理等领域的广泛应用,其模型的规模也越来越大,训练所需要的时间也越来越长。为了加快训练速度,参数服务器(Parameter Server)模式被提出,将神经网络训练过程中的参数分配到多个计算机上,并通过统一的管理器进行调度和通信,从而减少了不同机器之间的通信开销,加快了训练过程。但是,由于参数服务器模式的数据集并行的方式,导致在训练时需要对不同batch的数据进行划分,因此需要对训练脚本进行改造,增加数据集并行的功能。本文详细介绍Facebook AI研究院所做的大规模参数服务器上神经网络训练优化相关的工作。
2.背景介绍
参数服务器(Parameter Server)模式是在Facebook AI实验室开发出的一种分布式并行训练模式。该模式将神经网络训练过程中的参数分配到多个计算机上,并通过统一的管理器进行调度和通信,从而减少了不同机器之间的通信开销,加快了训练过程。该模式的优点主要有以下几点:
可以利用多台机器的计算能力,加速训练过程;
使用参数服务器可以实现在线学习,即在不停止训练的情况下,可以继续添加新的数据并进行训练;
参数服务器模式下,可以有效避免不同机器之间的数据同步延迟,因此训练过程更稳定;
在参数服务器模式下,各个worker只负责更新自己的梯度,因此通信效率高。
使用参数服务器模式能够显著地加速深度学习模型的训练过程,但是这种模式也带来一些新的挑战。比如,在参
来源地址:https://blog.csdn.net/universsky2015/article/details/133004565
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341