怎么在PyTorch中设置随机数种子使结果可复现

本篇文章为大家展示了怎么在PyTorch中设置随机数种子使结果可复现，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

CUDNN

cudnn中对卷积操作进行了优化，牺牲了精度来换取计算效率。如果需要保证可重复性，可以使用如下设置:

from torch.backends import cudnncudnn.benchmark = False            # if benchmark=True, deterministic will be Falsecudnn.deterministic = True

不过实际上这个设置对精度影响不大，仅仅是小数点后几位的差别。所以如果不是对精度要求极高，其实不太建议修改，因为会使计算效率降低。

Pytorch

torch.manual_seed(seed)            # 为CPU设置随机种子torch.cuda.manual_seed(seed)       # 为当前GPU设置随机种子torch.cuda.manual_seed_all(seed)   # 为所有GPU设置随机种子

Python & Numpy

如果读取数据的过程采用了随机预处理(如RandomCrop、RandomHorizontalFlip等)，那么对python、numpy的随机数生成器也需要设置种子。

import randomimport numpy as nprandom.seed(seed)np.random.seed(seed)

Dataloader

如果dataloader采用了多线程(num_workers > 1), 那么由于读取数据的顺序不同，最终运行结果也会有差异。

也就是说，改变num_workers参数，也会对实验结果产生影响。

目前暂时没有发现解决这个问题的方法，但是只要固定num_workers数目（线程数）不变，基本上也能够重复实验结果。

补充：pytorch 固定随机数种子踩过的坑

1.初步固定

 def setup_seed(seed):     torch.manual_seed(seed)     torch.cuda.manual_seed_all(seed)     torch.cuda.manual_seed(seed)     np.random.seed(seed)     random.seed(seed)     torch.backends.cudnn.deterministic = True     torch.backends.cudnn.enabled = False     torch.backends.cudnn.benchmark = False     #torch.backends.cudnn.benchmark = True #for accelerating the running setup_seed(2019)

2.继续添加如下代码：

tensor_dataset = ImageList(opt.training_list,transform)def _init_fn(worker_id):     random.seed(10 + worker_id)    np.random.seed(10 + worker_id)    torch.manual_seed(10 + worker_id)    torch.cuda.manual_seed(10 + worker_id)    torch.cuda.manual_seed_all(10 + worker_id)dataloader = DataLoader(tensor_dataset,                                            batch_size=opt.batchSize,                         shuffle=True,                         num_workers=opt.workers,                    worker_init_fn=_init_fn)

3.在上面的操作之后发现加载的数据多次试验大部分一致了

但是仍然有些数据是不一致的，后来发现是pytorch版本的问题，将原先的0.3.1版本升级到1.1.0版本，问题解决

4.按照上面的操作后虽然解决了问题

但是由于将cudnn.benchmark设置为False，运行速度降低到原来的1/3，所以继续探索，最终解决方案是把第1步变为如下，同时将该部分代码尽可能放在主程序最开始的部分，例如：

import torchimport torch.nn as nnfrom torch.nn import initimport pdbimport torch.nn.parallelimport torch.nn.functional as Fimport torch.backends.cudnn as cudnnimport torch.optim as optimimport torch.utils.datafrom torch.utils.data import DataLoader, Datasetimport sysgpu_id = "3,2"os.environ["CUDA_VISIBLE_DEVICES"] = gpu_idprint('GPU: ',gpu_id)def setup_seed(seed):     torch.manual_seed(seed)     torch.cuda.manual_seed_all(seed)     torch.cuda.manual_seed(seed)     np.random.seed(seed)     random.seed(seed)     cudnn.deterministic = True     #cudnn.benchmark = False     #cudnn.enabled = Falsesetup_seed(2019)

pytorch的优点

1.PyTorch是相当简洁且高效快速的框架；2.设计追求最少的封装；3.设计符合人类思维，它让用户尽可能地专注于实现自己的想法；4.与google的Tensorflow类似，FAIR的支持足以确保PyTorch获得持续的开发更新；5.PyTorch作者亲自维护的论坛 供用户交流和求教问题6.入门简单

上述内容就是怎么在PyTorch中设置随机数种子使结果可复现，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注编程网行业资讯频道。