pytorch中如何使用model.eval()和BN层

这篇文章给大家分享的是有关pytorch中如何使用model.eval()和BN层的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

代码如下

class ConvNet(nn.module):    def __init__(self, num_class=10):        super(ConvNet, self).__init__()        self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),                                    nn.BatchNorm2d(16),                                    nn.ReLU(),                                    nn.MaxPool2d(kernel_size=2, stride=2))        self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),                                    nn.BatchNorm2d(32),                                    nn.ReLU(),                                    nn.MaxPool2d(kernel_size=2, stride=2))        self.fc = nn.Linear(7*7*32, num_classes)             def forward(self, x):        out = self.layer1(x)        out = self.layer2(out)        print(out.size())        out = out.reshape(out.size(0), -1)        out = self.fc(out)        return out

# Test the modelmodel.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)with torch.no_grad():    correct = 0    total = 0    for images, labels in test_loader:        images = images.to(device)        labels = labels.to(device)        outputs = model(images)        _, predicted = torch.max(outputs.data, 1)        total += labels.size(0)        correct += (predicted == labels).sum().item()

如果网络模型model中含有BN层，则在预测时应当将模式切换为评估模式，即model.eval()。

评估模拟下BN层的均值和方差应该是整个训练集的均值和方差，即 moving mean/variance。

训练模式下BN层的均值和方差为mini-batch的均值和方差，因此应当特别注意。

补充：Pytorch 模型训练模式和eval模型下差别巨大（Pytorch train and eval）附解决方案

当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大，这种差别经过逐层查看，主要来源于使用了BN，在eval下，使用的BN是一个固定的running rate，而在train下这个running rate会根据输入发生改变。

解决方案是冻住bn

def freeze_bn(m):    if isinstance(m, nn.BatchNorm2d):        m.eval()model.apply(freeze_bn)

这样可以获得稳定输出的结果。

pytorch的优点

1.PyTorch是相当简洁且高效快速的框架；2.设计追求最少的封装；3.设计符合人类思维，它让用户尽可能地专注于实现自己的想法；4.与google的Tensorflow类似，FAIR的支持足以确保PyTorch获得持续的开发更新；5.PyTorch作者亲自维护的论坛 供用户交流和求教问题6.入门简单

感谢各位的阅读！关于“pytorch中如何使用model.eval()和BN层”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！