解决Pytorch中的神坑:关于model.eval的问题
短信预约 -IT技能 免费直播动态提醒
有时候使用Pytorch训练完模型，在测试数据上面得到的结果令人大跌眼镜。
这个时候需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在
那么在测试之前需要加入一行代码：
#model是实例化的模型对象
model = model.eval()表示将模型转变为evaluation（测试）模式，这样就可以排除BN和Dropout对测试的干扰。
因为BN和Dropout在训练和测试时是不同的：
对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致是相同的；而测试阶段往往是单个图像的输入，不存在mini-batch的概念。所以将model改为eval模式后，BN的参数固定，并采用之前训练好的全局的mean和std；
对于Dropout，训练阶段，隐含层神经元先乘概率P，再进行激活；而测试阶段，神经元先激活，每个隐含层神经元的输出再乘概率P。
如下图所示：
补充：pytorch中model.eval之后是否还需要model.train的问题
答案是：需要的
正确的写法是
for循环之后再开启train，
循环之后的评估model.eval之后就会再次回到model.train
以上为个人经验，希望能给大家一个参考，也希望大家多多支持编程网。
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
