我的编程空间,编程开发者的网络收藏夹
学习永远不晚

怎么在Pytorch中求模型准确率

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

怎么在Pytorch中求模型准确率

这篇文章给大家介绍怎么在Pytorch中求模型准确率,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

方法一:直接在epoch过程中求取准确率

简介:此段代码是LeNet5中截取的。

def train_model(model,train_loader):    optimizer = torch.optim.Adam(model.parameters())    loss_func = nn.CrossEntropyLoss()    EPOCHS = 5    for epoch in range(EPOCHS):        correct = 0        for batch_idx,(X_batch,y_batch) in enumerate(train_loader):            optimizer.zero_grad()            #这里是只取训练数据的意思吗,X_batch和y_batch是怎么分开的?            #答:X_batch和y_batch是一一对应的,只不过顺序打乱了,参考torch.utils.data.ipynb            output = model(X_batch.float())   #X_batch.float()是什么意思            loss = loss_func(output,y_batch)            loss.backward()            optimizer.step()                        # Total correct predictions            #第一个1代表取每行的最大值,第二个1代表只取最大值的索引             #这两行代码是求准确率的地方            predicted = torch.max(output.data,1)[1]            correct += (predicted == y_batch).sum()            #print(correct)            if batch_idx % 100 == 0:                print('Epoch :{}[{}/{}({:.0f}%)]\t Loss:{:.6f}\t Accuracy:{:.3f}'.format(epoch,batch_idx * len(X_batch),len(train_loader.dataset),100.*batch_idx / len(train_loader),loss.data.item(),float(correct*100)/float(BATCH_SIZE)*(batch_idx+1)))                if __name__ == '__main__':    myModel = LeNet5()    print(myModel)    train_model(myModel,train_loader)    evaluate(myModel,test_loader,BATCH_SIZE)

方法二:构建函数,然后在epoch中调用该函数

简介:此段代码是对Titanic(泰坦尼克号)数据分析截取。

怎么在Pytorch中求模型准确率

epochs = 10log_step_freq = 30 dfhistory = pd.DataFrame(columns = ['epoch','loss',metric_name,'val_loss','val_'+metric_name])print('Start Training...')nowtime = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')print('========='*8 + '%s'%nowtime) for epoch in range(1,epochs+1):        #1.训练循环    net.train()    loss_sum = 0.0    metric_sum = 0.0    step = 1        for step,(features,labels) in enumerate(dl_train,1):        #梯度清零        optimizer.zero_grad()                #正向传播求损失        predictions = net(features)        loss = loss_func(predictions,labels)        metric = metric_func(predictions,labels)                #反向传播求梯度        loss.backward()        optimizer.step()                #打印batch级别日志        loss_sum += loss.item()        metric_sum += metric.item()        if step%log_step_freq == 0:            print(('[Step = %d] loss: %.3f,' + metric_name+': %.3f %%')%(step,loss_sum/step,100*metric_sum/step))                #2,验证循环    net.eval()    val_loss_sum = 0.0    val_metric_sum = 0.0    val_step =1            for val_step,(features,labels) in enumerate(dl_valid,1):        #关闭梯度计算        with torch.no_grad():            pred = net(features)            val_loss = loss_func(pred,labels)            val_metric = metric_func(labels,pred)        val_loss_sum += val_loss.item()        val_metric_sum += val_metric.item()                #3,记录日志    info = (epoch,loss_sum/step,100*metric_sum/step,            val_loss_sum/val_step,100*val_metric_sum/val_step)    dfhistory.loc[epoch-1] = info            #打印epoch级别日志    print(('\nEPOCH = %d,loss = %.3f,' + metric_name+\            '=%.3f %%,val_loss = %.3f'+' val_'+metric_name+'= %.3f %%')%info)    nowtime = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')    print('\n'+'=========='*8 + '%s'%nowtime)print('Finishing Training...')

补充:Pytorch实现Top1准确率和Top5准确率

之前一直不清楚Top1和Top5是什么,其实搞清楚了很简单,就是两种衡量指标,其中,Top1就是普通的Accuracy,Top5比Top1衡量标准更“严格”,

具体来讲,比如一共需要分10类,每次分类器的输出结果都是10个相加为1的概率值,Top1就是这十个值中最大的那个概率值对应的分类恰好正确的频率,而Top5则是在十个概率值中从大到小排序出前五个,然后看看这前五个分类中是否存在那个正确分类,再计算频率。

Pytorch实现如下:

def evaluteTop1(model, loader):    model.eval()        correct = 0    total = len(loader.dataset)    for x,y in loader:        x,y = x.to(device), y.to(device)        with torch.no_grad():            logits = model(x)            pred = logits.argmax(dim=1)            correct += torch.eq(pred, y).sum().float().item()        #correct += torch.eq(pred, y).sum().item()    return correct / totaldef evaluteTop5(model, loader):    model.eval()    correct = 0    total = len(loader.dataset)    for x, y in loader:        x,y = x.to(device),y.to(device)        with torch.no_grad():            logits = model(x)            maxk = max((1,5))        y_resize = y.view(-1,1)            _, pred = logits.topk(maxk, 1, True, True)            correct += torch.eq(pred, y_resize).sum().float().item()    return correct / total

注意:

y_resize = y.view(-1,1)是非常关键的一步,在correct的运算中,关键就是要pred和y_resize维度匹配,而原来的y是[128],128是batch大小;

pred的维度则是[128,10],假设这里是CIFAR10十分类;因此必须把y转化成[128,1]这种维度,但是不能直接是y.view(128,1),因为遍历整个数据集的时候,

最后一个batch大小并不是128,所以view()里面第一个size就设为-1未知,而确保第二个size是1就行

补充:topk函数的具体用法

pytorch -- topk()

torch.topk(input, k, dim=None, largest=True, sorted=True, out=None) -> (Tensor, LongTensor)

pytorch中文官网文档

沿给定dim维度返回输入张量input中 k 个最大值。

如果不指定dim,则默认为input的最后一维。

如果为largest为 False ,则返回最小的 k 个值。

返回一个元组 (values,indices),其中indices是原始输入张量input中测元素下标。

如果设定布尔值sorted 为_True_,将会确保返回的 k 个值被排序。

参数

input (Tensor) – 输入张量

k (int) – “top-k”中的k

dim (int, optional) – 排序的维

largest (bool, optional) – 布尔值,控制返回最大或最小值

sorted (bool, optional) – 布尔值,控制返回值是否排序

out (tuple, optional) – 可选输出张量 (Tensor, LongTensor) output buffer

实例

假设神经网络的输出如下,为二分类。batch_size=4

import torch output = torch.tensor([[-5.4783, 0.2298],                           [-4.2573, -0.4794],                           [-0.1070, -5.1511],                           [-0.1785, -4.3339]])

得到其top1值操作如下:

maxk = max((1,))  # 取top1准确率,若取top1和top5准确率改为max((1,5))_, pred = output.topk(maxk, 1, True, True)

topk参数中,maxk取得是top1准确率,dim=1是按行取值, largest=1是取最大值

结果如下,

_tensor([[ 0.2298],        [-0.4794],        [-0.1070],        [-0.1785]])
predtensor([[1],        [1],        [0],        [0]])

_是top1的值,pred是最大值的索引(size=4*1),一般会进行转置处理同真实值对比

pytorch的优点

1.PyTorch是相当简洁且高效快速的框架;2.设计追求最少的封装;3.设计符合人类思维,它让用户尽可能地专注于实现自己的想法;4.与google的Tensorflow类似,FAIR的支持足以确保PyTorch获得持续的开发更新;5.PyTorch作者亲自维护的论坛 供用户交流和求教问题6.入门简单

关于怎么在Pytorch中求模型准确率就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

怎么在Pytorch中求模型准确率

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

怎么在Pytorch中求模型准确率

这篇文章给大家介绍怎么在Pytorch中求模型准确率,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。方法一:直接在epoch过程中求取准确率简介:此段代码是LeNet5中截取的。def train_model(model
2023-06-15

parameter与buffer怎么在Pytorch模型中使用

本篇文章给大家分享的是有关parameter与buffer怎么在Pytorch模型中使用,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。第一种参数有两种方式我们可以直接将模型的成
2023-06-15

PyTorch中怎么进行模型的量化

在PyTorch中,可以使用torch.quantization模块来进行模型的量化。具体步骤如下:定义模型并加载预训练的模型参数。import torchimport torchvision.models as modelsmodel
PyTorch中怎么进行模型的量化
2024-03-05

使用PyTorch怎么多GPU中对模型进行保存

这篇文章将为大家详细讲解有关使用PyTorch怎么多GPU中对模型进行保存,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。多GPU下训练,创建模型代码通常如下:os.environ[CUDA_
2023-06-07

PyTorch中怎么进行模型评估和性能分析

在PyTorch中,可以使用torch.utils.data.DataLoader加载测试数据集,并调用模型的eval()方法进入评估模式。然后使用测试数据集对模型进行推理,并计算模型的性能指标,如准确率、损失值等。import torc
PyTorch中怎么进行模型评估和性能分析
2024-03-05

怎么在pytorch中查看数据类型和大小

本篇文章为大家展示了怎么在pytorch中查看数据类型和大小,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。问题描述:查看tensor数据大小时使用了data.shape(),报错:TypeError
2023-06-15

怎么在Pytorch模型中将读取的pth文件参数转换成numpy矩阵

怎么在Pytorch模型中将读取的pth文件参数转换成numpy矩阵?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Pytorch给了很方便的读取参数接口:nn.
2023-06-06

怎么在php7中开启强类型模式

怎么在php7中开启强类型模式?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。首先
2023-06-15

聊聊MVVM模型在Vue中怎么应用

我们知道每一个 Vue 应用都是从创建一个新的实例开始的,根据 Vue2 的官方文档我们可以得知 Vue 的设计是得到了 MVVM 模型 的启发,所以就有了在我们创建 Vue 实例时,文档中经常使用vm这个变量名来表示 Vue 实例。
2022-11-22

在Java中怎么利用蒙特卡洛算法求圆周率

在Java中怎么利用蒙特卡洛算法求圆周率?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。1946年,美国拉斯阿莫斯国家实验室的三位科学家John von Neum
2023-05-31

怎么在python中利用random模块求随机数

怎么在python中利用random模块求随机数?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。python主要应用领域有哪些1、云计算,典型应用OpenStac
2023-06-14

在浏览器中怎么实现训练模型

这篇“在浏览器中怎么实现训练模型”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“在浏览器中怎么实现训练模型”文章吧。识别鸢尾花
2023-07-02

怎么在Python中利用 Asyncio模块实现一个生产消费者模型

本文章向大家介绍怎么在Python中利用 Asyncio模块实现一个生产消费者模型的基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。Python主要用来做什么Python主要应用于:1、Web开发;2、数据科学研究
2023-06-06

Gemma模型在虚拟现实内容创作中怎么应用

Gemma模型可以在虚拟现实内容创作中应用于多个方面,例如:人物建模和动画:Gemma模型可以用于创建逼真的人物建模和动画,使虚拟现实场景更加生动和具有情感。环境设计和渲染:Gemma模型可以用于设计和渲染虚拟现实环境,从而创造出令人沉浸的
Gemma模型在虚拟现实内容创作中怎么应用
2024-05-23

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录