我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python Pytorch深度学习之图像分类器

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python Pytorch深度学习之图像分类器

一、简介

通常,当处理图像、文本、语音或视频数据时,可以使用标准Python将数据加载到numpy数组格式,然后将这个数组转换成torch.*Tensor

  • 对于图像,可以用Pillow,OpenCV
  • 对于语音,可以用scipy,librosa
  • 对于文本,可以直接用Python或Cython基础数据加载模块,或者用NLTK和SpaCy

特别是对于视觉,Pytorch已经创建了一个叫torchvision的package,该报包含了支持加载类似Imagenet,CIFAR10,MNIST等公共数据集的数据加载模快torchvision.datasets和支持加载图像数据数据转换模块torch.utils.data.DataLoader。这提供了极大地便利,并避免了编写“样板代码”

二、数据集

对于本小节,使用CIFAR10数据集,它包含了是个类别:airplane,automobile,bird,cat,deer,dog,frog,horse,ship,truck。CIFAR10中的图像尺寸是33232,也就是RGB的3层颜色通道,每层通道内的尺寸为32*32

三、训练一个图像分类器

训练图像分类器的步骤

  • 使用torchvision加载并且归一化CIFAR10的训练和测试数据集
  • 定义一个卷积神经网络
  • 定义一个损失函数
  • 在训练样本数据上训练网络
  • 在测试样本数据上测试网络

1、导入package吧


# 使用torchvision,加载并归一化CIFAR10
import torch
import torchvision
import torchvision.transforms as transforms

2、归一化处理+贴标签吧


# torchvision数据集的输出是范围在[0,1]之间的PILImage,将他们转换成归一化范围为[-1,1]之间的张量Tensor
transform=transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))]
    )
# 训练集
trainset=torchvision.datasets.CIFAR10(root='./data',train=True,download=False,transform=transform)
trainloader=torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=2)
# 测试集
testset=torchvision.datasets.CIFAR10(root='./data',train=False,download=False,transform=transform)
testloader=torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=2)
classes=("plane","car","bird","cat","deer","dog","frog","horse","ship","truck")

3、先来康康训练集中的照片吧


# 展示其中的训练照片
import matplotlib.pyplot as plt
import numpy as np
# 定义图片显示的function
def imshow(img):
    img=img/2+0.5
    npimg=img.numpy()
    plt.imshow(np.transpose(npimg,(1,2,0)))
    plt.show()
# 得到随机训练图像
dataiter=iter(trainloader)
images,labels=dataiter.next()
# 展示图片
imshow(torchvision.utils.make_grid(images))
#打印标签labels
print(' '.join("%5s"%classes[labels[j]] for j in range(4)))

运行结果

在这里插入图片描述

在这里插入图片描述

注:初学的猿仔们如果Spyder不显示图片,自己设置一下就OK,在Tools——>Preferences中设置如下:

在这里插入图片描述

4、定义一个神经网络吧

此处,复制前一节的神经网络(在这里),并修改为3通道的图片(之前定义的是1通道)


#%%
# 定义卷积神经网络
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        # 1个输入,6个输出,5*5的卷积
        # 内核
        self.conv1=nn.Conv2d(3,6,5)#定义三个通道
        self.pool=nn.MaxPool2d(2,2)
        self.conv2=nn.Conv2d(6,16,5)
        # 映射函数:线性——y=Wx+b
        self.fc1=nn.Linear(16*5*5,120)#输入特征值:16*5*5,输出特征值:120
        self.fc2=nn.Linear(120,84)
        self.fc3=nn.Linear(84,10)
    def forward(self,x):
        x=self.pool(F.relu(self.conv1(x)))
        x=self.pool(F.relu(self.conv2(x)))
        x=x.view(-1,16*5*5)
        x=F.relu(self.fc1(x))
        x=F.relu(self.fc2(x))
        x=self.fc3(x)
        return x
net=Net()

Tips:在Spyder中可用使用“#%%”得到cell块,之后对每个cell进行运行,快捷键(Ctrl+Enter)——>我太爱用快捷键了,无论是什么能用键盘坚决不用鼠标(是真的懒吧!!!)

5、定义一个损失函数和优化器吧

使用分类交叉熵Cross-Entropy做损失函数,动量SGD做优化器


#%%
# 定义一个损失函数和优化器
import torch.optim as optim
criterion=nn.CrossEntropyLoss()
optimizer=optim.SGD(net.parameters(), lr=0.001,momentum=0.9)

6、训练网络吧

此处只需要在数据迭代器上循环输入网络和优化器


#%%训练网络
for epoch in range(2):
    running_loss=0.0
    for i,data in enumerate(trainloader,0):
        #得到输入
        inputs,labels=data
        # 将参数的梯度值置零
        optimizer.zero_grad()
        #反向传播+优化
        outputs=net(inputs)
        loss=criterion(outputs,labels)
        loss.backward()
        optimizer.step()
        #打印数据
        running_loss+=loss.item()
        if i% 2000==1999:
            print('[%d,%5d] loss: %.3f'%(epoch+1,i+1,running_loss/2000))#每2000个输出一次
print('Finished Training')

运行结果

在这里插入图片描述

7、在测试集上测试一下网络吧

已经通过训练数据集对网络进行了两次训练,但是我们需要检查是否已经学到了东西。将使用神经网络的输出作为预测的类标来检查网络的预测性能,用样本的真实类标校对,如过预测正确,将样本添加到正确预测的列表中


#%%
#在测试集上显示
outputs=net(images)
# 输出是预测与十个类的相似程度,与某一个类的近似程度越高,网络就越认为图像是属于这一类别
# 打印其中最相似类别类标
_, predictd=torch.max(outputs,1)
print('Predicted:',' '.join('%5s'% classes[predictd[j]]
                            for j in range(4)))

运行结果

在这里插入图片描述

把网络放在整个数据集上看看具体表现


#%% 结果看起来还好55%,看看网络在整个数据集的表现
correct=0
total=0
with torch.no_grad():
    for data in testloader:
        images,labels=data
        outputs=net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted==labels).sum().item()
print('Accuracy of the network on the 10000 test images:%d %%' % (
    100*correct/total))

运行结果

在这里插入图片描述

8、分别查看一下训练效果吧


#%%分类查看
class_correct=list(0. for i in range(10))
class_total=list(0. for i in range(10))
with torch.no_grad():
    for data in testloader:
        images,labels=data
        outputs=net(images)
        _, predictd=torch.max(outputs,1)
        c=(predictd==labels).squeeze()
        for i in range(4):
            label=labels[i]
            class_correct[label]+=c[i].item()
            class_total[label]+=1
            
for i in range(10):
    print('Accuracy of %5s:%2d %%'% (classes[i],100*class_correct[i]/class_total[i]))

运行结果

在这里插入图片描述

总结

本篇文章就到这里了,希望能够给你带来帮助,也希望您能够多多关注编程网的更多内容!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python Pytorch深度学习之图像分类器

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Python深度学习之Pytorch初步使用

目录一、Tensor二、Pytorch如何创建张量2.1 创建张量2.2 tensor与ndarray的关系2.3 常用api2.4 常用方法三、数据类型3.1 获取数据类型四、tensor的其他操作4.1 相加4.2 tensor与数字的
2022-06-02

Python深度学习之使用Pytorch搭建ShuffleNetv2

一、model.py 1.1 Channel Shuffledef channel_shuffle(x: Tensor, groups: int) -> Tensor:batch_size, num_channels, height, wi
2022-06-02

Python深度学习之图像标签标注软件labelme详解

前言 labelme是一个非常好用的免费的标注软件,博主看了很多其他的博客,有的直接是翻译稿,有的不全面。对于新手入门还是有点困难。因此,本文的主要是详细介绍labelme该如何使用。 一、labelme是什么? labelme是图形图像注
2022-06-02

Python机器学习之基于Pytorch实现猫狗分类

目录一、环境配置二、数据集的准备三、猫狗分类的实例四、实现分类预测测试五、参考资料一、环境配置 安装Anaconda具体安装过程,请点击本文 配置Pytorchpip install -i https://pypi.tuna.tsinghu
2022-06-02

Python PyTorch:人工智能与深度学习的利器

Python PyTorch是人工智能和深度学习领域的利器,凭借其简洁直观的操作方式和强大而灵活的计算库,它已成为众多开发者的首选。
Python PyTorch:人工智能与深度学习的利器
2024-02-02

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录