我的编程空间,编程开发者的网络收藏夹
学习永远不晚

神经网络——Python实现BP神经网络算法(理论+例子+程序)

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

神经网络——Python实现BP神经网络算法(理论+例子+程序)

采用BP算法的多层感知器是至今为止应用最广泛的神经网络,在多层感知器的应用中,以图3-15所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网称为三层感知器,所谓三层包括了输入层、隐层和输出层。

神经网络——Python实现BP神经网络算法

神经网络——Python实现BP神经网络算法

算法最终结果采用梯度下降法,具体详细过程此处就省略了!

神经网络——Python实现BP神经网络算法

标准BP算法在调整权值时,只按t时刻误差的梯度降方向调整,而没有考虑t时刻以前的梯度方向,从而常使训练过程发生振荡,收敛缓慢。为了提高网络的训练速度,可以在权值调整公式中增加一动量项。若用W代表某层权矩阵,X代表某层输入向量,则含有动量项的权值调整向量表达式为

神经网络——Python实现BP神经网络算法

可以看出,增加动量项即从前一次权值调整量中取出一部分迭加到本次权值调整量中,α称为动量系数,一般有a∈ (0,1)。动量项反映了以前积累的调整经验,对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时,可减小振荡趋势,提高训练速度。目前,BP算法中都增加了动量项,以致于有动量项的BP算法成为一种新的标准算法。

这里为了运用算法,简要的举了一个例子(不需归一化或标准化的例子)

输入 X=-1:0.1:1;
输出 D=.....(具体查看代码里面的数据)

为了便于查看结果我们输出把结果绘制为图形,如下:

神经网络——Python实现BP神经网络算法

其中黄线和蓝线代表着训练完成后的输出与输入

# -*- coding: utf-8 -*-import mathimport stringimport matplotlib as mpl############################################调用库(根据自己编程情况修改)import numpy.matlib import numpy as npnp.seterr(divide='ignore',invalid='ignore')import matplotlib.pyplot as pltfrom matplotlib import font_managerimport pandas as pdimport random#生成区间[a,b]内的随机数def random_number(a,b):    return (b-a)*random.random()+a #生成一个矩阵,大小为m*n,并且设置默认零矩阵def makematrix(m, n, fill=0.0):    a = []    for i in range(m):        a.append([fill]*n)    return np.array(a) #函数sigmoid(),两个函数都可以作为激活函数def sigmoid(x):    #return np.tanh(x)    return (1-np.exp(-1*x))/(1+np.exp(-1*x))#函数sigmoid的派生函数def derived_sigmoid(x):    return 1-(np.tanh(x))**2    #return (2*np.exp((-1)*x)/((1+np.exp(-1*x)**2)))#构造三层BP网络架构class BPNN:    def __init__(self, num_in, num_hidden, num_out):        #输入层,隐藏层,输出层的节点数        self.num_in = num_in + 1  #增加一个偏置结点        self.num_hidden = num_hidden + 1   #增加一个偏置结点        self.num_out = num_out                #激活神经网络的所有节点(向量)        self.active_in = np.array([-1.0]*self.num_in)        self.active_hidden = np.array([-1.0]*self.num_hidden)        self.active_out = np.array([1.0]*self.num_out)                #创建权重矩阵        self.wight_in = makematrix(self.num_in, self.num_hidden)        self.wight_out = makematrix(self.num_hidden, self.num_out)                #对权值矩阵赋初值        for i in range(self.num_in):            for j in range(self.num_hidden):                self.wight_in[i][j] = random_number(0.1, 0.1)        for i in range(self.num_hidden):            for j in range(self.num_out):                self.wight_out[i][j] = random_number(0.1, 0.1)        #偏差        for j in range(self.num_hidden):            self.wight_in[0][j] = 0.1        for j in range(self.num_out):            self.wight_in[0][j] = 0.1            #最后建立动量因子(矩阵)        self.ci = makematrix(self.num_in, self.num_hidden)        self.co = makematrix(self.num_hidden, self.num_out)                  #信号正向传播    def update(self, inputs):        if len(inputs) != self.num_in-1:            raise ValueError('与输入层节点数不符')        #数据输入输入层        self.active_in[1:self.num_in]=inputs                #数据在隐藏层的处理        self.sum_hidden=np.dot(self.wight_in.T,self.active_in.reshape(-1,1)) #点乘        self.active_hidden=sigmoid(self.sum_hidden)   #active_hidden[]是处理完输入数据之后存储,作为输出层的输入数据        self.active_hidden[0]=-1                    #数据在输出层的处理        self.sum_out=np.dot(self.wight_out.T,self.active_hidden) #点乘        self.active_out = sigmoid(self.sum_out)   #与上同理        return self.active_out     #误差反向传播    def errorbackpropagate(self, targets, lr,m):   #lr是学习率        if self.num_out==1:            targets=[targets]        if len(targets) != self.num_out:            raise ValueError('与输出层节点数不符!')        #误差        error=(1/2)*np.dot((targets.reshape(-1,1)-self.active_out).T,(targets.reshape(-1,1)-self.active_out))                #输出误差信号        self.error_out=(targets.reshape(-1,1)-self.active_out)*derived_sigmoid(self.sum_out)        #隐层误差信号        #self.error_hidden=np.dot(self.wight_out.reshape(-1,1),self.error_out.reshape(-1,1))*self.active_hidden*(1-self.active_hidden)        self.error_hidden=np.dot(self.wight_out,self.error_out)*derived_sigmoid(self.sum_hidden)        #更新权值        #隐藏        self.wight_out=self.wight_out+lr*np.dot(self.error_out,self.active_hidden.reshape(1,-1)).T+m*self.co        self.co=lr*np.dot(self.error_out,self.active_hidden.reshape(1,-1)).T        #输入        self.wight_in=self.wight_in+lr*np.dot(self.error_hidden,self.active_in.reshape(1,-1)).T+m*self.ci        self.ci=lr*np.dot(self.error_hidden,self.active_in.reshape(1,-1)).T        return error    #测试    def test(self, patterns):        for i in patterns:            print(i[0:self.num_in-1], '->', self.update(i[0:self.num_in-1]))        return self.update(i[0:self.num_in-1])    #权值    def weights(self):        print("输入层权重")        print(self.wight_in)        print("输出层权重")        print(self.wight_out)                def train(self, pattern, itera=100, lr = 0.2, m=0.1):        for i in range(itera):            error = 0.0            for j in pattern:                inputs = j[0:self.num_in-1]                targets = j[self.num_in-1:]                self.update(inputs)                error = error+self.errorbackpropagate(targets, lr,m)            if i % 10 == 0:                print('########################误差 %-.5f######################第%d次迭代' %(error,i))#实例X=list(np.arange(-1,1.1,0.1))D=[-0.96, -0.577, -0.0729, 0.017, -0.641, -0.66, -0.11, 0.1336, -0.201, -0.434, -0.5, -0.393, -0.1647, 0.0988, 0.3072, 0.396, 0.3449, 0.1816, -0.0312, -0.2183, -0.3201]A=X+Dpatt=np.array([A]*2)    #创建神经网络,21个输入节点,21个隐藏层节点,1个输出层节点n = BPNN(21, 21, 21)    #训练神经网络n.train(patt)    #测试神经网络d=n.test(patt)    #查阅权重值n.weights() plt.plot(X,D)plt.plot(X,d)plt.show()

来源:小凌のBlog—Good Times|一个不咋地的博客

[1]   韩力群,人工神经网络理论及应用 [M]. 北京:机械工业出版社,2016.

来源地址:https://blog.csdn.net/Linyun2tt/article/details/121572933

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

神经网络——Python实现BP神经网络算法(理论+例子+程序)

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

matlab神经网络算法怎么实现

在MATLAB中,可以使用神经网络工具箱来实现神经网络算法。以下是一个简单的例子,展示了如何使用MATLAB实现一个简单的前馈神经网络:1. 导入数据:首先,将您的训练数据导入MATLAB工作区。通常,训练数据应该包括输入特征矩阵X和目标输
2023-10-12

神经网络与深度学习BP算法的原理是什么

神经网络是一种模拟人脑神经元之间相互连接的数学模型。它由许多层神经元组成,每一层都与前一层的神经元相连接。每个神经元都有一个权重,用来调整输入信号的贡献程度。神经网络的目标是通过学习调整权重,从而能够对输入信号进行准确的预测或分类。BP(B
2023-09-21

神经网络算法RNN实现时间序列预测

这篇文章主要为大家介绍了神经网络算法RNN实现时间序列预测示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-05-17

运用Python实现机器学习算法:神经网络

今天将在感知机的基础上继续介绍神经网络模型。我们都知道,感知机是一种线性模型,对于非线性问题很难给出解决方案。

python 使用Tensorflow训练BP神经网络实现鸢尾花分类

Hello,兄弟们,开始搞深度学习了,今天出第一篇博客,小白一枚,如果发现错误请及时指正,万分感谢。 使用软件Python 3.8,Tensorflow2.0 问题描述鸢尾花主要分为狗尾草鸢尾(0)、杂色鸢尾(1)、弗吉尼亚鸢尾(2)。 人
2022-06-02

Java实现BP神经网络MNIST手写数字识别的示例详解

这篇文章主要为大家详细介绍了Java实现BP神经网络MNIST手写数字识别的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起了解一下
2023-01-31

php如何实现人工神经网络算法

这篇文章主要介绍“php如何实现人工神经网络算法”,在日常操作中,相信很多人在php如何实现人工神经网络算法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”php如何实现人工神经网络算法”的疑惑有所帮助!接下来
2023-07-06

神经网络理论基础及Python实现是怎么样的

本篇文章给大家分享的是有关神经网络理论基础及Python实现是怎么样的,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。一、多层前向神经网络多层前向神经网络由三部分组成:输出层、隐
2023-06-17

Python实现的人工神经网络算法示例【基于反向传播算法】

本文实例讲述了Python实现的人工神经网络算法。分享给大家供大家参考,具体如下: 注意:本程序使用Python3编写,额外需要安装numpy工具包用于矩阵运算,未测试python2是否可以运行。 本程序实现了《机器学习》书中所述的反向传播
2022-06-04

免费Python机器学习课程六:神经网络算法

最近,神经网络变得越来越流行。可能是因为计算机足够快,可以在合理的时间内运行大型神经网络。在本文中,我将讨论如何在python中从头开发神经网络算法。

70行Java代码实现深度神经网络算法分享

对于现在流行的深度学习,保持学习精神是必要的——程序员尤其是架构师永远都要对核心技术和关键算法保持关注和敏感,必要时要动手写一写掌握下来,先不用关心什么时候用到——用不用是政治问题,会不会写是技术问题,就像军人不关心打不打的问题,而要关心如
2023-05-30

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录