【CSDN软件工程师能力认证学习精选】Python实现简单的神经网络

CSDN软件工程师能力认证(以下简称C系列认证)是由中国软件开发者网CSDN制定并推出的一个能力认证标准 。C系列认证历经近一年的实际线下调研、考察、迭代、测试,并梳理出软件工程师开发过程中所需的各项技术技能,结合企业招聘需求和人才应聘痛点,基于公开、透明、公正的原则,甑别人才时确保真实业务场景、全部上机实操、所有过程留痕、存档不可篡改 。
我们每天将都会精选CSDN站内技术文章供大家学习,帮助大家系统化学习IT技术 。
搭建基本模块—神经元
在说神经网络之前,我们讨论一下神经元(),它是神经网络的基本单元 。神经元先获得输入,然后执行某些数学运算后,再产生一个输出 。比如一个2输入神经元的例子:
在这个神经元里,输入总共经历了3步数学运算,
先将输入乘以权重():
x 1 → x 1 ? w 1 {x_1 \ x_1 * w_1}x1?→x1??w1?
x 2 → x 2 ? w 2 {x_2 \ x_2 * w_2}x2?→x2??w2?
( x 1 ? w 1 ) + ( x 2 ? w 2 ) + b {(x_1 * w_1) + (x_2 * w_2) + b}(x1??w1?)+(x2??w2?)+b
最后经过激活函数( )处理得到输出:
y = f ( ( x 1 ? w 1 ) + ( x 2 ? w 2 ) + b ) {y = f((x_1 * w_1) + (x_2 * w_2) + b)}y=f((x1??w1?)+(x2??w2?)+b)
激活函数的作用是将无限制的输入转换为可预测形式的输出 。一种常用的激活函数是函数:
函数的输出介于0和1,我们可以理解为它把 (?∞,+∞) 范围内的数压缩到 (0, 1)以内 。正值越大输出越接近1,负向数值越大输出越接近0 。
举个例子,上面神经元里的权重和偏置取如下数值:w = [ 0 , 1 ] ; b = 4 {w = [0,1] ; b = 4}w=[0,1];b=4
w = [ 0 , 1 ] {w = [0,1]}w=[0,1]是w 1 = 0 , w 2 = 1 {w_1=0, w_2=1}w1?=0,w2?=1的向量形式写法 。给神经元一个输入x = [ 2 , 3 ] {x=[2,3]}x=[2,3],可以用向量点积的形式把神经元的输出计算出来:
w ? x + b = ( x 1 ? w 1 ) + ( x 2 ? w 2 ) + b = 0 ? 2 + 1 ? 3 + 4 = 7 {w*x+b=(x_1*w_1)+(x_2*w_2)+b=0*2+1*3+4=7}w?x+b=(x1??w1?)+(x2??w2?)+b=0?2+1?3+4=7
y = f ( w ? X + b ) = f ( 7 ) = 0.999 {y=f(w*X+b)=f(7)=0.999}y=f(w?X+b)=f(7)=0.999
以上步骤的代码是:
import numpy as npdef sigmoid(x):# our activation function: f(x) = 1 / (1 * e^(-x))return 1 / (1 + np.exp(-x))class Neuron():def __init__(self, weights, bias):self.weights = weightsself.bias = biasdef feedforward(self, inputs):# weight inputs, add bias, then use the activation functiontotal = np.dot(self.weights, inputs) + self.biasreturn sigmoid(total)weights = np.array([0, 1]) # w1 = 0, w2 = 1bias = 4n = Neuron(weights, bias)# inputsx = np.array([2, 3])# x1 = 2, x2 = 3print(n.feedforward(x)) # 0.9990889488055994
搭建神经网络
神经网络就是把一堆神经元连接在一起,下面是一个神经网络的简单举例:
这个网络有2个输入、一个包含2个神经元的隐藏层(h1和h2)、包含1个神经元的输出层o1 。
隐藏层是夹在输入输入层和输出层之间的部分,一个神经网络可以有多个隐藏层 。
把神经元的输入向前传递获得输出的过程称为前馈() 。
我们假设上面的网络里所有神经元都具有相同的权重w = [ 0 , 1 ] {w=[0,1]}w=[0,1]和偏置b = 0 {b=0}b=0,激活函数都是s i g m o i d {},那么我们会得到什么输出呢?
h 1 = h 2 = f ( w ? x + b ) = f ( ( 0 ? 2 ) + ( 1 ? 3 ) + 0 ) = f ( 3 ) = 0.9526 {h_1=h_2=f(w*x+b)=f((0*2)+(1*3)+0)=f(3)=0.9526}h1?=h2?=f(w?x+b)=f((0?2)+(1?3)+0)=f(3)=0.9526
o 1 = f ( w ? [ h 1 , h 2 ] + b ) = f ( ( 0 ? h 1 ) + ( 1 ? h 2 ) + 0 ) = f ( 0.9526 ) = 0.7216 {o_1=f(w*[h_1,h_2]+b)=f((0*h_1)+(1*h_2)+0)=f(0.9526)=0.7216}o1?=f(w?[h1?,h2?]+b)=f((0?h1?)+(1?h2?)+0)=f(0.9526)=0.7216
以下是实现代码:
class OurNeuralNetworks():"""A neural network with:- 2 inputs- a hidden layer with 2 neurons (h1, h2)- an output layer with 1 neuron (o1)Each neural has the same weights and bias:- w = [0, 1]- b = 0"""def __init__(self):weights = np.array([0, 1])bias = 0# The Neuron class here is from the previous sectionself.h1 = Neuron(weights, bias)self.h2 = Neuron(weights, bias)self.o1 = Neuron(weights, bias)def feedforward(self, x):out_h1 = self.h1.feedforward(x)out_h2 = self.h2.feedforward(x)# The inputs for o1 are the outputs from h1 and h2out_o1 = self.o1.feedforward(np.array([out_h1, out_h2]))return out_o1network = OurNeuralNetworks()x = np.array([2, 3])print(network.feedforward(x)) # 0.7216325609518421