乐文小说网

手机浏览器扫描二维码访问

第六百三十二章（第2页）

但这里还有一个问题，在训练过程中，当实际输出值和期望输出值产生差异的时候，要如何去调整各个参数呢？

当然，在思考怎么做之前，也应该先弄清楚：通过调整参数的方式获得期望的输出，这个方法行得通吗？

实际上，对于感知器网络来说，这个方法基本不可行。

比如在上图有39个参数的感知器网络中，如果维持输入不变，我们改变某个参数的值，那么最终的输出基本完全不可预测。

它或者从0变到1（或从1变到0），当然也可能维持不变。这个问题的关键在于：输入和输出都是二进制的，只能是0或者1。

如果把整个网络看成一个函数（有输入，有输出），那么这个函数不是连续的。

因此，为了让训练成为可能，我们需要一个输入和输出能够在实数上保持连续的神经网络。于是，这就出现了sigmoid神经元。

sigmoid神经元（sigmoidneuron）是现代神经网络经常使用的基本结构（当然不是唯一的结构）。它与感知器的结构类似，但有两个重要的区别。

第一，它的输入不再限制为0和1，而可以是任意0~1之间的实数。

第二，它的输出也不再限制为0和1，而是将各个输入的加权求和再加上偏置参数，经过一个称为sigmoid函数的计算作为输出。

具体来说，假设z=w1x1+w2x2+w3x3+...+b，那么输出output=σ（z），其中：σ（z）=1（1+e-z）。

这章没有结束，请点击下一页继续阅读！

σ（z）是一个平滑、连续的函数。而且，它的输出也是0~1之间的实数，这个输出值可以直接作为下一层神经元的输入，保持在0~1之间。

可以想象，在采用sigmoid神经元组装神经网络之后，网络的输入和输出都变为连续的了，也就是说，当我们对某个参数的值进行微小的改变的时候，它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。

在历史上，很多研究人员曾经也做过尝试，MichaelNielsen的书《NeuralNetworksandDeepLearning》这本书中也曾经提到过这个例子。

这个神经网络只有一层隐藏层，属于浅层的神经网络（shallowneuralnetworks）。而真正的深度神经网络（deepnerualnetworks），那么就会有多层隐藏层。

神经元系统采用了左右脑半球的设计方式进行设计和制造。

最右侧则是输出层（outputlayer），有10个神经元节点，分别代表识别结果是0，1，2，...，9。当然，受sigmoid函数σ（z）的限制，每个输出也肯定是0~1之间的数。

那我们得到一组输出值之后，哪个输出的值最大，最终的识别结果就是它。

而在训练的时候，输出的形式则是：正确的那个数字输出为1，其它输出为0，隐藏层和输出层之间也是全连接。

神经网络共的权重参数有784*15+15*10=个，偏置参数有15+10=25个，总共参数个数为：+25=个。

这是一个非常惊人的数字。

喜欢我的超级黑科技帝国请大家收藏：（）我的超级黑科技帝国

帝国盛宠：吻安，总统夫人！  快穿之我又被坑了  仙葫修仙  隐形大佬她超乖的  我见众生皆草木  玄幻：超级花呗系统  神级医生在都市  全能签到  外门弟子修仙路  洪荒：通天亲传，天地异象常伴吾身！  人在尸魂界：无双剑圣！  从笑傲开始的诸天万界  满级宿主捡走了反派小可怜  从绝世唐门开始穿梭诸天  不知道取啥名  我在三国当主播  亿万继承者追妻：九十九次说爱你  木叶食神  仙尊的奶爸人生  王者荣耀之老子喷人就变强