手机浏览器扫描二维码访问
但这里还有一个问题,在训练过程中,当实际输出值和期望输出值产生差异的时候,要如何去调整各个参数呢?
当然,在思考怎么做之前,也应该先弄清楚:通过调整参数的方式获得期望的输出,这个方法行得通吗?
实际上,对于感知器网络来说,这个方法基本不可行。
比如在上图有39个参数的感知器网络中,如果维持输入不变,我们改变某个参数的值,那么最终的输出基本完全不可预测。
它或者从0变到1(或从1变到0),当然也可能维持不变。这个问题的关键在于:输入和输出都是二进制的,只能是0或者1。
如果把整个网络看成一个函数(有输入,有输出),那么这个函数不是连续的。
因此,为了让训练成为可能,我们需要一个输入和输出能够在实数上保持连续的神经网络。于是,这就出现了sigmoid神经元。
sigmoid神经元(sigmoidneuron)是现代神经网络经常使用的基本结构(当然不是唯一的结构)。它与感知器的结构类似,但有两个重要的区别。
第一,它的输入不再限制为0和1,而可以是任意0~1之间的实数。
第二,它的输出也不再限制为0和1,而是将各个输入的加权求和再加上偏置参数,经过一个称为sigmoid函数的计算作为输出。
具体来说,假设z=w1x1+w2x2+w3x3+...+b,那么输出output=σ(z),其中:σ(z)=1(1+e-z)。
这章没有结束,请点击下一页继续阅读!
σ(z)是一个平滑、连续的函数。而且,它的输出也是0~1之间的实数,这个输出值可以直接作为下一层神经元的输入,保持在0~1之间。
可以想象,在采用sigmoid神经元组装神经网络之后,网络的输入和输出都变为连续的了,也就是说,当我们对某个参数的值进行微小的改变的时候,它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。
在历史上,很多研究人员曾经也做过尝试,MichaelNielsen的书《NeuralNetworksandDeepLearning》这本书中也曾经提到过这个例子。
这个神经网络只有一层隐藏层,属于浅层的神经网络(shallowneuralnetworks)。而真正的深度神经网络(deepnerualnetworks),那么就会有多层隐藏层。
神经元系统采用了左右脑半球的设计方式进行设计和制造。
最右侧则是输出层(outputlayer),有10个神经元节点,分别代表识别结果是0,1,2,...,9。当然,受sigmoid函数σ(z)的限制,每个输出也肯定是0~1之间的数。
那我们得到一组输出值之后,哪个输出的值最大,最终的识别结果就是它。
而在训练的时候,输出的形式则是:正确的那个数字输出为1,其它输出为0,隐藏层和输出层之间也是全连接。
神经网络共的权重参数有784*15+15*10=个,偏置参数有15+10=25个,总共参数个数为:+25=个。
这是一个非常惊人的数字。
喜欢我的超级黑科技帝国请大家收藏:()我的超级黑科技帝国
帝国盛宠:吻安,总统夫人! 快穿之我又被坑了 仙葫修仙 隐形大佬她超乖的 我见众生皆草木 玄幻:超级花呗系统 神级医生在都市 全能签到 外门弟子修仙路 洪荒:通天亲传,天地异象常伴吾身! 人在尸魂界:无双剑圣! 从笑傲开始的诸天万界 满级宿主捡走了反派小可怜 从绝世唐门开始穿梭诸天 不知道取啥名 我在三国当主播 亿万继承者追妻:九十九次说爱你 木叶食神 仙尊的奶爸人生 王者荣耀之老子喷人就变强
作者火山兰的经典小说龙爸最新章节全文阅读服务本站更新及时无弹窗广告小说豪门弃少龙隐都市,都以为他是个废物,万人唾弃。当他不再隐忍时,风云剧变,所有瞧不起他的人,无不匍匐在他面前舔脚尖...
我只想当一名三好赘婿,但大佬们,你们别总找我啊!逼我成为首富逼我成为权臣逼我拯救带刺玫瑰,冰冷巨山,萌萌小可爱这是一本被迫成为王者的书,阴谋手段无所不惊奇!(搞市场营销,企业管理的都应该看看嘿嘿)(Q群721466643密码(齐天将守...
母亲告诉我,父亲在我很小的时候就去世了。直到有一天,我的电话响起,对方告诉我,他是我父亲helliphellip...
绝症少年苏修沉迷在一款名为神域的网络游戏中,疯狂氪金,把自己氪到了游戏第一人,练就了一个无敌的魔道角色,在游戏角色成功打败所有玩家,成为天下第一的时候。苏修选择了自我了结,穿越到了和游戏极为相似的异世界,并且发现自己居然变成了游戏人物这其实是日常流。...
林雨桐穿梭在各个影视小说作品中,攫取财富的故事。通知谢支持。作者有话说喜欢就看,不喜欢就请点×。谢谢!完结文同步连载文...
奇门相师是红薯的经典都市言情类作品,奇门相师主要讲述了九天玄女生青囊,太昊伏羲创八卦,一为风水,一为易经,合而为相红薯最新鼎力大作,年度必看都市言情。海棠屋(haitangshuwucom)提供奇门相师...