乐文小说网

手机浏览器扫描二维码访问

第六百二十八章(第2页)

但这里还有一个问题,在训练过程中,当实际输出值和期望输出值产生差异的时候,要如何去调整各个参数呢?

当然,在思考怎么做之前,也应该先弄清楚:通过调整参数的方式获得期望的输出,这个方法行得通吗?

实际上,对于感知器网络来说,这个方法基本不可行。

比如在上图有39个参数的感知器网络中,如果维持输入不变,我们改变某个参数的值,那么最终的输出基本完全不可预测。

它或者从0变到1(或从1变到0),当然也可能维持不变。这个问题的关键在于:输入和输出都是二进制的,只能是0或者1。

如果把整个网络看成一个函数(有输入,有输出),那么这个函数不是连续的。

因此,为了让训练成为可能,我们需要一个输入和输出能够在实数上保持连续的神经网络。于是,这就出现了sigmoid神经元。

sigmoid神经元(sigmoidneuron)是现代神经网络经常使用的基本结构(当然不是唯一的结构)。它与感知器的结构类似,但有两个重要的区别。

第一,它的输入不再限制为0和1,而可以是任意0~1之间的实数。

第二,它的输出也不再限制为0和1,而是将各个输入的加权求和再加上偏置参数,经过一个称为sigmoid函数的计算作为输出。

具体来说,假设z=w1x1+w2x2+w3x3+...+b,那么输出output=σ(z),其中:σ(z)=1(1+e-z)。

小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!

σ(z)是一个平滑、连续的函数。而且,它的输出也是0~1之间的实数,这个输出值可以直接作为下一层神经元的输入,保持在0~1之间。

可以想象,在采用sigmoid神经元组装神经网络之后,网络的输入和输出都变为连续的了,也就是说,当我们对某个参数的值进行微小的改变的时候,它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。

在历史上,很多研究人员曾经也做过尝试,MichaelNielsen的书《NeuralNetworksandDeepLearning》这本书中也曾经提到过这个例子。

这个神经网络只有一层隐藏层,属于浅层的神经网络(shallowneuralnetworks)。而真正的深度神经网络(deepnerualnetworks),则会有多层隐藏层。

神经元系统采用了左右脑半球的设计方式进行设计和制造。

最右侧则是输出层(outputlayer),有10个神经元节点,分别代表识别结果是0,1,2,...,9。当然,受sigmoid函数σ(z)的限制,每个输出也肯定是0~1之间的数。

那我们在得到一组输出值之后,哪个输出的值最大,最终的识别结果就是它。

而在训练的时候,输出的形式则是:正确的那个数字输出为1,其它输出为0,隐藏层和输出层之间也是全连接。

神经网络共的权重参数有784*15+15*10=个,偏置参数有15+10=25个,总共参数个数为:+25=个。

这是一个非常惊人的数字。

喜欢我的超级黑科技帝国请大家收藏:()我的超级黑科技帝国

从笑傲开始的诸天万界  快穿之我又被坑了  玄幻:超级花呗系统  洪荒:通天亲传,天地异象常伴吾身!  隐形大佬她超乖的  亿万继承者追妻:九十九次说爱你  满级宿主捡走了反派小可怜  我在三国当主播  仙葫修仙  王者荣耀之老子喷人就变强  全能签到  帝国盛宠:吻安,总统夫人!  木叶食神  从绝世唐门开始穿梭诸天  神级医生在都市  仙尊的奶爸人生  我见众生皆草木  外门弟子修仙路  人在尸魂界:无双剑圣!  不知道取啥名  

热门小说推荐
网游之百兽之王

网游之百兽之王

苏浩本来想在奇迹里面玩一个刺客的,但是,由于种种原因,他最终选择了猎人,做一个近战强悍远程牛逼宠物逆天的猎人,原因无他,只是因为他从车祸的昏迷之中醒来以后,不仅记起了自己昏迷之前的车祸,记起了自己的爱犬米莎,还记起了一件可怕的事情踏上百兽之王基洛尔的道路,成为统御众兽的新兽王吧!...

天威神将小楼听雨

天威神将小楼听雨

六年前,他惨遭陷害,家破人亡。六年后,他王者归来,天威浩荡。为挚爱,他十步杀一人。为亲人,他一手遮九天。...

万神星河

万神星河

作者外些的经典小说万神星河最新章节全文阅读服务本站更新及时无弹窗广告小说修界至法,上易真经,撕空摘星,唯有玄冥。懵懂少年花寻风幼年失去双亲,管家洪全承其父母遗愿想平淡让花寻风渡过一生,谁知平淡因花寻风去往玉剑书庄被打破。花寻风机缘巧合习得至法之一太玄十三经。经历些许事情,花寻风成长的同时,他逐渐发现双亲死去的真相,也逐渐发现这个世界的枯竭。何为正?何为邪?固步自封不谓正,尸山血骨不谓邪!花寻风决定走父亲的道路,接掌科蒙殿,给这封闭的世界注入新资源。花寻风获得诸...

太玄遁仙

太玄遁仙

天发杀机,移星易宿地发杀机,龙蛇起陆人发杀机,天地反覆。天地翻覆,群仙陨落,天道有常而仙籍常变,太玄法箓的变化,是预示天道法则对太玄天境诸仙的一次常规洗牌,还是对太玄天的彻底颠覆,只有力量上的巅峰对决之后,才有最后的答案...

妇可敌国:妾身真不是那有钱人

妇可敌国:妾身真不是那有钱人

重生异能种田战神发家致富只能在末世底层苟活的力量系异能者蓝粒粒,死后一朝穿越,成为众目睽睽之下初潮疼死的侯府嫡长子,这感觉,和每天饿的肚子痛是一样一样的嘛。从此,她不只过上了每天吃饱穿暖堪比天堂的生活,还获得了前世梦寐以求的种植空间。于是,摆脱侯府的极品亲人后,她扎根农村,一不小心攒下了几辈子都吃不完的粮食,不只惹得病秧子王爷跑来为国库借粮,还引起了前朝余孽的觊觎。蓝粒粒表示谁敢抢我一粒米,我就铁拳揍死你。病秧子王爷我这副男女老少通吃的美貌怎么突然不管用了?某天,蓝粒粒拖着第n个捡来的人路过村头丰收的田地,在此处养病的王爷终于忍不住了,你捡那么多人干嘛?蓝粒粒轻蔑的一指头戳倒挡路的人,你不懂,我宿命里的落魄将军正等着我呢。病秧子王爷躺在地上,幽幽叹气,实不相瞒,在下就是传说中的战神王爷,顶顶大名的镇国大将军。蓝粒粒像拎小鸡仔似的把人提起来,也幽幽叹了口气,这该死的穿越宿命啊...

神豪从选择五百万开始

神豪从选择五百万开始

作者圣天道人的经典小说神豪从选择五百万开始最新章节全文阅读服务本站更新及时无弹窗广告小说神豪系统全能原本是富二代的林宇,家族资金链一夜之间莫名的断裂,直临破产,差点就要落到睡天桥的地步,父母又为了躲避债务而逃去国外,又好巧不巧,又收到女友和其他男生勾搭的消息,一怒之下提出分手!林宇的处境,陷入前所未有的困境。好在上天眷顾,神豪系统降临!叮!恭喜宿主达成提出分手任务,奖励五百万!林宇背叛我的,我一定会奉还,害我家族的,我林宇拼尽一切,也要讨回来!!!...

每日热搜小说推荐