唇哆嗦了一下,
“这个精度……人类标注员在ImageNet上的平均错误率是5.1%。”
任少卿知道。
他当然知道。
他闭上眼睛,靠上椅背。五个月。
从去年十一月他正式入驻雅安基地开始算,到今天,一百五十三天。
事情要从头说起。
去年夏天在西安交大走廊里被那个顶着黄毛的少年截住之后,任少卿回北京犹豫了整整一周。
不是犹豫要不要去,是犹豫这件事到底是不是真的。
一个高中毕业生说自己手里有几千张GPU,说算力管够。
这种话放在2013年的中国,听起来荒诞得离谱。
然后他拨了名片上那个电话。接电话的是个叫林溪的女人,声音干脆利落。
三天后他就收到了一份正式的Offer,薪资是他在微软亚研院兼职收入的四倍,不含绩效和期权。
他坐火车到了雅安,下了站,一辆黑色比亚迪S6把他接进山里。
第一次走进机房的时候,他站在门口愣了将近两分钟。
几千张GPU。
那个黄毛少年没有骗他。
入职一个月后,他把之前在微软亚研院的那套改进型卷积网络搬了过来,在这边的算力下重新训练。
效果立竿见影。之前四张GTX780跑十二天的任务量,在这边不到两天就能收敛完毕。
算力充裕之后,他开始做一件以前想都不敢想的事。
加深网络。
卷积神经网络的层数越深,理论上能提取的特征就越抽象、越高级。
但实际操作中,网络超过二十层就会出现一个要命的问题:梯度消失。
简单来说,训练信号从输出层往回传的时候,经过太多层的连乘运算,到了前面几层就衰减成了几乎为零的数字。
前面的层学不到东西,整个网络等于白深。
这个问题卡死了全世界所有试图做深层网络的研究者。
任少卿也被卡住了。
他试过各种补救办法。换激活函数,调学习率,加BatCh NOrmaliZatiOn。
有些有用,但都治标不治本,网络超过三十层之后精度就开始往下掉,跟没加深是一个样。
在连续失败了将近两个月之后,某天凌晨三点,他趴在键盘上半睡半醒。脑子里突然蹦出来一个
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 人本书院 All Rights Reserved.kk