手机浏览器扫描二维码访问
实际上,马斯克没有对这件事情抱有特别大的希望。在他看来,孟繁岐上次给出的方案已经好到非常离谱了。
在这个大家才刚开始复现DreamNet,还没把残差的原理和一些变种搞明白的时间点,孟繁岐已经针对各种不同平台的其他运算设备,做了相当多的实验。
从而通过优化算子结构,调整特定计算过程的方式,将这个核心的骨干网络参数量减少了接近十倍。
运算快了这么多,性能却没什么变化,这已经非常不得了了。
马斯克有这一问,也是私下里的随口一提。
但他名头太大,以往自己做的事情又太疯狂,导致孟繁岐听着他那颇为低沉,有磁性的声音之时,当了真。
还真以为这是个非常严肃认真的需求。
“自动驾驶的热度确实也快起来了,我专门针对这方面做点优化工作,也不算亏。”
孟繁岐一边利用着重生优势开始抄底一些车企的股票,一边开始着手实现一个巧妙的加速并且节省内存的方式。
这个新的优化办法叫做网络结构的重参数化。
这半年来,视觉方法性能的突飞猛进来自于孟繁岐提出的残差方法,也就是将y=F(x)变为y=F(x)+x。
这里的写法比较简便,将一系列复杂的操作,抽象归纳为F(),在实际运算过程中,这个F()还是比较复杂的,往往需要算上好一会。
但在计算的时候,就有一个问题了,原本y=F(x)运算开始的时候,就不再需要继续存储x这个变量了,因为它已经在参与F(x)的运算。
在运算过程当中,它会变成其他的中间变量,然后最终变为我们所想要的y。
可在残差办法当中,y=F(x)+x,x这个原始的输入,是不能够舍弃的。
必须有空间一直被占用着,用来存放这个x,因为它还等着最后加上去呢。
在比较复杂,分辨率比较高的任务当中,这个变量的大小是相当可观的。
这种情况有没有办法可以规避?规避之后,残差方法带来的性能提升能不能不要被影响?
答案当然是肯定的,完全可以做到。
孟繁岐准备实现的这种结构重参数化,其最核心的思想就是模型训练和实际使用推理的分离。
首先构造一系列结构(一般用于训练),并将其参数等价转换为另一组参数(一般用于推理),从而将这一系列结构等价转换为另一系列结构。
在现实场景中,训练资源一般是非常丰富的,可以在大型的服务器上得到。
而推理的时候,计算资源往往会比较有限,因此大家更在意的是推理时的开销和性能。
想要训练时的结构较大,具备好的某种性质,比如性能特别好,准确率特别高。
但在推理的时候,则把结构变小变快,同时在数学上等价于大型的结构。
孟繁岐的这个新办法,就提供了这种可能,他相信,重参数+移动端网络的算力削减,将会成为自动驾驶领域的一大催化剂。最新网址:
本站网站:
携猫主子勇闯星域 激荡一九九五 西游之开局加入聊天群 银河记事 我的御兽养成计划 善男信女 影视世界里的假道士 异界大乱斗之乱的很 她似春光明媚 丹道龙皇 陆总请滚开,别打扰我种地 寡人刘玄德 一诺千金断绝尘 我在西游交易万物 炮灰表小姐苟命日常 改局之谋 什么?我体内有一座剑山 神环啸 霸总战神之当代侠侣 年代文女配重生后踹了男主
华国没有好的科幻电影?苏锋直接启动系统。电影没有特效全是实拍!全国网友都懵了!你说这个高达万米的行星发动机是道具?!这个一炮干废一个城市的电磁干扰炮是道具?!这个速度和威力,你说这是道具?不可能!漂亮国CIA局长看着新闻目瞪口呆。激动的教授找到苏辰,激动的说购买他的技术半年后,国际特种兵大赛上华国超人小队登场,震撼全球!当遮天蔽日的钢铁侠军团缓缓升空,整个世界都为之颤抖!...
关于宝可梦我也有神奇宝贝啦!明明刚刚高考完,可以开始肆意玩耍了,没想到一朝回到解放前,直接从十八岁的妙龄少女变成襁褓中的婴儿。眼前的紫色胖子是耿鬼没错吧重返青春的父母,神奇的精灵,只有她记得原来的世界。不过只要家人朋友还在身边,就什么都无所谓了就让我也成为神奇宝贝训练家吧!在这个神奇的世界,遇见新的伙伴,绽放出羁绊的光芒吧!...
人到中年,一旦失业,那对于有家庭的人来说,简直就是一场灾难,男人更是苦不堪言。可这还不算完,倒霉事儿就像约好了似的一个接着一个。屋漏偏逢连夜雨,船破又遇顶头风,结婚十年的妻子竟然在这个时候提出离婚。曾经的山盟海誓海枯石烂,如今都成了过眼云烟。都说男人有泪不轻弹,那是没被逼到绝路上啊!这位中年大叔,在走投无路的绝境...
苏云锦走投无路时带着目的嫁给了乡下汉子杨川。杨川明知他耍了心眼,却毫不在意。他想,管他有什么目的,只要他苏云锦进了我杨家的门,那他就我杨川的人,我要疼他,也要爱他,更要敬他。苏云锦从前觉得自己没...
诸天神魔传统玄幻宏大世界法体双修。帝剑,破天枪,一个人,一柄剑,一杆长枪,镇天魔,守万界。...
魔蝎小说...