第87章 希望斯坦福自觉一点
“因此，我认为更深的网络没有取得更好的结果是一个优化问题，而不是一个模型设计问题，又或者是模型能力问题。模型本身是有更大的潜力的，只是优化的方式需要改变。”
“而这就是深度残差的意义所在。”
“对于我们需要学习的任意一个映射h(x)，我期待网络去学习一个f(x)+&nbp;x&nbp;=&nbp;h(x)中的f(x)，而不是直接学习h(x)本身。”
“这个操作可以简单的通过增加一个加法实现，而距离h(x)差值为x本身的f(x)，我们称之为关于恒等的残差映射。”
“如果这个恒等是理想的，那我们很容易将权重设置为很小的值。残差的形式很好地解决了一直以来都比较麻烦的梯度问题，可以看到，它使得上百层的网络可以持续地取得更好的性能。”
“在本次竞赛的识别分类上取得的成绩，只是残差思想最基础的体现，实际上，它是更好的特征提取器，可以更好地提取图像的特征以应用到各种图像任务中去。”
“不仅是本次竞赛的检测赛道，前两天白度的技术发布会上，想必大家也看到了明显的性能提升。”
说到这里，孟繁岐顿了一下，因为台下已经控制不住地开始议论纷纷。
虽然白度宣布了实时检测办法主要由孟繁岐这个特约研究员贡献，但对于具体的算法细节守口如瓶，什么也没有提。
只是承诺要等到6-12个月后会公布。
虽然众人大概都已经猜到，但听孟繁岐亲口说出，众人至少确定了一件事，那就是白度现在领先世界一大截的实时检测算法，是采用了dre的。
“当然了，视觉类的任务还有非常多，除了我已经做过的生成，检测，分割，识别之外，还有姿态估计，深度估计，超分辨率等等等等。种类繁多，不一而足。”
“我的dre论文已经公布，代码也已经开源，还有很多的方向需要大家一起去探索。”
孟繁岐吃了体量最大的几个赛道的蛋糕，自然也得留点汤给其他人。
在某个比较具体的方向，有几个十分得到认可的代表作就够了。
孟繁岐技术多得发不完，没必要把细分领域都一个个去自己做。
说白了就是稍微改改去让机器运行的事情，换一下数据，稍微调整下个别结构和参数。
把代码开源出来，让越来越多的工作基于自己的技术和算法去进行，是性价比更高的做法。
孟繁岐讲到这里，其实总共才用到十分钟。
按照原本的计划，他是可以讲到大约25-30分钟的。
只可惜腰包鼓了，硬气了，心态也变了。孟繁岐现在已经没有会见李彦弘之前的那种需要学界认可和认同的心理需求。
回想起来，在李彦弘的预支款打到账上之前，孟繁岐一直还是有一些担忧的，总觉得心里有点不安，希望得到认可。
有些怀疑自己到底能撬动多少资源。
如今，这些都是过去式了，没有了被人认可的需求，孟繁岐的展示变得精要了许多。
十分钟的时间其实在这种场合不算短了，尤其这次展示有两部分，孟繁岐结束之后还有韩辞的理论解释部分。
因此在场所有人都没有觉得异常，唯有韩辞目瞪口呆，啥情况啊，不是还该有十分钟吗？怎么这就到我了？
“我在做这些研究的时候，获得了我们学校一位数学教授，付德清的许多帮助，他是论文的合作者，但并非我们领域的学者，因此没有意愿来参与本次会议。
有关残差思想为什么起到效果，它实际上又有什么意义，我们请付教授的师妹，韩辞为我们带来她的看法，从动力系统角度的解释。”
孟繁岐说完之后，准备往台下走，走了两步又折了回来，对着麦克风补充了一下。
“对了，由于我签约了谷歌，考虑到个人目前的学业情况仍在读本科，目前急需硅谷附近的大学能够收留一下我。”
“希望斯坦福可以自觉一点，。”
说完，全场哄堂大笑。
本次参赛的队伍，都是什么微软，u伯克利，圣彼得堡，ib，东大，新加坡国立，牛津，多伦多。
参会的人员水平也都不低，大都是世界一流的顶级名校和科技巨头的硕博学位拥有者。
这些人的结果都被完爆了几条街，人山人海地聚集在这里听孟繁岐介绍他的算法，这使得在场不了解内情的许多人，都完全忽视了孟繁岐如今本科学生的身份。
单就他已经公开的这些论文的质量和水准来说，博士毕业标准都够了。
网络结构，生成，分割，优化器和归一方法，明眼人都看得出来，这些思想将会成为新ai时代的基础范式。
甚至有两三个新方向上奠基式，挖坑式的开山工作。
根本没有人想到他还有这样的问题需要解决。
孟繁岐说完这句话下来，赛事的数据筹备人，斯坦福ai实验室的指导人之一，李飞飞直接开启了现场招生。
她前几年收集iag数据的时候，由于算法的能力和人类水平差距太多，因此李飞飞一直希望着以后某一天ai算法可以在自己收集的这个大规模数据上面超过人类。
她原以为这需要一二十年的时间，却未曾想一共用了不到五六年。
尤其是最近两年时间，精确度一共被爆刷百分之20，直接完成了她的愿望。
如今得偿所愿，而做到这件事的人又正巧在寻求斯坦福就读的机会，李飞飞自然不会放过。
而且，在2014年，斯坦福正好准备开始提供深度学习方向的课程，孟繁岐的加入对这件事也大大的有利。
李飞飞如此想着，完全没有感觉到自己的想法显得有些奇怪，招一个本科生，却想着让他协助大学提供课程质量。
真不知道招的是本科生还是讲师，这事情似乎显得稍微有些荒诞。
在场有不少牛津，剑桥，it，哈佛等名校的教授学者，本来听说他想要来美就读，都有招揽之意。
但听到孟繁岐说签约了谷歌，又点名斯坦福自觉一点，几位老教授多少还是有些包袱的人。
看到李飞飞和孟繁岐谈笑风生，也不好意思上前插话。
。
“而这就是深度残差的意义所在。”
“对于我们需要学习的任意一个映射h(x)，我期待网络去学习一个f(x)+&nbp;x&nbp;=&nbp;h(x)中的f(x)，而不是直接学习h(x)本身。”
“这个操作可以简单的通过增加一个加法实现，而距离h(x)差值为x本身的f(x)，我们称之为关于恒等的残差映射。”
“如果这个恒等是理想的，那我们很容易将权重设置为很小的值。残差的形式很好地解决了一直以来都比较麻烦的梯度问题，可以看到，它使得上百层的网络可以持续地取得更好的性能。”
“在本次竞赛的识别分类上取得的成绩，只是残差思想最基础的体现，实际上，它是更好的特征提取器，可以更好地提取图像的特征以应用到各种图像任务中去。”
“不仅是本次竞赛的检测赛道，前两天白度的技术发布会上，想必大家也看到了明显的性能提升。”
说到这里，孟繁岐顿了一下，因为台下已经控制不住地开始议论纷纷。
虽然白度宣布了实时检测办法主要由孟繁岐这个特约研究员贡献，但对于具体的算法细节守口如瓶，什么也没有提。
只是承诺要等到6-12个月后会公布。
虽然众人大概都已经猜到，但听孟繁岐亲口说出，众人至少确定了一件事，那就是白度现在领先世界一大截的实时检测算法，是采用了dre的。
“当然了，视觉类的任务还有非常多，除了我已经做过的生成，检测，分割，识别之外，还有姿态估计，深度估计，超分辨率等等等等。种类繁多，不一而足。”
“我的dre论文已经公布，代码也已经开源，还有很多的方向需要大家一起去探索。”
孟繁岐吃了体量最大的几个赛道的蛋糕，自然也得留点汤给其他人。
在某个比较具体的方向，有几个十分得到认可的代表作就够了。
孟繁岐技术多得发不完，没必要把细分领域都一个个去自己做。
说白了就是稍微改改去让机器运行的事情，换一下数据，稍微调整下个别结构和参数。
把代码开源出来，让越来越多的工作基于自己的技术和算法去进行，是性价比更高的做法。
孟繁岐讲到这里，其实总共才用到十分钟。
按照原本的计划，他是可以讲到大约25-30分钟的。
只可惜腰包鼓了，硬气了，心态也变了。孟繁岐现在已经没有会见李彦弘之前的那种需要学界认可和认同的心理需求。
回想起来，在李彦弘的预支款打到账上之前，孟繁岐一直还是有一些担忧的，总觉得心里有点不安，希望得到认可。
有些怀疑自己到底能撬动多少资源。
如今，这些都是过去式了，没有了被人认可的需求，孟繁岐的展示变得精要了许多。
十分钟的时间其实在这种场合不算短了，尤其这次展示有两部分，孟繁岐结束之后还有韩辞的理论解释部分。
因此在场所有人都没有觉得异常，唯有韩辞目瞪口呆，啥情况啊，不是还该有十分钟吗？怎么这就到我了？
“我在做这些研究的时候，获得了我们学校一位数学教授，付德清的许多帮助，他是论文的合作者，但并非我们领域的学者，因此没有意愿来参与本次会议。
有关残差思想为什么起到效果，它实际上又有什么意义，我们请付教授的师妹，韩辞为我们带来她的看法，从动力系统角度的解释。”
孟繁岐说完之后，准备往台下走，走了两步又折了回来，对着麦克风补充了一下。
“对了，由于我签约了谷歌，考虑到个人目前的学业情况仍在读本科，目前急需硅谷附近的大学能够收留一下我。”
“希望斯坦福可以自觉一点，。”
说完，全场哄堂大笑。
本次参赛的队伍，都是什么微软，u伯克利，圣彼得堡，ib，东大，新加坡国立，牛津，多伦多。
参会的人员水平也都不低，大都是世界一流的顶级名校和科技巨头的硕博学位拥有者。
这些人的结果都被完爆了几条街，人山人海地聚集在这里听孟繁岐介绍他的算法，这使得在场不了解内情的许多人，都完全忽视了孟繁岐如今本科学生的身份。
单就他已经公开的这些论文的质量和水准来说，博士毕业标准都够了。
网络结构，生成，分割，优化器和归一方法，明眼人都看得出来，这些思想将会成为新ai时代的基础范式。
甚至有两三个新方向上奠基式，挖坑式的开山工作。
根本没有人想到他还有这样的问题需要解决。
孟繁岐说完这句话下来，赛事的数据筹备人，斯坦福ai实验室的指导人之一，李飞飞直接开启了现场招生。
她前几年收集iag数据的时候，由于算法的能力和人类水平差距太多，因此李飞飞一直希望着以后某一天ai算法可以在自己收集的这个大规模数据上面超过人类。
她原以为这需要一二十年的时间，却未曾想一共用了不到五六年。
尤其是最近两年时间，精确度一共被爆刷百分之20，直接完成了她的愿望。
如今得偿所愿，而做到这件事的人又正巧在寻求斯坦福就读的机会，李飞飞自然不会放过。
而且，在2014年，斯坦福正好准备开始提供深度学习方向的课程，孟繁岐的加入对这件事也大大的有利。
李飞飞如此想着，完全没有感觉到自己的想法显得有些奇怪，招一个本科生，却想着让他协助大学提供课程质量。
真不知道招的是本科生还是讲师，这事情似乎显得稍微有些荒诞。
在场有不少牛津，剑桥，it，哈佛等名校的教授学者，本来听说他想要来美就读，都有招揽之意。
但听到孟繁岐说签约了谷歌，又点名斯坦福自觉一点，几位老教授多少还是有些包袱的人。
看到李飞飞和孟繁岐谈笑风生，也不好意思上前插话。
。