如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？

转自：https://www.zhihu.com/question/53134248/answer/133630818

文中写道：
“比如神经网络和目前的深度神经网络的学习，他们的模型（表达）、算法、和实现的结构三层 是混在一起的。就变成一个特用的计算设备， 算法就是由这个结构来实现的。当它性能不好的时候，到底是因为表达不对，还是算法不对，还是实现不对？ 这个不好分析了，目前的神经网络，或者是机器学习，深度学习，它的本源存在这个问题。
以前我们审稿的时候，会追问论文贡献是提出了一个新的模型？还是一个新的算法？在哪一个层级上你有贡献，必须说得清清楚楚。2012年，我作为国际计算机视觉和模式识别年会（CVPR）的大会主席， 就发生一个事件。收到神经网络和机器学习学派的一个领军人物 LeCun的抱怨信，他的论文报告了很好的实验结果， 但是审稿的三个人都认为论文说不清楚到底为什么有这个结果， 就拒稿。他一气之下就说再也不给CVPR投稿了，把审稿意见挂在网上以示抗议。2012 年是个转折点。
现在呢？随着深度学习的红火， 这三层就又混在一块去了。 一般论文直接就报告结果， 一堆表格、曲线图。我就是这么做，然后再这么做，我在某些个数据集上提高了两个百分点，那就行了。你审稿人也别问我这个东西里面有什么贡献，哪个节点代表是什么意思，你别问，我也不知道。那算法收敛了吗？是全局收敛还是一个局部收敛？我也不知道，但是我就提高了两个百分点。”
朱教授不少学生也是做深度学习的，不知道是否规避了文中的批评？


作者：田渊栋
链接：https://www.zhihu.com/question/53134248/answer/133665664
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。


朱教授说的都是对的，现在确实有这个问题。但现实情况是，做理论需要的基础知识多，困难，周期长，没有直接经济效益，还只能一两个人单打独斗且无法使用大量计算资源，每个因素都和现在的主流发展方向（强调团队合作，强调速度和新闻性，代码开源，大数据，大量计算资源）背道而驰。更麻烦的是，辛苦几年做出来也未必会有人欣赏，做的人累，看的人更累，于是好文就淹没在大量的Arxiv里面。偶尔有几个人想去看看，费尽力气却发现某个假设太强，完全和现实扯不上，不免失望。相比之下做应用的文章实验清楚效果明显还立即可用，大家一望便知，名声响，引用多，曝光率高。所以理论是做给自己看的，有点情怀的人才做理论。一万个硕士博士里有一个怀着这个理想，那迟早有一天会做出来的，大部分人不用费这个力气的。这也符合市场需求，没有什么不好。要是大家都去做理论了，那没有应用成果，深度学习还怎么火下去？对做理论的人来说，竞争激烈了，就更没有慢慢想的时间和空间了。另外，最近我投的那篇二层ReLU的理论分析，从有了理论到成稿就做了两个月，并没有花几年，之前一直方向不对在瞎搞。我的感触是，真的有了感觉，出文章不会慢的，但是在有感觉之前，要做很多积累，花掉很多时间，这个阶段又苦又难熬，现下很少有人愿意。但若是真想做理论的话，不要被几年这种话吓住了，像我这种半路自学，肯定是走了弯路开悟晚的，就不用当例子了，科班出身的肯定会快很多。最后感谢一下看过我文章的同学，辛苦了！