- 程序有所改变。发帖如还有问题请报告
- 【征集】西西河的经济学,及清流措施,需要主动参与者,『稷下学宫』新认证方式,24年网站打算和努力目标
主题:【讨论】中国首枚智能芯片问世 -- 红茶冰
这其实就是shallow和deep的区别,说说我个人的浅见吧,欢迎狠狠地拍砖
半路出家,没搞过ANN,就从SVM的角度来说吧,目前我们基本上可以认为,不管是ANN也好,SVM也好,Boosting也好,都是传统的shallow方法,具体做法可能不一样,但是效果都差不多
我们的目的,都是要拟合一个从输入到输出的映射函数y=f(x),shallow也好,deep也好,都是要干这件事情
最简单的情况是“线性可分”,也就是y=f(x)=<w,x>+b,但是现实中的问题往往没有这么简单,最常见的复杂性就是非线性。我们在SVM里是用kernel trick来解决非线性的问题,理论依据是假设有一个非线性一次函数y=f(x)(在二维坐标系中的一条任意波浪线),那么这个函数可以用无穷多个核函数的线性加权来拟合,y=\sum(<w,k(x)>+b)【注】,其实什么傅里叶变换、小波变换之类的,都是走的这个路子。现实中不可能用无穷多个函数来拟合,有限个核函数来拟合一条任意曲线,在限定核函数个数的情况下,拟合必然会有好有坏,怎样的核函数能够拟合得更好,这个问题就是流形manifold。你说的神经元大致可以用指数函数来表示,其实就是说ANN挖掘的结果是用指数函数来作为核函数,其实用任意非线性函数作为核函数都可以进行拟合,只是在有限核函数限定下拟合的好坏的区别
好了,在这样的条件下,我们认为\sum的数量、w、k(.)、b都是已知的了,于是y=f(x)这个函数就给定了,但是前辈们发现这样的映射函数虽然比线性的y=<w,x>+b表现更好,但是还是不完美,显而易见,这是因为k(.)函数太简单了,表达性不够,于是我们一般用k(g(x))来代替k(x),这里的g(x)就是特征提取,用人类的经验和智慧来手动增强核函数。到这里为止,就是传统的shallow方法在干的事情
g(x)的设计是一件很难的事情,耗费大量的人类时间精力,深度学习的提出就是说能不能用机器来自动学习g(x)函数呢?现实证明是可行的,虽然我们现在都不知道为什么可行,这就像原始人用石锤砸开了坚果,我们掌握了工具,但是并不清楚工具为什么work。回到g(x)上来,目前的事实说明一个好的g(x)是一个超出了我们理解的函数,但是这个g(x)也可以表达成类似于“核函数”的复合函数形式,g(x)=a(b(c(d(...(x))))),这里的a、b、c、d等就是我说的非常简单的函数比如y=<w,x>+b、y=max{x,0}等。一个非常有意思的现象,在这整个的复杂非线性函数g(x)里,非线性的部分其实只有y=max{x,0}这一个异常简单的函数而已,也就是说其实深度学习挖掘非线性核函数的策略非常简单,就是分段线性而已!对此目前没有科学的解释,但是有论文说从脑科学的研究上发现,人脑的非线性处理很可能也就是这么简单的y=max{x,0}。在此之前,我们也尝试过很多非线性函数比如sigmoid、tanh等,事实的表现上,用复杂非线性函数的效果,也并不比y=max{x,0}的效果更好,但是学习的收敛速度会更慢,至于为什么会这样,我们不知道。。。
这就是我理解的深度学习,以及为什么深度学习现在更像是一个工程而不是科学问题,因为里面有太多我们目前理解不了的原理,但这并不妨碍我们做出和使用这样的工具,因为工具里的组件像螺丝、钉子这些其实并不复杂
【注】这个加和的式子不是很严谨,但是懒得推导和修改了,不是太影响理解。另外,我们经常是用两个样本之间的函数K(a,b)=<k(a),k(b)>来定义核函数,这种情况下,k(.)虽然仍然存在,但是不一定有显式的表达,这里仍然用k(.)来表示,是因为相比K(.)来说要容易理解得多。这里也可以看出,对于计算机来说,一个虽然可以理解,但是无法表达的函数比如k(.)是实现不出来的,但是虽然无法理解,但是可以表达的函数比如g(.)却是能够实现的
- 相关回复 上下关系8
压缩 6 层
🙂你懂神经网络吗? 积吉 字62 2016-03-13 03:08:05
🙂CNN既简单又复杂 7 敲门 字1270 2016-03-13 09:36:07
🙂你这是从工程应用方面去理解ANNs 3 积吉 字1777 2016-03-13 14:46:19
🙂送花,你说得没错,我说的也没错
🙂这楼里只能看懂你在说啥 武工队 字36 2016-03-17 14:54:38
🙂唉,看着你的数学表达式真是着急,接砖头吧 3 积吉 字3204 2016-03-15 23:17:41
🙂您不是从事机器学习工作的吧 6 jahcoo 字2725 2016-03-16 01:30:11
🙂不是主业,但也做过这方面的研究,发表过这方面的文章 4 积吉 字819 2016-03-16 16:18:49