找回密码
 注册新帐号

QQ登录

只需一步,快速开始

[学术杂谈]

Deep learning 深度学习综述

一只虫子小木虫认证明星 VIP会员认证 发表于 2016-7-23 12:30  
查看: 100291|回复: 14|显示全部楼层 |阅读模式
Deep learning
深度学习(综述)
Deep learningallows computational models that are composed of multiple processing layers tolearn representations of data with multiple levels of abstraction. Thesemethods have dramatically improved the state-of-the-art in speech recognition,visual object recognition, object detection and many other domains such as drugdiscovery and genomics. Deep learning discovers intricate structure in large data sets by using the back propagationalgorithm to indicate how a machine should change its internal parameters thatare used to compute the representation in each layer from the representation inthe previous layer. Deep convolutional nets have brought aboutbreakthroughs in processing images, video, speech and audio, whereas recurrentnets have shone light on sequential data such as text and speech.
深度学习允许通过多处里层组合起来的计算模型学习通过多水平的抽象学习数据的表示。这些方法很大地提高了语音识别,视觉目标识别,目标探测以及其他的很多领域的例如药物发现和基因组学中最好的(state-of-the-art)性能。深度学习通过使用反向传播算法来预示一个机器是如何改变自己内部的来自上一层并用来计算每一层表示的参数发现大型数据错综复杂的结构。深度卷积网络在处理图像、时评、讲话和音频上提出了突破性的想法,而循环网络在例如文本和讲话等序列数据中上也展现出一线曙光。
这是Hinton,LeCun和Bengio去年在nature上写的综述,回顾这十年来deep learning的发展。文章第一句先说深度学习的特征,即什么是深度学习。深度学习就是允许多个处理层通过多水平的抽象来表示数据。看到了没,本质上还是对数据的抽象表示。这就为我们理解Hinton的文章,理解Distributed Representation提供了一个非常好的perspective(视角),原来他们做了那么多工作就是为了表示数据。想想是不是这样,对的,就是这样。以自然语言处理为例,独热表示(One-hot Representation)可能有利于人的理解,但是无法表示不同单词之间的关系,也由于维数太多而无法进行大规模计算。但是分布式表示(Distributed Representation)可能人无法理解,但是在计算上有非常好的性能(维数不高),可以表示词语之间的关系。深度学习可以表示大型数据的复杂的内部结构。这一点很重要。因为大型数据的分布空间是我们无法想象的,可能是一个高度抽象的东西,无法用我们直观的思维去理解,但是可以通过深度学习去理解。深度学习通过什么理解的呢?就是用方向传播的机制来理解的,每一层都是对上一层数据的一个抽象,然后通过反向传播来调整参数。这可能就是深度学习区别于传统的神经网络的地方。就是这里的训练方法有了新的思路。(曹建平

玫瑰之泪 发表于 2016-9-29 09:28   显示全部楼层
论坛有你更精彩!
cristy5201 发表于 2016-9-29 09:38   显示全部楼层
好东西一定要看看!
王朝生小木虫认证明星 发表于 2016-9-29 09:46   显示全部楼层
谢谢您的分享!
王朝生小木虫认证明星 发表于 2016-9-29 15:31   显示全部楼层
好东西一定要看看!
dengmxgz 发表于 2016-9-29 15:52   显示全部楼层
论坛有你更精彩!
静静的木 发表于 2016-9-29 20:00   显示全部楼层
大家都不容易!
孤山野 发表于 2016-9-29 21:26   显示全部楼层
论坛有你更精彩!
THINKER 发表于 2016-9-30 04:50   显示全部楼层
论坛有你更精彩!
542708169 发表于 2016-9-30 09:43   显示全部楼层
谢谢您的分享!
您需要登录后才可以回帖 登录 | 注册新帐号

本版积分规则  | 请遵守小木虫学术科研第一站管理条例,不得违反国家法律法规

Copyright 2014-2018 小木虫学术科研第一站(xmuchong.com)All Rights Reserved.

公安备案:津公网安备 12011102000110号

      

ICP备案/许可证号:津ICP备14003772号-3

      

跟帖评论自律管理承诺书

      

统一社会信用代码:911201110731367936