深度学习心得01| 深度学习引论

关键词

  • 深度学习 deep learning

深度学习的背景介绍

深度学习的起起伏伏

1958 perceptron 感知器 线性模型

single layer neural network 单层的神经网络

1969 perceptron has limitation

1980s multi-layer perceptron 深层感知器

(与DNN区别不大,前向神经网络)

1986 backpropagation 反向传播

1989 改名为深度学习

2006 RBM(突破)

2009 GPU




gpu对神经网络的帮助

2010 开始引用到语音识别 speech recognize

2012: breakthrough in ImageNet (AlexNet:Krizhevsky et al. 2012)

2015: “superhuman” results in Image and Speech Recognition

深度学习的可以做些什么

神经网络模型

Feed-forward Neural Networks/ Multilayer Perceptron 前向神经网络/深层感知机

Convolutional Neural Networks(Image processing) 卷积神经网络(图像处理)

Recurrent Neural Networks(Sequential processing) 循环神经网络(序列处理)

Auto-encoders(unsupervised learning) 自编码器(无监督学习)

Generative Adversarial Networks(Generative Model, Adversarial techniques) 生成对抗模型(生成模型,对抗技术)

Variational Auto-encoders(Generative Model, Variational techniques) 变分自编码器(生成模型,变分技术)

应用