关键词

邱锡鹏 神经网络与深度学习课程【八】——卷积神经网络3和循环神经网络1

典型的卷积神经网络

LeNet-5

 AlexNet

 Inception网络

 Inception网络

 在卷积网络中,如何设置卷积层的卷积核大小是十分关键的问题 Inception网络尝试多种不同的卷积核 最后给堆叠起来

 使用多层的小卷积核来代替大的卷积核,以减少计算量和参数量

 残差网络 当时先用一个f(x)来拟合h(x) 但是发现恒等函数拟合效果不好 因此将目标函数拆分为两给部分 恒等函数和残差函数

 残差单元

 Ngram特征(N元)与卷积 Bigrams 二元将两个词作为一组 放入模型中

 基于卷积模型的句子表示

 CNN可视化:滤波器

循环神经网络

前馈神经网络:如全连接和卷积 输入和输出的维数都是固定的 不能随意改变 无法处理变长的序列数据

 

 给相同的输入也可以产生不同的输出 ,举例有限状态自动机:

 可计算问题: 前馈神经网络不能去拟合图灵机 图灵机的状态不仅由当前的状态决定而且还和之前的状态有关

如何给网络增加记忆能力:

延时神经网络

 自回归模型

 非线性自回归模型

 循环神经网络 RNN

 

 按时间展开 即深又窄的

 简单循环网络

 RNN 可以实现图灵完备

 

本文链接:http://task.lmcjl.com/news/730.html

展开阅读全文