回归算法( 六 ) _神经

7. 特征图尺寸计算与参数共享
参数共享：每个区域都是同一个核！图中红、绿、蓝、黑是同一个
8. 池化层
pool池化和下采样是一个意思
9. 整体网络架构
两次卷积+RELU，再一次池化（只有卷积层需要神经网络计算哈，后面的RELU和POOL都没有需要更新权重参数的）
全连接层能连接三维的东西吗？所以要把这个层都拉成特征向量！在图中绿色的FC（full ）部分，要ba 转化为的特征向量，为什么是5，因为特征有5个
具体怎么拉成特征向量呢？
10. VGG网络
近代的经典网络但是淘汰了
卷积核越小越好，3x3比较多
VGG有好几个版本，D是主流版本：
在特征值会损失，那他是怎样做的呢，他在每次完后，使特征值翻倍！
VGG用到了16层神经网络，层
为什么不用更多层？实验的时候发现层数多了不好，怎么办呢？看
11. 残差网络
我们需要加入更多层，但是不能让表现不好的层影响，所以要把表现不好的扔掉，但是已经加进去了不能扔掉呀，怎么办？同等映射！
加进来之后发现不好，就让这一层权重参数为0就不影响了
对比AC和ABC，发现ABC不好，就把B的参数学成0，就走AC这条路
效果：（可以多用用）
特征提取里好用
12. 感受野
递归神经网络与词向量 1. 递归神经网络RNN网络架构
如果加入了时间变量，在t1、t2、t3...数据是会变化的，不一样的，那只输入t1的数据肯定是不行
①中间隐藏层的输入t1，得到输出o1 ②把o1和t2再一起放入隐藏层，得到o2 ③把o2和t3的数据再放入隐藏层，得到o3...
这样是有先后顺序的，比如一句话“今天学习了神经网络”，那今就在天的前面，天在学的前面...
最后的输出结果才是结果，中间结果只是用来当输入数据的
数据是以输入的，把一个单词转化成词向量
1. LSTM网络
前面的结果一定重要吗？
忘记不需要的特征
2. 词向量模型
1.必须有前后顺序
2. 相近的词应该在词向量空间中越近，关系不大的词应该更远
词向量空间？50-300维，因为要描述一个词需要大概50-300个属性
既然是数字表示，就可以计算词和词之间的相识度，用欧氏距离公式计算
3. 模型架构
热度图：可以看到男人和男孩有很多地方相似，就可以说明这两个词的含义很相近
词向量是有意义的！
输入在/词向量，就能输出模型
在词库中查找单词的词向量，一开始都是随机初始化的，然后进入神经网络，什么样的表达能让计算机把下一个词猜的更准确一些
4.训练数据构建
语言是跨区域的，训练数据，可以随便的找别的数据使用，只要是有逻辑顺序的文章，都可以使用
滑动窗口，把每次的前两个当成输入，最后一个当成输出，也就是标签
5. CBOW与Skip-gram模型
输入是上下文，输出是中间的单词
6. 负采样方案
如果全部输入了数据，比如not后面加thou，并且给了，那以后每次not都会自动预测为thou了，毕竟是概率为1，总是不会错的，这明显不合理，应该人为加入负采样0，怎么说呢，比如not后面不会出现play，所以我们加上一个input：not，：play，：0，这样一个负采样
负采样写5个就比较合理
右侧的有比较好
【回归算法】案例-神经网络搭建案例-卷积神经网络案例-LSTM时间序列预测