觉得有帮助请点赞关注收藏~~~

一、深度学习概述

深度学习算法属于机器学习算法的范畴，深度学习一般具有自主学习能力

基于深度学习的自然语言处理基本操作步骤包括：

将原始信息输入神经网络模型，通过自主学习算法识别输入特征；

将特征作为深度神经网络输入；

根据不同需求选用合适的学习模型；

通过训练得出的模型预测未知场景。

神经元模型

深度学习涉及神经网络的概念，其中最基本的神经元模型，可以使用下图表示，主要由输入变量权重参数偏置量激活函数等组成

激活函数

激活函数用于特征表达，常用的激活函数包括线性整流函数（Rectified Linear Unit, ReLU）、Sigmoid函数和双曲正切函数（hyperbolic tangent，tanh）。

ReLU函数：

Sigmoid函数：

双曲正切函数：

梯度下降法

梯度表示函数在特定点的方向导数沿着该方向的最大值，即函数在特定点沿着该方向变化率最大。假定n元函数在n维空间具有一阶连续偏导数，函数在该空间上的任意点的偏导数或者梯度的数学表达式为：

二、卷积神经网络CNN

卷积神经网络（Convolutional Neural Network,CNN）是包含卷积运算且具有深度结构的前馈神经网络（Feedforward Neural Networks）。具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），在计算机视觉和自然语言处理等领域得到了成功的应用。

卷积神经网络一般包含输入层（Input Layer）、卷积层（convolutional layer）、池化层（pooling layer）、全连接层（fully-connected layer）和输出层（Output layer）。

权重W也称为卷积核，卷积运算的主要目的是提取主要特征，去除噪音信号，选择不同的卷积核进行卷积运算，可以得到不同的特征信息。卷积操作原理可以参考图6-6，假定输入X的维度为7×7，选择卷积核W的维度为3×3，卷积核W在X平面上从左向右，从上往下依次移动，每次移动步长为1，则可以得出重合部分卷积结果的维度应为5×5，将卷积核W各位置的元素值与输入X对应位置的元素值相乘后求和，可以得出X*W对应位置的元素值，经过卷积处理后可以提取原输入的主要特征并实现降低维度的目的。