作用1:降维:因为使用独热编码虽然计算简单,但是占用太多不必要的资源,所以使用嵌入层(embedding)进行降维,和1*1卷积有异曲同工之妙。

因为有时候图片降维后的特征只能笼统的模糊的显示出图像的主要特征,当我们需要发现图片中的一些细节时,就需要对图片进行升维。
独热向量,每句话之间都是独立的,每句话之间关联为0,而embedding让每个向量之间有了关联,实质上是建立一个查表,通过矩阵相乘,线性变换的方式,让输入的x通过查表将一个稀疏矩阵变成一个稠密矩阵。