交叉熵损失函数求导与Softmax函数求导

交叉熵损失函数求导与Softmax函数求导

• 前情提要
• 交叉熵损失函数
• 对Softmax函数求导
• 对交叉熵损失函数求导

前情提要

  在做单分类的时候，一般模型的最后一层是线性层Linear做分类器，输出在每个标签上的logits。损失函数为交叉熵损失函数，会对logits进行Softmax之后累计损失。

  为了理论基础和严谨，复习下求导运算。

交叉熵损失函数

  交叉熵函数在pytorch上的详细原理与实验验证请见博客：【pytorch】交叉熵损失函数 F.cross_entropy()。

  交叉熵损失函数公式如公式（1）所示：

L=− ∑ i Nlabe l i×ln⁡ a i\begin{align}L = -\sum_{i}^N label_i \times \ln a_i\end{align} L=−i∑N​labeli​×lnai​​​

  其中，labe l ilabel_i labeli​是真实标签，也就是标签的one-hot编码，是一维常量。 a ia_i ai​是经过了Softmax的概率logits，是一维向量。累计计算$N$个样本的值，即可得到最终结果。

   a ia_i ai​计算公式如公式（2）公式（3）：

ai =Softmax( z i) = e z i ∑ k M e zk\begin{align} a_i &= Softmax(z_i) \\ &= \frac {e^{z_i}} {\sum_{k}^M e^{z_k}} \end{align} ai​​=Softmax(zi​)=∑kM​ezk​ezi​​​​

  其中， z iz_i zi​是全连接层的输出logits中的第$i$个，是一维向量。

对Softmax函数求导

  因为交叉熵损失函数中包含了Softmax函数，所以先求导Softmax。

  对于公式（3），输入 z iz_i zi​是全连接层的输出logits中的第$i$个，所以我们对 z iz_i zi​求导。但是因为Softmax公式的的分母包含了所有元素，所以为了方便计算，我们搞一个新变量，对 z jz_j zj​求导。

  观察公式（3）的形状可知，Softmax函数是形如 g(x)h(x) \frac{g(x)}{h(x)} h(x)g(x)​的函数，它的求导公式如公式（4）所示：

∂ a i∂ z j =g ′(x)h(x)− h ′(x)g(x) h 2(x) \begin{align} \frac{\partial a_i}{\partial z_j} = \frac{g'(x)h(x) – h'(x)g(x)}{h^2(x)} \end{align} ∂zj​∂ai​​=h2(x)g′(x)h(x)−h′(x)g(x)​​​

  所以要得到Softmax的导数只需要知道 e zi e^{z_i} ezi​与∑ e zk \sum e^{z_k} ∑ezk​的导数即可。

  ·当$i=j$时， e zi e^{z_i} ezi​对 z jz_j zj​求偏导结果为 e zi e^{z_i} ezi​或者 e zj e^{z_j} ezj​都可以，因为$i=j$；
  ·当$i\ne j$时， e z i e^{z_i}ezi​对 zj z_jzj​求偏导结果为0，因为此刻 zi z_izi​和 zj z_jzj​是两个不同的变量，所以求导为0；
  ·∑ e zk \sum e^{z_k} ∑ezk​对 z jz_j zj​求偏导结果为 e zk e^{z_k} ezk​，因为求和项里面总有一个 e zk e^{z_k} ezk​。

  于是当$i=j$时，Softmax公式求导过程如公式（5）：

∂ a i∂ z j=∂e zi∑ e z k ∂ zj=e z i⋅ ∑ e z k− e z i⋅ e z j( ∑ e z k)2=e zi∑ e z k −e zi∑ e z k ⋅e zj∑ e z k= ai( 1 − aj)(5) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{e^{z_i} \cdot \sum e^{z_k} – e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= \frac{e^{z_i}}{\sum e^{z_k}} – \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &=a_i(1 – a_j) \end{split} \tag{5} ∂zj​∂ai​​​=∂zj​∂∑ezk​ezi​​​=(∑ezk​)2ezi​⋅∑ezk​−ezi​⋅ezj​​=∑ezk​ezi​​−∑ezk​ezi​​⋅∑ezk​ezj​​=ai​(1−aj​)​(5)

  当$i\ne j$时，Softmax公式求导过程如公式（6）：

∂ a i∂ z j=∂e zi∑ e z k ∂ zj=0 ⋅ ∑ e z k− e z i⋅ e z j( ∑ e z k)2= −e zi∑ e z k ⋅e zj∑ e z k= − aiaj (6) \begin{split} \frac{\partial a_i}{\partial z_j} &= \frac{\partial \frac{e^{z_i}}{\sum e^{z_k}}}{\partial z_j} \\ &= \frac{0\cdot \sum e^{z_k} – e^{z_i} \cdot e^{z_j} }{(\sum e^{z_k})^2} \\ &= – \frac{e^{z_i}}{\sum e^{z_k}} \cdot \frac{e^{z_j}}{\sum e^{z_k}} \\ &= -a_ia_j \end{split} \tag{6} ∂zj​∂ai​​​=∂zj​∂∑ezk​ezi​​​=(∑ezk​)20⋅∑ezk​−ezi​⋅ezj​​=−∑ezk​ezi​​⋅∑ezk​ezj​​=−ai​aj​​(6)

对交叉熵损失函数求导

  对交叉熵损失函数求导可以一直顺利的求到分类讨论前，如公式（7）所示。其中labe l ilabel_i labeli​是常数，所以提出来了。

∂L∂ z j=∂ L ∂ ai∂ ai∂ zj= − l a b e li ∂ ( ∑ ln ⁡ ai) ∂ ai∂ ai∂ zj= − l a b e li( ∑ 1 a i)∂ ai∂ zj(7) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ \end{split} \tag{7} ∂zj​∂L​​=∂ai​∂L​∂zj​∂ai​​=−labeli​∂ai​∂(∑lnai​)​∂zj​∂ai​​=−labeli​(∑ai​1​)∂zj​∂ai​​​(7)

  接下来分类讨论：

    ·当$i=j$时：

= − l a b e li1 a iai( 1 − aj) = − l a b e li( 1 − aj)(8) =-label_i \frac{1}{a_i}a_i(1 – a_j)=-label_i (1 – a_j)\tag{8} =−labeli​ai​1​ai​(1−aj​)=−labeli​(1−aj​)(8)

    ·当$i\ne j$时：

= − l a b e li∑ i ≠ j1 a i( − aiaj) = l a b e li∑ i ≠ jaj (9) =-label_i \sum_{i \not= j} \frac{1}{a_i} (-a_ia_j) = label_i \sum_{i \not= j} a_j\tag{9} =−labeli​i=j∑​ai​1​(−ai​aj​)=labeli​i=j∑​aj​(9)

  然后就会发现式（8）和式（9）相加就会把式（9）少的那个 a ja_j aj​拼回去，于是式（7）最终求导为：

∂L∂ z j=∂ L ∂ ai∂ ai∂ zj= − l a b e li ∂ ( ∑ ln ⁡ ai) ∂ ai∂ ai∂ zj= − l a b e li( ∑ 1 a i)∂ ai∂ zj= − l a b e li[ 1 − aj− ∑ i ≠ jaj]= l a b e li[ ∑ aj− 1 ]= l a b e li∑ aj− l a b e li (10) \begin{split} \frac{\partial L}{\partial z_j} &= \frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_j} \\ &= -label_i \frac{\partial (\sum \ln a_i)}{\partial a_i} \frac{\partial a_i}{\partial z_j} \\ &= -label_i (\sum\frac{1}{a_i}) \frac{\partial a_i}{\partial z_j} \\ &= -label_i [1 – a_j- \sum_{i \not= j} a_j] \\ &= label_i [\sum a_j – 1] \\ &= label_i \sum a_j – label_i \\ \end{split} \tag{10} ∂zj​∂L​​=∂ai​∂L​∂zj​∂ai​​=−labeli​∂ai​∂(∑lnai​)​∂zj​∂ai​​=−labeli​(∑ai​1​)∂zj​∂ai​​=−labeli​[1−aj​−i=j∑​aj​]=labeli​[∑aj​−1]=labeli​∑aj​−labeli​​(10)