机器人中的数值优化（五）——信赖域方法

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例

七、信赖域方法

1、信赖域方法简介

信赖域方法（Trust Region Methods）是一种用于非线性优化的数值优化方法，旨在寻找目标函数的最小值。信赖域算法是一种迭代算法，即从给定的初始解出发，通过逐步迭代，不断改进，直到获得满意的近似最优解为止。其基本思想是把最优化问题转化为一系列简单的局部寻优问题。

它的核心思想是在当前点的局部模型和真实模型之间建立一个可信区域（Trust Region），并在可信区域内寻找更优的解。

该方法在解决非线性优化问题时，常使用局部二次模型来近似目标函数，并在每个迭代步骤中解决这个二次模型的最小化问题。信赖域方法是求解非线性最优化问题的有效方法之一，广泛应用于计算机视觉、机器学习、优化控制等领域。

2、信赖域方法基本思想

信赖域方法的基本思想是将问题分解为多个步骤。首先，用一个二次模型来近似目标函数，这个模型只在一个局部域内是准确的。其次，在这个局部域内求解二次模型的最小值。最后，使用这个最小值来更新优化变量，然后检查更新后的函数值是否小于当前的函数值。如果是，则扩大局部域的半径，否则缩小局部域的半径，以此控制每个步骤的更新大小。

那么为什么要构建局部模型，而不使用真实模型呢？

假设在点 $x_k$ 处，我们欲求下降方向 $d_x$ ，若直接求解极小值问题 $min f(x_k+ d)$ 去得到 $d_k$ ，那么这个问题与原问题复杂程度相同，而关于方向d的问题应该是相对简单、易求的。所以，解决这个问题简单可行的方法是:利用Taylor展式,在点 $x_k$ 的邻域中,使用 $f(x_k+ d)$ 的一阶近似函数或二阶近似函数作为局部模型代替 $f(x_k+ d)$ 去求 $d_k$ 。（常使用二阶近似函数）,我们记这个局部模型函数为 $q_k(d)$ ．求取局部模型 $q_k(d)$ 的极小点，并将其作为迭代方向 $d_k$ ,即求

$)\operatorname*{min}_{d}q_{k}(d)$

$q_k(d)$ 近似 $f(x_k+ d)$ 的好坏,是受到 $x_k$ 处邻域大小的影响的.合适的邻域和合适的近似函数的选取,可以保证 $q_k(d)$ 是 $f(x_k+ d)$ 的一个好的近似函数，如取

$12dT∇2fkdq_k(d)=f_k + \nabla f_k^T d + \frac{1}{2} d^T \nabla^2 f_k d$

当||d||较小时， $q_k(d)$ 近似 $f(x_k+ d)$ 的误差亦小．如果 $x_k$ 处的邻域太大,就无法保证 $q_k(d)$ 是 $f(x_k+ d)$ 的好的近似函数，此时可能会出现 $q_k(d)$ 的极小点与目标函数 $f(x_k+ d)$ 的极小点相差甚远的情况. 而邻域的大小决定了步长的长短，太短的步长会增加算法的迭代次数，影响算法的收敛速度，所以领域也不能取得过小。

因此,每步迭代在 $x_k$ 处选择一个合适的邻域，在这个邻域中求解 $k(d)\operatorname*{min}_{d}q_{k}(d)$ ，这就是信赖域方法的思想.这个邻域,我们称之为信赖域,即在此信赖域中,我们相信 $q_k(d)$ 是 $f(x_k+ d)$ 的好的近似函数.

假定在第k步迭代已得 $x_k$ 以及信赖域的半径 $k\Delta_k$ ，则信赖域的子问题即为求解如下表达式，得到 $d_k$

$0\begin{array}{l}\min q_k(d),\\ \textrm{s.t.}\|d\|\leqslant\Delta_k,\Delta_k>0\end{array}$

在得到新的迭代点 $x_{k+1}=x_k+d_k$ 之后,我们可以判断 $k\Delta_k$ 是否是下一步迭代的合适的信赖域半径,若不合适,可以修正 $k\Delta_k$ 得下一步迭代的 $\Delta_{k+1}$ ，上式中的范数可依方法而定。

那么如何衡量 $k\Delta_k$ 是否是下一步迭代的合适的信赖域半径呢？

应该根据 $x_k$ 处 $q_k(d)$ 近似 $f(x_k+ d)$ 的好坏来确定，具体来说，可以根据从 $x_k$ 到 $x_k+d_k$ ， $f (x)$ 的实际减少量 $k\Delta f_k$ 与近似函数 $q_k(d)$ 的减少量 $k\Delta q_k$ 之比 $k\gamma_k$ 来衡量，其中 $q_k(0)=f(x_k)$

$k\begin{array}{l}\Delta f_k=f(x_k)-f(x_k+d_k)\\ \\ \Delta q_k=q_k(0)-q_k(d_k)\\ \\ \gamma_k=\dfrac{\Delta f_k}{\Delta q_k}\end{array}$

$k\gamma_k$ 接近1时,表明 $q_k(d)$ 近似 $f(x_k+ d)$ 的程度好，下一步迭代应增大 $k\Delta_k$ ;当 $k\gamma_k$ 为接近于零的正数时,表明 $q_k(d)$ 近似 $f(x_k+ d)$ 的程度不好,下一步迭代应减小 $k\Delta_k$ ;当 $k\gamma_k$ 为零或负数时，说明 $f(x_k+ d_k)≥ f(x_k)$ ， $x_k+ d_k$ 不应被接受为下一步的迭代点，这时只应缩小信赖域的半径 $k\gamma_k$ :,并重新求解。

3、信赖域方法的具体步骤

（1）初始化：选择一个初始点 $x_0$ ，设定信赖域的初始大小 $0\Delta_0$ ，初始化迭代次数k=0。

（2）开始迭代：判断是否满足终止条件（例如目标函数的值达到了一定的精度），若满足则输出 $x_k$ ，迭代停止

（3）构建局部模型：在当前点 $x_k$ 处，构建一个局部二次模型，

$12dT∇2fkdq_k(d)=f_k + \nabla f_k^T d + \frac{1}{2} d^T \nabla^2 f_k d$

其中， $f_k$ 是目标函数在 $x_k$ 处的函数值， $k\nabla f_k$ 是目标函数在 $x_k$ 处的梯度， $k\nabla^2 f_k$ 是目标函数在 $x_k$ 处的Hessian矩阵的近似值。

（4）寻找下降方向：求解 $q_k(d)$ 的最小值 $d_k$ ，满足 $k|d_k| \leq \Delta_k$ ，其中 $k\Delta_k$ 是当前信赖域的半径。

（5）计算实际下降量和预测下降量：计算从 $x_k$ 到 $x_k+d_k$ ， $f (x)$ 的实际减少量 $k\Delta f_k$ 与近似函数 $q_k(d)$ 的减少量 $k\Delta q_k$ 之比 $k\gamma_k$

（6）更新信赖域大小：根据比值 $k\gamma_k$ 的大小更新信赖域大小

如果 $k\gamma_k$ 一定程度上接近于1（比如说 $k\gamma_k$ >0.75）说明局部模型对目标函数有较好的拟合效果，可以增加信赖域的大小 $⁡)\Delta_{k+1}=\min(\gamma_2 \Delta_k, \Delta_{\max})$ ，其中 $2>1\gamma_2>1$ 是一个大于1的常数， $⁡\Delta_{\max}$ 是信赖域大小的上限。

如果 $k\gamma_k$ 一定程度上接近于0（比如说 $k\gamma_k$ <0.25）说明局部模型对目标函数的拟合效果较差，应该减少信赖域的大小 $k\Delta_{k+1}=\gamma_1 \Delta_k$ ，其中 $1<10<\gamma_1<1$ 是一个小于1的常数。

如果 $k\gamma_k$ 位于0~1之间，既不靠近0也不靠近1（比如说0.25< $k\gamma_k$ <0.75）说明局部模型对目标函数的拟合效果既不好也不坏，可以保持信赖域不变 $k\Delta_{k+1}=\Delta_k$ 。

（7）判断是否接受新的点 $x_{k+1}=x_k+d_k$ 。

如果 $k\gamma_k$ <=0，说明 $f(x_k+ d_k)≥ f(x_k)$ ， $x_k+ d_k$ 不应被接受为下一步的迭代点，取 $x_{k+1}=x_k$ ，转到第（2）步继续迭代，重新求取第k次迭代的解。

如果 $k\gamma_k$ >0，说明 $f(x_k+ d_k)< f(x_k)$ ， $x_k+ d_k$ 可以被接受为下一步的迭代点，取 $x_{k+1}=x_k+d_k$ ，并将迭代数加1，即k=k+1，转到第（2）步继续迭代。

4、总结

与线搜索方法先在 $x_k$ 点求得下降方向 $d_k$ ,再沿 $d_k$ 方向确定步长 $a_k$ 不同，信赖域方法是先限定步长的范围,再同时确定下降方向 $d_k$ 和步长 $a_k$ 。

信赖域方法相对于其他优化算法的优点在于它可以保证每次迭代都可以得到一个可行解，并且可以保证在可信区域内寻找更优的解，从而增加算法的稳定性和可靠性。此外，信赖域方法也可以灵活地处理约束条件和不等式约束问题。

然而，信赖域方法也存在一些缺点。例如，它可能会陷入局部最优解，并且每次迭代需要计算Hessian矩阵或其近似，计算成本较高。同时，信赖域大小的选取也需要一定的经验和调试。

总的来说，信赖域方法是一种有效的非线性优化算法，可以用于解决一类较为复杂的优化问题。

参考资料：

1、机器人中的数值优化

2、信赖域算法

3、数值最优化方法（高立编著）

机器人中的数值优化（五）——信赖域方法

最新关注

热文推荐

利用CI机制管控jar依赖树

16、技巧之九: 修改参数，如何让表格翻页滚动到底部?【Selenium+Python3网页自动化总结】

（附源码）python+mysql+基于python的学生成绩管理系统毕业设计071143

uniapp使用Vant-weapp（最新）

计算机设计大赛深度学习+python+opencv实现动物识别 – 图像识别

机器学习8-决策树

机器人中的数值优化（五）——信赖域方法

相关文章

最新关注

热文推荐