讲清楚什么是线搜索line search

翻译自[1]
翻译如下:
优化理论中包含两种策略:
1.line
2.trust
牛顿法(求函数的解集)和二阶牛顿法(求函数最小值)都是用来寻找线搜索中的梯度方向的,换言之,两种牛顿法是line 的子集 。‘
下面的 use就是线搜索的流程 。
第3-5 step其实就是牛顿法以及反向传播的流程,只不过在line 上进行修改 。
总结:line 其实就是指代某个算法,资料中提到这个的时候,也就是起到一个略装逼的作用 。
:
【讲清楚什么是线搜索line search】[1]