常见的优化算法有哪些?他们各自的优缺点是什么? - 知乎
时间:2024-03-11 12:19:44 浏览:
次
什么是优化?题外话就是,优化本身就是数学的一个分支,所以其本身就是数学基础,而且用到的其他数学基础的知识不多。 优化一般需要高数和线性代数的知识,尤其是线代的知识。 我先介绍一下重点需要了解的知识。 但是其实用到的地方不多。 高数主要是利用导数和微分求解梯度,利用 泰勒展开 (多维) 对目标函数进行估计,利用极限计算收敛速度。 线性代数更重要一点,因为优化的研究对象一般是多变量函数 ,多变量及关系式可以用向量和矩阵表示。 所以要熟悉向量和矩阵的计算。 其中最重要的是向量和矩阵导数的计算 (矩阵乘法,向量和矩阵求导),特别需要关注的是 梯度(向量的一阶导)和Hessian矩阵(向量的二阶导)的计算。 这个要特别熟悉,因为大多数优化算法通过计算梯度获取一个搜索方向,然后沿着搜索方向不断迭代找到最优解。