深度学习相关记录《一》

SSE凸函数最小值的一般方法，也就是最著名的最小二乘法；求解最小值的一般方法：1).对于一元函数，如果存在导数为0的点，则该点就是最小值点；2). 对于多元函数，如果存在某一点，使得函数的各个自变量的偏导数都为0，则该点就是最小值点。因此，对于凸函数的最小值求解，最基本的出发点就是寻求导数为0的点。而最小二乘法也是基于偏导函数取值为0联立的方程组进行的求解。边界点：比如y关于x在定义域（1,30]

热爱生活的猴子

511人浏览 · 2024-03-18 13:57:04

热爱生活的猴子 · 2024-03-18 13:57:04 发布

SSE凸函数最小值的一般方法，也就是最著名的最小二乘法；
求解最小值的一般方法：
1). 对于一元函数，如果存在导数为0的点，则该点就是最小值点；
2). 对于多元函数，如果存在某一点，使得函数的各个自变量的偏导数都为0，则该点就是最小值点。
因此，对于凸函数的最小值求解，最基本的出发点就是寻求导数为0的点。而最小二乘法也是基于偏导函数取值为0联立的方程组进行的求解。
边界点：比如y关于x在定义域（1,30]内的函数，那1和30就是y的边界点；
驻点：函数导数为0的点；
拐点：左右两边函数凹凸性发生变化的点。
凸函数：函数任意两点y取值的均值大于这两点均值的y值，该函数为凸函数。比如y=x^2
在机器学习中，最小二乘法是求解凸优化问题的重要工具。
利用偏导等于0得出的方程组求解线性回归方程参数，就是最小二乘法求解过程。
可微一定可导，但可导不一定可微。可导必连续，连续不一定可导，比如y=|x|，左侧导数为-1，右侧导数为1。函数可导且连续才可微。
梯度gradf(x0,y0)的方向与等值线上这点的一个法线向量相同，它的指向为从数值较低的等值线指向数值较高的等值线，梯度的模就等于函数在这个法线方向的方向导数。
梯度方向是函数值增加最快的方向，对于多元函数，梯度是一个向量，它的方向就是函数在该点处增加最快的方向，而梯度的模（大小）则是该方向上的导数值，即函数值沿该方向的变化率。换句话说，函数在某点的梯度方向，就是取得最大方向导数的方向，因此函数值沿着这个方向的变化率最大，即增加最快。