即使学习率α不变,梯度下降也会在趋近最优点的过程中,由于导数的减小,自动缩小步伐,直至到达最优点
2-7 线性回归的梯度下降 在线性回归函数中,运用梯度下降算法求解最小化代价函数,最关键的问题是写好更新θ_j的算法 。
在梯度下降算法中带入线性回归函数函数,得到如下图所示的赋值等式:
第一次介绍梯度下降算法时,介绍了梯度下降算法容易陷入局部最优解,如下所示:
但是,在线性回归的代价函数中,只有一个最优解 。
计算这种代价函数时,只要使用线性回归函数,它总是能收敛到全局最优 。当θ_0,θ_1逐步向中心点靠近,假设函数h(θ_x)找到最优拟合曲线 。
刚刚所使用的梯度下降算法又名Batch算法:在每一步的梯度下降中,使用了所有的训练样本 。
3-3 矩阵向量乘法
利用矩阵向量乘法,简化预测房子价格的代码:
- 斯坦福大学吴恩达教授Machine Learning课程笔记
- 吴恩达机器学习:初探机器学习
- 【机器学习】吴恩达机器学习系列笔记
- 吴恩达机器学习1.1-1.4笔记
- python可以构建sem模型_【九枝兰】如何将机器学习应用到SEM账户中
- 数据结构·找数
- 2、第一个Mybatis程序
- 吴恩达ML简略总结
- 主题 机器人编程趣味实践07-信息交互
- 【开启新阶段】进入本科末段学习的计划