标签：梯度下降法 - 技术文章—

自动求导实现与可视化

micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度，使得可通过快速迭代

反向传播算法—从四个基本公式说起

反向传播四公式：　　反向传播的最终目的是求得使代价C最小时w、b的最佳值，为了方便计算引入了神经单元误差δ_j^l，其定义为误差C关于某个神经单元z的关系；　　其定义如上所示，某神经元误差为代价C（总误差）关于z的偏导数，其中l为神经网络的层数，j为第几个神经元；　　这里的代价函数（

逻辑回归

　　前面几篇文章介绍了线性回归算法，他们都属于线性模型现在这篇说的是逻辑回归，虽然都有回归二字却是非线性模型；逻辑回归的输出为特定离散值，用于判定数据的分类所以逻辑回归（Logistic regression）也称为分类模型；分类模型又有二分与多分类，逻辑回归通常用于二分类；以下内容为Stand

线性回归——梯度下降法_实例

　　上篇文章介绍了梯度下降法在线性回归中的相关理论与证明，这里使用程序实例代码方式看梯度下降法是怎样一步一步下降求出最优解的； X = [1 4;2 5;5 1;4 2]; y = [19;26;19;20]; m = length(y); alpha = 0.002; %步长 num_it

线性回归——梯度下降法

　　前面的文章讲了使用最小二乘法来求线性回归损失函数的最优解，最小二乘法为直接对梯度求导找出极值，为非迭代法；而本篇文章了使用一个新的方法来求损失函数的极值：梯度下降法（Gradient Descendent, GD），梯度下降法为最优化算法通常用于求解函数的极值，梯度下降法为迭代法，给定一个β在梯

2025-01-14

AI Agents(智能体)是什么能做什么