标签：深度学习 - 技术文章—

micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。反向传播算法可以高效计算出神经网络中损失函数关于训练权重的梯度，使得可通过快速迭代

反向传播四公式：　　反向传播的最终目的是求得使代价C最小时w、b的最佳值，为了方便计算引入了神经单元误差δ_j^l，其定义为误差C关于某个神经单元z的关系；　　其定义如上所示，某神经元误差为代价C（总误差）关于z的偏导数，其中l为神经网络的层数，j为第几个神经元；　　这里的代价函数（

BP神经网络

神经网络理论　　BP神经网络（Back Propagation Neural Network）为多层前馈神经网络用得比较广泛，该神经网络先通过前向传播取得估计值，后再使用误差进行反向传播通过梯度下降来不断地更新权重从而取得最小误差从中学习得最佳权重系数；从BP神经网络的名字也知道该算法的核心为反向

2025-01-14

AI Agents(智能体)是什么能做什么

自动求导实现与可视化