神经网络基本原理（二）

连接权重：神经元之的链接都有一个权重值，它决定了一个神经元的输出对另一个神经元输入的影响程度。权重越大，说明一个神经元对后一个神经元的影响越大。在训练过程中，权重会不断调整，一使神经网络能够更好的完成任务。例如在预测房价的神经网络中，如果某个特征（如房间数量）与房价的关系更密切，那么连接该特征与输出层的权重就会较大。

激活函数：用于对神经元的加权求和结果进行非线性变换，使神经网络能够处理非线性问题。常见的激活函数有Sigmoid、ReLU等。以ReLU函数为例，当输入大于0时，输出等于输入；当输入小于等于0时，输出为0。这种非线性特性是的神经网络能够学习到更复杂的函数关系，比如可以将图像中的线性特征结合成更复杂的非线性特征从而提高识别精度。

训练与学习

损失函数：用于衡量神经网络的预测结果与真实结果之间的差异，如均方误差、交叉熵等。在训练过程中，目标是最小化损失函数的值。

优化算法：随机梯度下降等优化算法用于更新权重，以减小损失函数对权重的梯度来调整权重，使得神经网络逐渐收敛到一个较好的参数状态。

反向传播：在训练中，通过反向传播算法来计算损失函数对每个权重的梯度。它从输出层开始，将误差反向传播到每一层，依次计算每一层的梯度，然后根据梯度更新权重。