Residual Connection

释义 Definition

残差连接 / 跳跃连接：深度学习神经网络中的一种结构，把某一层（或若干层）的输入 直接加到 后续层的输出上（常见形式：y = F(x) + x）。它有助于缓解深层网络训练中的梯度消失与退化问题，使信息与梯度更容易在网络中传播。（在不同实现里也可能用拼接等方式，但最常见是“相加”的 skip connection。）

发音 Pronunciation (IPA)

/rzdul knkn/

例句 Examples

A residual connection helps a very deep network train better.
残差连接能帮助非常深的网络更好地训练。

In this model, residual connections let earlier features flow forward, improving accuracy without making optimization unstable.
在这个模型中，残差连接让较早层的特征向前传递，在不让优化变得不稳定的情况下提升了准确率。

词源 Etymology

residual 意为“残余的、剩余的”，在数学与工程里常指“误差/残差”；connection 为“连接”。“Residual connection”这一说法在深度学习中随着 ResNet（残差网络） 的提出而广泛流行，用来描述“把输入作为‘残差路径’绕过若干层并与输出相加”的连接方式。

文献与著作 Literary Works

Kaiming He et al. (2015), Deep Residual Learning for Image Recognition（提出 ResNet，系统阐述 residual connection）
Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016), Deep Learning（深度学习教材中讨论深层网络训练难点与相关技巧，常与残差思想并读）
Ashish Vaswani et al. (2017), Attention Is All You Need（Transformer 结构中广泛使用残差连接与层归一化）