何恺明残差学习奠基东谈主的身份kai云体育app官方登录入口(中国)官方网站 IOS/安卓通用版/手机版，也被"挑战"了。

为什么要说"也"？因为发起斟酌的，又双叒是咱们熟习的J ü rgen Schmidhuber—— LSTM 之父。

不外这一次，他不是要把功劳揽到我方身上，而是替 LSTM 的另一位作家Sepp Hochreiter发声：

残差学习这把更正深度学习模式的 "钥匙"，其实早在 30 年前就仍是降生—— Sepp Hochreiter 在 1991 年就在使用轮回残差迷惑科罚梯度解除问题。

有一说一，J ü rgen 争 title 也不是第一次了，行为深度学习的前驱者，J ü rgen 自合计我方的早期孝敬被东谈主为忽视了。

ResNet 发布的同庚，深度学习三巨头Bengio、Hinton、LeCun在 Nature 上归并发表关系 DL 的综述论文，其中无数援用他们三东谈主的本身放荡，却对 J ü rgen 等东谈主一字不提。

就地他们伸开了长达多年的争论，尤其是在 18 年的图灵奖放荡公布后，J ü rgen 更是鸿章钜字写了篇征引 200 多条规件的小作文反击。

之后在GAN的原创争议上，两边亦然争执不断，要知谈 GAN 的冷落者恰是 Bengio 的风物门生。

而如今关系残差学习的创始之争，亦然因为 J ü rgen 自合计将残差学习这一放荡的发现绝对归因于何恺明团队有失偏颇。

不外正如网友所说：

从 Hochreiter 到 ResNet，后光随时辰递归持续。暗影是被拖沓的包摄，但真谛长久不变：1991 年的种子醒目着每一层。

30 年前的第一次冷落

J ü rgen Schmidhube 此次要讲的故事始于 1991 年。

其时照旧 J ü rgen 学生的Sepp Hochreiter，正在入部下手撰写我方的博士论文，也恰是在这篇论文里，他初度系统性分析了 RNN 的梯度解除问题，并冷落用轮回残差迷惑科罚。

轮回残差迷惑的中枢想想相等肤浅：一个具有恒等激活函数的神经单位自迷惑，且权重固定为 1.0，使其在每个时辰步中仅将输入重复到先前景况，该单位只行为增量积分器存在。

于是差错信号就能在反向传播中保握恒定，不会解除或爆炸。

不外与此前率性实数权重的自迷惑不同，只好权重严格为1.0，才调绝对幸免梯度问题。

接近 1.0 的近似值天然不错经受，但衰减慢度会随时辰加速，举例 0.99 的权重下差错信号会在 100 个时辰步后减少到原本的 37%（0.99 ¹ ⁰⁰≈ 37%），0.9 的权重则只好原本的 0.0027%（0.9 ¹ ⁰⁰≈ 0.0027%）。

但尽管如斯，这也为其后的深度学习残差想想奠定了表面基础。

直到 1997 年，J ü rgen 和 Hochreiter 共同冷落了著名的LSTM，在该表面的基础上杀青了进一步的扩张。

LSTM 的中枢单位是权重为 1.0 的轮回残差迷惑，也等于恒定差错轮盘（CECs），这一机制保证了差错可在数百乃至数千时辰步中保握不衰减，使 LSTM 能有用捕捉输入与输出之间的万古辰滞后，对语音、话语等任务至关梗阻。

另外这篇 LSTM 论文亦然20 世纪援用次数最多的东谈主工智能论文。

1999 年，LSTM 演变出新的形态vanilla LSTM，在原本的基础上加入了开动值为 1.0 的淡忘门，使其具备可控的残差迷惑，既能保握万古依赖，又能在需要时重置顾虑。

天然这么作念会重新引入一定的梯度解除，不外全体仍然处于可控景况。

到 2005 年，通逾期辰反向传播 （BPTT）算法，LSTM 不错伸开为深度前馈神经收集 （FNN），让每个输入序列的时辰步皆对应一个杜撰层，从而大幅加多了收集深度，不错处理更万古辰滞后。

而不管是轮回照旧前馈，残差迷惑长久依赖权重固定为 1.0。

接下来等于无人不晓的 2015 年，最初在同庚 5 月，需要优先说起Highway 收集的孝敬。

此前，基于反向传播的前馈神经收集的深度有限，只好 20 到 30 层，直到 Highway 收集的出现，才初度收效锻真金不怕火出上百层的深度前馈收集，比曩昔要深 10 倍以上。

其中枢是将 LSTM 的门控残差想想从轮回神经收集引入前馈收集，每层输出为 g ( x ) x+t ( x ) h ( x ) ，其中 x 是来自前一层的数据，g、t、h 默示带实值的非线性可微函数。

重要的残差部分 g ( x ) x 开动化为 1.0，让 Highway 收集既能保握雷同 ResNet 的纯残差迷惑，又能凭证任务需要，以依赖坎坷文的形状自适合转换残差流，从而大幅进步深度可锻真金不怕火性。

终末再到 12 月，ResNet在 ImageNet 竞赛中大获收效，透彻将残差学习带入全球视野。

ResNet 在残差部分操办上，与伸开的 LSTM 以及开动化的 Highway 收集相通，如若将 Highway 收集的门恒定缔造为 1.0，就不错获取纯残差收集 ResNet，而它们执行上皆是 1997 年的 LSTM 前馈变体。

ResNet 的残差迷惑允许差错在深层收辘集踏实传播，使收集概况锻真金不怕火数百层，但 J ü rgen 也指出，ResNet 论文中并莫得明确露出它执行上等于开部门控的 Highway 收集，二者之间存在相通的表率残差迷惑。

归来等于，LSTM 与 Highway 收集辩认奠定了轮回和前馈收集的深度锻真金不怕火基础，ResNet 则将这一旨趣收效哄骗于前馈收集，持续了自 1991 年 Hochreiter 创举的残差想想。

One More Thing

不外，这种说法现在仅代表 J ü rgen Schmidhuber 的个东谈主不雅点。（叠甲 doge）

因为这仍是不是他第一次对著名神经收集的发源冷落质疑。

早在 2021 年，他就公开默示，LSTM、ResNet、AlexNet、VGG Net、GAN 以及 Transformer，皆是受到了他实验室放荡的启发。

举例他合计 AlexNet 和 VGG Net 选拔了他们的 DanNet；GAN 是对他在 1990 年冷落的 Adversarial Curiosity 原则的哄骗；Transformer 的变体，即线性 Transformer，是对他冷落的快速权重存储系统的延迟。

但除了无可争议的 LSTM 包摄，其他几项于今皆莫得获取远大认同。

甚而繁衍出这么一种说法：" Schmidhuber is all you need. "

参考集合：

[ 1 ] https://x.com/SchmidhuberAI/status/1972300268550369631

[ 2 ] https://people.idsia.ch/~juergen/who-invented-residual-neural-networks.html

[ 3 ]

一键三连「点赞」「转发」「贯注心」

迎接在探究区留住你的主张！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名开启啦！咱们正在寻找 AI+ 期间领航者  点击了解驯服

❤️‍� �   企业、居品、东谈主物 3 大维度，共建造了 5 类奖项，迎接企业报名参与   � �  

一键柔柔 � � 点亮星标

科技前沿推崇逐日见kai云体育app官方登录入口(中国)官方网站 IOS/安卓通用版/手机版