第394章 知己者，莫若东也

第394章 知己者，莫若东也 (第1/2页)

讲到这儿，台下的学生就有点撑不住了。
　　
　　他们才大二啊。
　　
　　这帮人虽说不少都已经上手做起了自己的AI项目，模型调起来一个比一个溜，可姚先生今天讲的这个，实在太特麽垂直了。
　　
　　这已经不是“会不会用”的层面。
　　
　　这是得专门钻进深度学习的数学理论里头，整天跟损失景观、隐式偏置、泛化边界这些东西打交道的人，才跟得上的东西。
　　
　　随着姚先生的讲解，黑板上的公式越堆越多。
　　
　　【Θ(x，x′)=??f/?θ，?f/?θ?……】
　　
　　底下勉强还能跟上的人，越来越少。
　　
　　有人已经开始小声地议论了起来。
　　
　　“姚先生今天这……跟平时不太一样啊？”
　　
　　这话说到了点子上。
　　
　　平时姚先生上课，是出了名的深入浅出。
　　
　　再难的东西，他总能用一些大家听的动的例子来讲解，把学问讲得有趣，好懂。
　　
　　可今天他讲的这些什麽过参数化的损失景观，梯度下降的隐式偏置，还有那个懒惰训练背後的NTK机制……
　　
　　这根本就不是给一群大二智班学生准备的东西。
　　
　　这像是讲给同行听的。
　　
　　然而坐在後排的李东，却听得津津有味。
　　
　　这些东西，有一些他也不是全懂。
　　
　　哪怕这一个礼拜，他几乎把市面上能找着的AI论文、文献、测评，一篇不落地全塞进了记忆宫殿。
　　
　　可记忆宫殿这玩意儿，说到底只是个仓库。
　　
　　它能存，却不能替李东啃透。
　　
　　那些论文这一篇是讲损失景观，那一篇是讲泛化，另一篇又在讲什麽核方法，李东完全没办法将它们有序的关联起来。。
　　
　　而姚先生此刻在台上讲的这些，就像一根针线，终於将这些串联了起来。
　　
　　损失景观为什麽会连成片，连成片之後梯度下降凭什麽偏心，偏心又怎麽扯到了核方法的头上……
　　
　　原来，它们讲的是同一件事。
　　
　　……
　　
　　就在李东顺着这根线往下捋的时候。
　　
　　台上的姚先生，忽然停了下来，低头看着教案，似乎是在等底下的同学消化。
　　
　　教室里，一下子就静了。
　　
　　李东还沉浸在刚才的思路里没出来，姚先生讲的那个懒惰训练有个地方他一时没搞明白。
　　
　　於是他下意识地就喃喃自语了一句。
　　
　　“……可它要是一直这麽懒，那它到底是从什麽时候起，才真正学到东西的呢？”
　　
　　声音不大。
　　
　　可教室太静了，这一句话就显得格外的清楚了。
　　
　　姚先生本来还低头看着教案，听见这一声，他抬起了头。
　　
　　目光落到後排的李东身上，他笑了笑。
　　
　　“李东教授，你这个问题，问得很好，”老人慢条斯理地说道，“网络要是真就一直这麽懒、一直围着起点打转，那它顶多算个换了身皮的核方法，谈不上学到什麽新东西。它真正开始学，是从它肯挪窝、肯把那些旋钮往远了拧、在底层自己长出一套有用特征来的那一刻起的。”
　　
　　“这中间隔着的那道坎叫逃离NTK机制，进入特征学习。”
　　
　　“至於这道坎卡在哪儿，又该怎麽迈过去……”
　　
　　姚先生笑着摇了摇头。
　　
　　

（本章未完，请点击下一页继续阅读）