第196章 万年一遇(3 / 3)
真正触及ai核心的部分,他是在计算学习理论里打通的。
vc维、rademacher复杂度、泛化误差界,这些决定模型到底“到底能不能真正学会”的理论,他不只是看懂,而是亲手推导每一条界的鬆弛与收紧,理解深度学习为何能在参数远超样本量的情况下,依然不崩、不烂、不记住噪声。
再往上,是表示学习与流形学习。
他默认高维数据本就落在低维光滑流形上,用黎曼几何的眼光去看梯度下降,把优化过程理解成流形上的测地运动,而不是简单的向量更新。
那些別人靠“炼丹”碰运气的结构设计,在他这里,变成了拓扑不变量与几何先验的严谨选择。
最前沿的部分,他则直接扎进神经符號系统与因果推理的研究领域。 ↑返回顶部↑
vc维、rademacher复杂度、泛化误差界,这些决定模型到底“到底能不能真正学会”的理论,他不只是看懂,而是亲手推导每一条界的鬆弛与收紧,理解深度学习为何能在参数远超样本量的情况下,依然不崩、不烂、不记住噪声。
再往上,是表示学习与流形学习。
他默认高维数据本就落在低维光滑流形上,用黎曼几何的眼光去看梯度下降,把优化过程理解成流形上的测地运动,而不是简单的向量更新。
那些別人靠“炼丹”碰运气的结构设计,在他这里,变成了拓扑不变量与几何先验的严谨选择。
最前沿的部分,他则直接扎进神经符號系统与因果推理的研究领域。 ↑返回顶部↑