第636章 AlexNet登场（2 / 3）
“但你看gpu。它精简了复杂的控制逻辑，把晶片面积全留给了几百上千个小计算核心。”亚歷克斯指著那些数字。
“深度神经网络的核心运算是什么？就是海量的加减乘除和取最大值。根本不需要复杂的逻辑跳转。”亚歷克斯看著两人。
“让几个全能的cpu核心排队去处理上百万次简单的乘法运算，这完全是资源错配。”亚歷克斯拋出核心论点。
“而gpu的几百个核心，可以把这上百万次乘法拆解开，同步进行並行计算。这才是真正的算力匹配！”亚歷克斯提高了音量。
教研室里安静了几秒钟。
伊利亚的大脑飞速运转，推演著亚歷克斯的设想。
“如果真能把我们的代码通过cuda接口迁移到gpu上……”伊利亚喃喃自语。
“几百个核心同时进行矩阵运算，训练速度绝对会成百倍上升！以前需要一个月的模型，可能两天就能跑出结果！”亚歷克斯接上了伊利亚的话。
辛顿听完亚歷克斯的长篇大论，陷入了深深的思考。
他站起身，走到白板前，看著亚歷克斯写下的对比数据。
“2006年的时候，我一直在研究深层网络训练难的问题。”辛顿缓缓开口。
亚歷克斯和伊利亚都安静地听著导师的復盘。
“由於信號在传播过程中会逐层衰减，也就是梯度消失，导致网络根本无法有效训练。”辛顿指出当年的痛点。
“后来我提出了逐层预训练的方法。先逐层训练好每一层的参数，再堆叠起来整体训练。”辛顿回顾著自己的理论成果。
“这个理论证明了深度的价值，奠定了基础，但实际操作中，算力一直是我们跨不过去的天堑。”辛顿嘆了口气。
他转过身，看著亚歷克斯，脸上露出了讚赏的笑容。
“亚歷克斯，你今天提出来的这个思路非常合理。如果gpu的並行计算真的能解决算力问题，我们就能探索更深层的网络。”辛顿给出了肯定的答覆。
亚歷克斯兴奋地搓了搓手。
“既然英伟达想借这个比赛推广技术，那我们就顺水推舟，用他们的硬体拿个冠军。这绝对是一次双贏。”亚歷克斯分析著局面。
这一切的提前发生，自然是源於夏冬重生產生的蝴蝶效应。
原本的时空里，亚歷克斯要再过两年才会用gpu在imagenet上一战封神。
但现在，因为夏冬在太平洋彼岸搅动的风云，促使老黄感受到了危机，提前加大了对cuda的宣传。
这股算力的东风，恰好吹到了正为进度发愁的亚歷克斯面前。
辛顿看著这两个干劲十足的学生，做出了决定。
“伊利亚，亚歷克斯，你们两个马上去比赛官网註册报名。我们用实际行动测试这个设想。”辛顿下达指令。
“记得报名的时候把我也加上，这种见证技术突破的时刻，我不想错过。”辛顿笑著宣布加入队伍。
亚歷克斯凑到伊利亚的电脑前。
“那我们团队叫什么名字？总得有个酷一点的代码代號。”亚歷克斯询问。
辛顿看著亚歷克斯。
“这个提议是你发现並提出来的，底层的gpu接口调试肯定也要靠你。名字的话，就用亚歷克斯命名吧。”辛顿直接拍板。 ↑返回顶部↑
“深度神经网络的核心运算是什么？就是海量的加减乘除和取最大值。根本不需要复杂的逻辑跳转。”亚歷克斯看著两人。
“让几个全能的cpu核心排队去处理上百万次简单的乘法运算，这完全是资源错配。”亚歷克斯拋出核心论点。
“而gpu的几百个核心，可以把这上百万次乘法拆解开，同步进行並行计算。这才是真正的算力匹配！”亚歷克斯提高了音量。
教研室里安静了几秒钟。
伊利亚的大脑飞速运转，推演著亚歷克斯的设想。
“如果真能把我们的代码通过cuda接口迁移到gpu上……”伊利亚喃喃自语。
“几百个核心同时进行矩阵运算，训练速度绝对会成百倍上升！以前需要一个月的模型，可能两天就能跑出结果！”亚歷克斯接上了伊利亚的话。
辛顿听完亚歷克斯的长篇大论，陷入了深深的思考。
他站起身，走到白板前，看著亚歷克斯写下的对比数据。
“2006年的时候，我一直在研究深层网络训练难的问题。”辛顿缓缓开口。
亚歷克斯和伊利亚都安静地听著导师的復盘。
“由於信號在传播过程中会逐层衰减，也就是梯度消失，导致网络根本无法有效训练。”辛顿指出当年的痛点。
“后来我提出了逐层预训练的方法。先逐层训练好每一层的参数，再堆叠起来整体训练。”辛顿回顾著自己的理论成果。
“这个理论证明了深度的价值，奠定了基础，但实际操作中，算力一直是我们跨不过去的天堑。”辛顿嘆了口气。
他转过身，看著亚歷克斯，脸上露出了讚赏的笑容。
“亚歷克斯，你今天提出来的这个思路非常合理。如果gpu的並行计算真的能解决算力问题，我们就能探索更深层的网络。”辛顿给出了肯定的答覆。
亚歷克斯兴奋地搓了搓手。
“既然英伟达想借这个比赛推广技术，那我们就顺水推舟，用他们的硬体拿个冠军。这绝对是一次双贏。”亚歷克斯分析著局面。
这一切的提前发生，自然是源於夏冬重生產生的蝴蝶效应。
原本的时空里，亚歷克斯要再过两年才会用gpu在imagenet上一战封神。
但现在，因为夏冬在太平洋彼岸搅动的风云，促使老黄感受到了危机，提前加大了对cuda的宣传。
这股算力的东风，恰好吹到了正为进度发愁的亚歷克斯面前。
辛顿看著这两个干劲十足的学生，做出了决定。
“伊利亚，亚歷克斯，你们两个马上去比赛官网註册报名。我们用实际行动测试这个设想。”辛顿下达指令。
“记得报名的时候把我也加上，这种见证技术突破的时刻，我不想错过。”辛顿笑著宣布加入队伍。
亚歷克斯凑到伊利亚的电脑前。
“那我们团队叫什么名字？总得有个酷一点的代码代號。”亚歷克斯询问。
辛顿看著亚歷克斯。
“这个提议是你发现並提出来的，底层的gpu接口调试肯定也要靠你。名字的话，就用亚歷克斯命名吧。”辛顿直接拍板。 ↑返回顶部↑