第113章_算力方案（1 / 3）
第二天一早，沈一鸣就把自己关进了实验室。
昨晚他几乎没睡，整夜都在思考协同推理的具体实现。早上七点，左城到公司的时候，实验室的灯已经亮了。
“一鸣，你这是通宵了？“左城推门进去，看到沈一鸣趴在桌上睡著了。
沈一鸣揉揉眼睛坐起来：“城哥，我想出来了。“
他从桌上拿起一叠手绘的图纸：“你看，这是我设计的分布式边缘ai架构。“
左城接过图纸，仔细看著上面的线条和標註。
“每颗卫星不再运行一个完整的ai模型，而是运行一个精简版的决策代理。“沈一鸣指著图解释，“代理只负责局部决策，通过星间链路与其他代理通信。“
方泽这时候也走了进来，手里端著三杯咖啡。
“我来补充一下硬体层面的思路。“他把咖啡放下，“如果用协同推理的架构，单颗卫星的算力需求可以大幅降低。我们可以考虑用低功耗的嵌入式ai晶片。“
“功耗能压到多少？“左城问。
方泽调出一些测试数据：“我昨晚查了一下，目前行业里最低功耗的嵌入式ai晶片可以做到2瓦左右。如果用三四颗这样的晶片协同，功耗大概在6到8瓦。“
“还是超標。“沈一鸣皱眉，“目標必须压到5瓦以下。“
“与其用多颗低功耗晶片，不如把一个高性能晶片的模型压缩到极致。“左城突然开口。
沈一鸣眼睛一亮：“模型压缩？“
“对。“左城在白板上画了一个示意图，“如果我们能把ai模型的体积压缩到原来的三十分之一，同时保持80%以上的决策准確率，就能在单晶片上运行。“
方泽快速计算著：“寒武纪的mlu270功耗30瓦，如果压缩到三十分之一，理论上功耗可以降到1瓦左右。“
“问题是，我们现在的压缩技术能做到吗？“沈一鸣问。
左城打开系统面板，查看当前的叶片列表。
【科技树叶片】
- 神经网络基础
- 深度学习框架
- 强化学习策略
- 自然语言理解
- 计算机视觉
- 模型压缩优化
- 联邦学习
- 因果推理
- 生成式模型
- 梯度稀疏化压缩
模型压缩优化。 ↑返回顶部↑
昨晚他几乎没睡，整夜都在思考协同推理的具体实现。早上七点，左城到公司的时候，实验室的灯已经亮了。
“一鸣，你这是通宵了？“左城推门进去，看到沈一鸣趴在桌上睡著了。
沈一鸣揉揉眼睛坐起来：“城哥，我想出来了。“
他从桌上拿起一叠手绘的图纸：“你看，这是我设计的分布式边缘ai架构。“
左城接过图纸，仔细看著上面的线条和標註。
“每颗卫星不再运行一个完整的ai模型，而是运行一个精简版的决策代理。“沈一鸣指著图解释，“代理只负责局部决策，通过星间链路与其他代理通信。“
方泽这时候也走了进来，手里端著三杯咖啡。
“我来补充一下硬体层面的思路。“他把咖啡放下，“如果用协同推理的架构，单颗卫星的算力需求可以大幅降低。我们可以考虑用低功耗的嵌入式ai晶片。“
“功耗能压到多少？“左城问。
方泽调出一些测试数据：“我昨晚查了一下，目前行业里最低功耗的嵌入式ai晶片可以做到2瓦左右。如果用三四颗这样的晶片协同，功耗大概在6到8瓦。“
“还是超標。“沈一鸣皱眉，“目標必须压到5瓦以下。“
“与其用多颗低功耗晶片，不如把一个高性能晶片的模型压缩到极致。“左城突然开口。
沈一鸣眼睛一亮：“模型压缩？“
“对。“左城在白板上画了一个示意图，“如果我们能把ai模型的体积压缩到原来的三十分之一，同时保持80%以上的决策准確率，就能在单晶片上运行。“
方泽快速计算著：“寒武纪的mlu270功耗30瓦，如果压缩到三十分之一，理论上功耗可以降到1瓦左右。“
“问题是，我们现在的压缩技术能做到吗？“沈一鸣问。
左城打开系统面板，查看当前的叶片列表。
【科技树叶片】
- 神经网络基础
- 深度学习框架
- 强化学习策略
- 自然语言理解
- 计算机视觉
- 模型压缩优化
- 联邦学习
- 因果推理
- 生成式模型
- 梯度稀疏化压缩
模型压缩优化。 ↑返回顶部↑