第116章_协同之道（1 / 4）
有了超参数自动优化能力，左城开始了秘密的“算法推演“。
说是推演，实际上是在系统能力的辅助下，快速验证各种压缩策略。
他用系统能力模擬不同的参数配置，测试对模型准確率的影响。
这个过程別人做需要几个月，但他只需要几天。
因为系统可以同时运行无数个模擬，每个模擬都在毫秒级完成。
两天后，夜以继日的推演终於有了结果。左城找到了突破口。
动態精度量化。
简单说，就是让模型在推理时动態调整计算精度。简单任务用低精度，复杂任务用高精度。
这样既保证了准確率，又把功耗控制在了可接受范围內。
他把这个技术思路整理成文档，发送给沈一鸣和方泽审核。
“一鸣，你看看这个方向可行吗？“
沈一鸣看了半小时后，回了电话。
“城哥，这个方向是对的。“他的声音带著兴奋，“我测试了一下，动態精度量化確实能提升准確率。“
“能到多少？“
“89%。“沈一鸣说，“比之前提升了將近21个百分点。“
89%。
距离95%的目標更近了一步。
“功耗呢？“左城问。
“如果用动態精度模式，mlu270的功耗可以压到4.8瓦。“方泽接过电话，“刚好达標。“
4.8瓦。
比目標低了0.2瓦。
这0.2瓦的余量，让方案有了更多安全保障。
“太好了。“左城鬆了口气，悬著的心终於放了下来。
但他很快又提起了精神。
89%还不够。
评审会上，林建华那帮人不会给他们任何容错空间。
“必须做到95%以上。“他说。
电话那头沉默了几秒。
沈一鸣开口：“城哥，89%到95%，差距是6个百分点。这个提升……不容易。“
“我知道。“左城说，“但这是必须的。“ ↑返回顶部↑
说是推演，实际上是在系统能力的辅助下，快速验证各种压缩策略。
他用系统能力模擬不同的参数配置，测试对模型准確率的影响。
这个过程別人做需要几个月，但他只需要几天。
因为系统可以同时运行无数个模擬，每个模擬都在毫秒级完成。
两天后，夜以继日的推演终於有了结果。左城找到了突破口。
动態精度量化。
简单说，就是让模型在推理时动態调整计算精度。简单任务用低精度，复杂任务用高精度。
这样既保证了准確率，又把功耗控制在了可接受范围內。
他把这个技术思路整理成文档，发送给沈一鸣和方泽审核。
“一鸣，你看看这个方向可行吗？“
沈一鸣看了半小时后，回了电话。
“城哥，这个方向是对的。“他的声音带著兴奋，“我测试了一下，动態精度量化確实能提升准確率。“
“能到多少？“
“89%。“沈一鸣说，“比之前提升了將近21个百分点。“
89%。
距离95%的目標更近了一步。
“功耗呢？“左城问。
“如果用动態精度模式，mlu270的功耗可以压到4.8瓦。“方泽接过电话，“刚好达標。“
4.8瓦。
比目標低了0.2瓦。
这0.2瓦的余量，让方案有了更多安全保障。
“太好了。“左城鬆了口气，悬著的心终於放了下来。
但他很快又提起了精神。
89%还不够。
评审会上，林建华那帮人不会给他们任何容错空间。
“必须做到95%以上。“他说。
电话那头沉默了几秒。
沈一鸣开口：“城哥，89%到95%，差距是6个百分点。这个提升……不容易。“
“我知道。“左城说，“但这是必须的。“ ↑返回顶部↑