第二百九十二章 十七个集群，十七倍算力

第二百九十二章 十七个集群，十七倍算力 (第2/2页)

这次布线能不能把新的十六个集群都提到跟老集群一样的效率，甚至，还能不能扩大
　　
　　成更大的集群？
　　
　　以前没有这麽多卡，没法试，这次可以试试了。
　　
　　江松然在机房的控制终端前坐下，开始进行压力测试。
　　
　　他没一上来就跑五一二卡，而是先从八卡开始。
　　
　　一般八张显卡会放在一张伺服器上，也叫一个节点，这八张卡之间的通信叫做节点内通信，速度更快。
　　
　　每个机柜会有八台伺服器。
　　
　　五一二卡就是八个机柜。
　　
　　从节点内通信到节点间通信，再到机柜间通信，每一步都是一个难度升级。
　　
　　随着测试进入到五一二卡，监控屏幕上的曲线已经不是平滑上涨了，可以见到斜率变缓的趋势。
　　
　　看了一会监控，江松然更改设置，把两个五一二卡的集群并在了一起。
　　
　　新任务下发。
　　
　　这一次，监控屏的曲线发生了明显的变动，延迟迅速上升。
　　
　　监控屏上出现了一片红色。
　　
　　「失败了啊—」江松然苦笑了一声。
　　
　　这其实是预料之中的事情。
　　
　　大型显卡集群需要从硬体到软体到通信协议各个层级的优化才能实现。
　　
　　源智的L100集群现在用的是东拼西凑来的各种开源技术，还没来得及进行任何优化。
　　
　　能达到五一二卡的集群规模已经是谢天谢地了，想要在什麽改动都不做的情况下去冲千卡，只能是坠机收尾了。
　　
　　韩路一收回视界，满眼的红光从视野中消失。
　　
　　视界定位的结论是：注意力层之後的归约通信，几个任务分片同时撞上了同一批物理链路，触发了跨排链路堵塞。
　　
　　他正准备开口，江松然先说话了。
　　
　　「通信模式和物理拓扑对不上。」江松然指着屏幕上的波形说道，「你们看，每次拥塞都在注意力层之後，几个分片同时在跑归约运算，一起发到跨排链路上了，所以每个尖峰都在注意力层後面。」
　　
　　赵文渊抱着手站在旁边，开口了：「是因为通信协议？」
　　
　　「是啊，是因为通信协议。」江松然确认道。
　　
　　然後江松然转向韩路一，语气遗憾：「韩总，现在用的通信模式在五百卡已经是上限了。」
　　
　　江松然和赵文渊得出了与韩路一一样的结论。
　　
　　区别是，韩路一是开挂看出来的，视界直接帮他定位到了数据阻塞的地方，也给出了原因。
　　
　　而江松然和赵文渊却是凭藉他们多年的实战经验和技术理解得出的结论。
　　
　　果然，顶级技术专家的含金量在这里就体现出来了。
　　
　　人才虽然贵，但贵有贵的道理。
　　
　　韩路一暗自点头。
　　
　　视界再厉害，他也只是一个人，他不可能自己攻克所有的技术难关。
　　
　　团队里有了赵文渊、江松然，以及新加入的薛兆恒这些各个方面的人才，才是源智走得更远的底气。
　　
　　韩路一的脸上没有失望的表情，反过来安慰两人：「没事，能增加十六个五百卡集群，对我们来说已经是个巨大的进步了，路要一步一步走，饭要一口一口吃。」
　　
　　「我们现在最迫在眉睫的任务是解决推理算力的问题，推理请求对显存和卡间通信的需求都没有那麽大，现在我们有之前十七倍的算力，汤圆的潜力终於可以被释放出来了。」
　　
　　这话江松然当然也知道。
　　
　　超大集群主要是训练的需求，推理不需要。
　　
　　如果按照正常公司的流程，现在要麽是采购英伟达的硬体，使用现成的解决方案。
　　
　　要麽就是还远远没有到需要自研超大集群通信的进度。
　　
　　源智能走到今天这一步，发展过程就像是坐上了火箭。
　　
　　原本在江松然看来，光解决算子适配的问题就得花几年时间，经过这几天的离奇经历之後，他把这个预期调整成了几个月。
　　
　　所以，几个月之後，超大集群就得建起来。
　　
　　所以，一个原本他以为短期内都不会遇到的问题突然变得棘手了起来。
　　
　　源智现在撞上了一堵墙。
　　
　　这是一堵到现在为止，只有英伟达跨过去了的墙
　　
　　显卡间通信效率。
　　
　　韩路一看着监控屏幕上满屏的红色警告，笑了一下：「我们会找到办法的。」
　　
　　江松然看了看完全没有担心神色的赵文渊，又看了看韩路一。
　　
　　不知道为什麽，他心中也生出一股自信来，不仅是对源智科技团队的自信，也是对韩路一的自信。
　　
　　之前认为解决不了的问题都解决了，难道现在会在这里被卡住吗？
　　
　　不会的。
　　
　　江松然没再说话，转身回到了控制终端前，把刚才的测试日志导出来，为下一步技术突破做准备。
　　
　　>