第一百九十八章 期待与你的合作 (第1/2页)
赵文渊回头看了看江松然的表情，内心暗爽。
天天看别人装逼，今天也让我装一回。
他表面上云淡风轻的说了一句：「是源码科技自己开发的，现在还在内测，估计很快要推向市场了。」
江松然半天没有说话，良久才又开口问道：「你们————咱们自己做的？」
赵文渊看江松然的心理承受能力还可以，就继续往下说：「是的，最早的灵感来源於源码的一款产品，开物。本来是面对没有技术背景的用户，後面是自研的代码大模型，用户完全不用懂代码，不用介入运行，用中文就可以进行叠代。」
赵文渊看了看江松然的反应，觉得他应该已经知道开物了。
「源码的姜总把这个思路应用到开发流程中来，做了这个智能体工具。」赵文渊说完，突然问，「你刚才在下面见过姜总了吗？」
江松然摇了摇头，他刚才直接和沈丛云上来了，没机会接触源码科技那边的员工。
但是他心里知道，能主导这个级别的项目，这个姜总一定是源码科技的核心人物，暗暗期待一睹他的风采。
「有机会介绍你认识，你会喜欢她的。」赵文渊说完，把话题拉回到工作上。
「总之，我们的工作流程就是这样的，把算子适配和叠代的工作分发到每个组员的手上，如果有人进度被卡住了再一起讨论解决的方案。」
江松然点了点头，怪不得他刚才看到的工作模式是那样的。
有这样的工具，就不奇怪了。
这麽看下来，这个工具大大的节省了具体实现代码、进行实际测试的时间，但它也不是什麽黑科技，更不是黑魔法。
能解决的问题，还是一样能解决，只是更快了。
不能解决的问题，靠这个工具依然解决不了。
对於真正懂原理的人来说，节省下来的时间最多，帮助也最大。
101看书 追书就上 101 看书网，s.?超实用 全手打无错站
反而对那些本来就一知半解的人来说，即使有了这样的工具用处也不大，解决不了的问题还是解决不了。
能做出十个算子的适配工作，这个技术团队的实力还是很强的。
他相信，凭着自己的技术能力和经验，配合着这套工具，加上这样的团队，把国产显卡的全链路适配做出来，不是没有可能。
江松然暗自点头。
然後他开口指着屏幕上的结果说：「这个算子暂时不用做到百分之八十。」
赵文渊一愣，问：「为什麽？」
「因为咱们现在缺的不是这个算子的单点性能。」江松然指了指屏幕，「它能跑，功能正确，性能有67%。如果目标是出论文，当然要把它调到80%以上，但如果目标是三月初跑通第一批国产卡集群，现在最应该做的不是继续死磕这个点。」
赵文渊的表情认真起来。
「那应该做什麽？」
「跑端到端。」
江松然把屏幕上的几个文件夹点开。
「把已经达标的这些算子拉出来，先组一条最小链路。模型可以小，分片可以小，数据可以用假的，但是链路必须完整，完成端到端的调试。
77
他一边说，一边在旁边的白板上写了起来。
模型加载、前向、反向、梯度同步、优化器更新、检查点备份、恢复。
江松然把七个步骤写在白板上，中间没有任何停滞。
他这几年做的全部事情都在这条链上，对这些知识、和实践中可能遇到的问题，全都已经烂熟於心了。
刚才写这个流程图，花时间最多的反而是在心里把这些词的英文都找到中文翻译。
流程图写完，江松然开口道：「虽然三月初只跑推理，但训练才是大头，端到端必须现在就摸清，不然到时候再补就来不及了。咱们现在用的这个「算子打靶法」是对的，但是既然时间紧、任务重，现在这个阶段最重要的是有大局观，从宏观上调节好优先级。」
他边说边用马克笔在白板上点了点：「否则，每个人都在优化自己手里的算子，等到最後拼起来的时候，真正的瓶颈才会显现出来，到那个时候就晚了。」
赵文渊看着白板上的内容，陷入了沉思。
江松然是对的。
迄今为止赵文渊带领团队做的都是基於「点」的工作，一个算子一个算子在推进。
这麽做当然是必要的，没有所有的必须的点，是不可能连成线的。
但是系统训练不只需要点，想要连线的时候不出错，那现在就得开始连了。
赵文渊算是见识到江松然的厉害了，入职的第一天上午，连项目进度都没看全，就把现在这个路线最大的隐患指了出来。
赵文渊转过椅子面对江松然，说道：「江博士，你觉得我们现在应该怎麽办？」
江松然整理了一下思路，回答道：「第一阶段的目标如果只是跑推理的话，没必要追求N卡80%的效率，用不满，优先把必要的算子做完跑通，我刚才看了一下，除了十个已经标绿的，还有二十三个已经过了60%的线。」
江松然说到这，低头看了一下屏幕，自己纠正自己道：「二十四个，加起来是三十四个。」
江松然坐回椅子，把椅子往屏幕前挪了挪，开始在表格里圈算子。
「反向、优化器更新、梯度同步，这几类先排後，三月初的推理用不到，等四月调训练的时候再回来做。」
赵文渊点了点头，这几类在表里占了不少，确实都是训练才用得到的，先放一放完全合理。
「再看推理路径。」江松然把光标移到表格的前半段，「矩阵乘、LayerNorm
softma、激活，这几类已经标绿了。注意力相关的算子在哪儿？」
赵文渊往下翻了翻，指了一项：「标准Attention，61%。Flash—Attention那一版还没排上。」
「Flash不用，先用标准的，能跑就行。」江松然说，「KV—cache的读写呢？」
「这里，64%。」
「够了。」江松然往後靠了靠，「再加一个采样，一个RMSNorm。这两个简单，融合不融合都行，先有了再说，我数一下啊。」
他在表里点了点，停在最後。
「差两个。」
赵文渊愣了一下。
他原本打算的是把所有的算子都做到80%，卡住的地方直接呼叫随身老爷爷韩路一，按现在的速度可能要做到二月底了，到时候再做端到端。
但是现在被江松然这麽一拆—
只差两个了。
「你这————」赵文渊一时不知道怎麽接话了，「这两个我让组里今天就开。」
「不急。」江松然摆了摆手，「先把已经达标的这三十四个用现成的脚手架串起来，跑一遍空载，把链路打通，这两个等做好了再补进去，到时候哪儿不对一目了然。」
赵文渊点头，站起来转身去喊人。
他一边走一边又有点儿懊恼。
今天又装逼失败了。
一这是哪儿来的神仙啊。
赵文渊把手下的组员都叫过来，交代了任务，今天就开始搭脚手架，尝试用最小模型拉一个链路出来，在8卡环境下跑一圈。
（本章未完，请点击下一页继续阅读）