2026-11-15约 14 分钟
Sol 工作流与可执行 Agent 设计
基于 b9 正式运行的代码、可见推理摘要/正文、工具记录、bench 日志及独立评分。配套失败分析、28 次工作流统计、原始记录索引。
Sol 的优势不仅在于能写出更复杂的 kernel,还在于能把性能问题组织成一连串有条件、有对照、可退回的实验。我们可以把其中的状态管理、证据规则、原语验证和参数搜索交给系统;识别计算结构、构造新算法与解释困难故障仍有模型能力成分。 当前证据支持这一设计方向,尚不能给出“系统化后 Qwen 能追上多少”的数字。
本轮完成了工作流审计、现有 Aqua 实现对照和一个离线规则原型。没有新 GPU 实验,没有修改旧交付与结果表,也没有把原型接到正式运行中。“硬编码保证成功”应落实为保证必要过程不会被跳过、失败可以回退;它不能无条件保证任意算子正确、保持率 ≥1 或达到最优性能。
1先校准比较条件#
14 对 MI210 正式任务的 TASK 字节哈希逐对相同,CLI 都是 0.166.0。但 session 元数据的基础指令不同:Sol 为 21,769 字符,Qwen 为 20,751 字符,对应 SHA256 前缀分别为 e1bdd4f8f0df、ac8ae107a0d7;两个模型的全部正式运行分别使用各自这一版本。Sol 多使用组合工具 exec,Qwen 多使用逐条函数调用。不能因为“都用 Codex”,就假定模型之外的条件完全相同。W08
这不否定两者交付性能的真实差距,但它限制了归因:当前观察到的是模型与运行配置共同产生的表现。基础指令在 Sol 日志中还被记录为 developer 消息,而 Qwen 的存储方式不同;不能据此认定 Qwen 没收到基础指令。记录也不足以证明上下文容量、推理预算相同。
此外,b9 是 run_case_v2.sh 直接启动 Codex、到时评分工作目录里的 solution.cpp。它没有使用本仓库完整的 Aqua 搜索控制器。后文发现的 Aqua 现有能力,不能倒过来当作 b9 已经拥有的保障。启动脚本
2量化后 最明显的差别是可运行起点与实验连续性#
统计仅含 MI210 正式 14×2 次运行,两个 .failed1 重排尝试不混入。时间从控制器 start_epoch 算起。
| 观察 | Sol | Qwen | 可以说明什么 |
|---|---|---|---|
| 首次在 bench 日志中通过一个公开配置,中位分钟 | 1.60 | 35.27 | Sol 更早拥有可测试的起点;不是首次全套正确 |
| 同一可执行版本累积覆盖公开配置,且有一次交替检查通过 | 14/14 | 12/14 | 观测到完整覆盖的次数;不是连续全套认证 |
| 上述覆盖里程碑的中位分钟,仅计观察到的运行 | 1.98 | 35.74 | Qwen 两个缺失值未被算成 120 分钟,不能当无删失比较 |
原始 compacted 事件总数 |
2 | 62 | Qwen 运行中更依赖上下文交接;不等于其压缩器更差 |
| 顶层编译进程数 | 762 | 1,691 | Qwen 更频繁地构建,不能据此把所有编译称为浪费 |
| harness 进程数 | 2,308 | 1,152 | Sol 有更多这类测量;自制验证器可能不在此类中 |
| 独立最终评分通过算子 | 14/14 | 11/14 | 正确性与性能应分别统计 |
“覆盖”按可执行文件 FNV 聚合最近的公开配置结果,并要求该版本有交替通过记录。它可以跨多条命令累积,交替日志也没有列出全部参与形状,所以不能写成“Sol 两分钟就完成了所有正确性验证”。Sol 的 equi_f64、两种 TopK 覆盖里程碑都较晚;Qwen equi_f64 和 topk_fp32 的这一里程碑反而更早。这些反例说明,早得到基线是有用条件,不是性能优势的充分解释。
墙钟时间还混合了推理服务速度、命令执行与测试成本;当前不尝试把 1.60 对 35.27 全部解释为推理策略。Sol 的可见推理常是摘要,Qwen 常是正文,因此不比较推理字数,也不从这些日志重建未公开的完整思维。统计脚本
3Sol 的工作流具体强在哪里#
3.1mmq:先闭合完整计算,再在机制之间选择#
Sol 的起点是遵守量化合同的完整流水线:量化 Y、解码 X/Y,再用 rocBLAS。它没有要求第一版就同时解决融合解码、矩阵指令布局和最优 tile。约 2.84 分钟出现首个公开配置通过,约 3.02 分钟观测到同一版本覆盖公开集与交替检查。W01、bench 里程碑
后续顺序可以从命令与决策记录中辨认:
- 验证 INT8 MFMA 的布局,再试融合解码。
- 向量化库路径的解码,保留这个完整基线作对照。
- 比较 INT8 融合、FP16 融合、解码加库 GEMM 三类机制。
- 在合适的机制内扫 tile 和 K 分片,分别观察小 J 与大 J。
- 在边界形状发现 occupancy 问题后,修订分流,最终保留多条路径。
- 对组合后的交付再验证;缓存算法选择,不缓存输入相关结果。
其中一次 rocBLAS 调优失败,被定位为加载了两个 HIP runtime 版本;Sol 修正事件函数的解析来源后重新测试,没有把异常直接扩大为“rocBLAS 不可用”。这与 Qwen mmq 后期把具体探测失败总结为“MFMA builtin is dead”形成了有解释力的对照。决策记录、W02
可下放的是完整基线构建、原语探测、参数枚举和结果分区。 “某个融合方案值得尝试”“某个异常可能来自 runtime 混用”仍需要模型或专家假设;系统可以要求假设接受实验检验,不能直接代替所有这种判断。库路径是否被允许取决于任务合同,不能把它硬编码成所有算子的默认答案。
3.2qknorm:测量程序也被当作需要验证的对象#
Sol 很早建立融合实现,随后制作参数驱动,比较每头 lane 数、工作组和相邻头复用。它发现 profiling queue 会改变短 kernel 的延迟,于是用与正式 harness 一致的普通 in-order queue 重测,避免直接拿诊断条件下的结果选择最终分流。W03
另两个细节说明它没有只追逐“看起来更底层”的写法:显式 BF16 打包没有收益,反汇编显示标量代码已被编译器向量化;最终重构提高寄存器使用量后,它退回先前验证过的代码结构,并重新测合并版本。决策记录
可下放的是测量合同和证据绑定。 每条时间必须记录源码/构建版本、队列模式、缓存/rot 条件、输入范围、是否计入准备和归约。诊断时间可以帮助解释,只有合同匹配的完整调用时间才参与晋升。这个规则不要求每次都做昂贵 profiling;只有当测量能区分竞争假设时再采集。
3.3equi_f64:失败结论带条件,参数搜索服务于机制选择#
Sol 先验证 FP64 MFMA 和 lane 映射,再比较 LDS 暂存、直接加载、不同复用和展开。一个双 M-fragment 方案在大展开时变慢,它没有永久排除该复用方式;缩短展开后重新评估,得到更好的候选。其后还用反汇编定位捕获数组动态索引产生的 scratch 访问。W04
最后的产物也不是“全形状统一 tile”。记录中先用重复测量确认小/中规模交叉点,再检查大规模区域;组合版本重新执行边界和交替测试。决策记录
可下放的是有条件的实验记忆。 “MR=2、unroll=8、某范围慢”不能写成“MR=2 不可用”。重复尝试的识别键要包含机制、参数、形状范围与环境;改变关键条件属于新实验。若只按一个宽泛关键词去重,系统反而会挡掉 Sol 的有效探索。
3.4gdn 与 TopK:关键是保住依赖关系和可验证条件#
Sol gdn 从正确递推起步,随后保留并重构源 CUDA 已有的分块矩阵算法,联动处理布局、数值缩放和状态更新。不能把它描述成从零发明了 chunked recurrence。Qwen 也曾探索分块方案,其 NOTES 中保留了描述;但最终文件是回退的递推/LDS 版本,且末尾拼接后编译失败。不能因为最终缺失,就说它整个过程中完全没想到分块。
Sol TopK 的采样是候选阈值生成手段,后续有精确计数与回退。对应的系统知识应是“在什么可检查条件下可以使用快路径”,而不是泛泛记住“采样 TopK 很快”。Qwen 的截断索引键和 Kimi 阶段编号错误则说明,仅写一份自然语言“不变量清单”还不够,需要相应反例生成器或验证器。已有代码反例和证据
可下放的是依赖组表示、部分成熟变换的生成器、数值与结构反例库。 任意新算法的等价性不会因为填了字段就自动成立。必要时应保留正确但慢的实现,并把未恢复的优化明确列为未解决项。
3.5必须保留的反例:Qwen 能做对,Sol 也会漏#
Qwen lightning 成功接入 MFMA,并进一步验证中间累加值、排查 epilogue、扩大跨输出复用。它并非一律只做盲目修改;我们希望系统提高这种工作方式出现的稳定性,而不是把 Qwen 描写成完全没有相应知识。记录中的某些“编译器错误”仍只是其判断,不能直接写入可信能力库。W05
Sol 也不能作为无误教师。它在 topk_moe、dsv3 验证过降低提交开销的机制,却没有在 router、qknorm 中尝试同类对照。MI210 attention 总保持率约 1.26,但七个 decode 配置约 0.49–0.65;总指标会被大 prefill 的时间权重影响。因此新系统需要补跨任务记忆与区域反馈,而不应逐字复刻 Sol 的每一步。对应低分分析
4从“模型自觉”改成系统职责#
建议把控制权分成三部分:模型提出解释和改写;工具完成可重复的编译、原语探测、参数扫描和测量;控制器管理事实、预算、候选晋升与最终交付。隐藏评估器独立于这三部分,训练期只反馈公开范围生成的测试。
| Sol 常在自行完成的事 | 系统应执行的规则 | 仍留给模型的工作 |
|---|---|---|
| 判断源码哪些优化不能轻易丢 | 建立优化依赖组;每组标记未尝试、已恢复、有证据替换、未解决;性能损失不能被正确性通过掩盖 | 识别非模板结构,提出整体替换方式 |
| 查找目标平台能用的原语 | 可调用的最小探测与布局/数值验证;证据按架构、工具链、runtime、类型、布局和选项限定 | 提出尚未收录的原语实现 |
| 从可用基线逐步改进 | 保留不可变的已验证版本;候选单独构建;基线与独立探测可以并行推进 | 选择合理的基线构造方式 |
| 分离机制选择与调参 | 机制候选提供参数域、约束和代表区域,由工具批量构建、测量、剪枝 | 构造新机制,确定值得探索的参数 |
| 确认实验测到了所声称的东西 | 完整调用计时、版本绑定、测量合同、配对确认;诊断核不能冒充交付候选 | 提出能区分假设的诊断 |
| 发现某机制只在部分形状有利 | 维护区域表现与候选集合;总收益不能静默掩盖预先保护区域的退化 | 构造分流与机制组合 |
| 记住失败、剩余时间与可靠版本 | 持久化证据状态与控制器时钟;按验证成本预留收尾;重复失败只限制具体分支 | 决定剩余不确定性中最值得调查的方向 |
| 把其他任务的经验拿来复用 | 记忆必须有适用范围、反例、来源与再验证入口;禁止把模型自述升格为事实 | 迁移类比与提出经验修订 |
这是一组约束和工具,不是一条死板的“先标量、再矩阵、最后调参”流程。equi 可以直接以验证过的矩阵路径起步;某些小形状最终应保留 SIMT;某个代价很大的完整测试可以在代表性检查筛选后再运行。系统应硬编码验证义务和状态转移,避免把具体硬件上的最优策略写死。
性能晋升也不要求每个形状都绝对更快。应在搜索前声明区域保护与取舍政策:例如 decode 是必须保住的区域,还是允许以它换取主要负载吞吐。未被全局采用的正确候选可以留作分支。组合后的 dispatch 是新候选,必须重新验证,不能凭两个单独版本都正确就视为组合正确。
5和现有 Aqua 对接 具体缺什么#
当前代码已经提供很多基础;应扩展它,而不是另造一个只有聊天循环的 Agent。
| 位置 | 已有能力 | 本次审计后需要补的部分 |
|---|---|---|
| source_intent.py、translation/models.py | 优化清单、恢复计划、语义 obligation 的依赖 | 源优化清单本身还缺显式的性能机制依赖组、区域与恢复状态;语义依赖已有,不能重复造轮子 |
| capability_probe.py | 编译/运行 canary,部分路径要求指令证据 | 当前无 canary、所有已有 canary 失败都会输出 availability_status=unsupported;需要区分未验证、具体探测失败、已验证变体。available=false 可继续表示当前不得直接调用,但不能解释成硬件能力不存在 |
| actions.py | 合法性、重复尝试与能力检查;冻结 ActionContract | 排序使用模型 confidence、证据条数及风险条数;并非验证过的收益或信息价值。应先看证据是否解决关键未知,再计预计成本,不能奖励少报风险或堆证据字符串 |
| workflow.py | 持久化搜索、已验证 seed、候选评价、预算、checkpoint/final confirmation | 规划和评审角色默认走 strong 模型。若想证明能力下放,必须有所有在线角色都用 Qwen 的配置,不能只把实现角色换成 Qwen |
| workflow.py | 已耗预算检查、结束后最终确认 | 审阅的这段路径在耗尽后才启动最终确认;未看到按验证耗时提前预留的准入规则。应在外层总预算中明确计入确认与退出,避免比较时偷偷增加成本 |
| confirmation_workflow.py | 绑定版本的独立确认;同一 GPU lease 内 ABBA/BAAB 采样 | 补完整测量合同、区域表现和首次调用代价的贯通;复用现有统计确认器 |
| knowledge/admission.py、knowledge/transfer.py | 经验范围、证据、反例与迁移表示 | 将失败结论限定到变体和环境;跨任务命中后触发廉价复核;对未命中的高价值机制显式留下检查记录 |
候选 critic 当前检查“存在不变量字段”和必需门禁,并不等于证明不变量为真。比如 TopK 完整索引比较和跨工作组发布协议仍需具体检查器。这应作为工具能力缺口,而不是靠给 critic 加一句“认真检查”解决。
6已完成的可执行部分与明确边界#
离线原型在 research_notes/sol_workflow_pilot,实现五类决定:能力证据状态、失败结论范围、交付门禁、候选晋升、剩余预算准入。
- 19 项 CPU 测试通过。 包括失败变体不封杀整个原语、不同 runtime/type 必须重验、源码版本不符不得交付、诊断计时不能参与晋升、未知区域不能当作已通过、保留最终验证预算;也包含合法候选可以正常晋升的正例。
- 检查 28 份现有正式评分,25 份满足交付条件,3 份被拒绝。 三个拒绝正是 Qwen gdn、Kimi、bf16 TopK。这个结果仅验证规则与既有证据一致,不是声称救回三个失败。
- Qwen gdn 最后改写时只剩约 63.4 秒。 示例策略预留验证 90 秒加退出 5 秒,会进入冻结与验证,不再准入改写。90 秒是显式演示参数;未恢复当时 accepted 的源码,不能宣称已经重现“保住旧版”的结果。W06、回放结果
原型没有执行 Agent 循环、参数枚举、源依赖提取或 GPU 调度,也没有实现真正的原子发布与进程取消。runner 标识是可信接口约定,不能从模型提供的 JSON 中相信它。旧评分只有 MD5 前缀关联源码,回放使用这个兼容映射,不把它说成完备的构建来源证明。生产集成必须由冻结测试计划、完整源码/二进制摘要与内部执行器记录提供这些事实。
因此本轮产物是可复核的工作流发现、具体接入设计和可测试的部分策略。尚未得到新系统性能更好或更省成本的实验结论。
7怎样证明能力确实从模型转移到了系统#
核心比较应是模型 × 工作流的交叉实验:
| 在线模型 | 原工作流 | 结构化工作流 |
|---|---|---|
| Qwen,所有角色 | Qwen 原流程 | Qwen 加规则、工具与冻结经验 |
| Sol,所有角色 | Sol 原流程 | Sol 加相同规则、工具与冻结经验 |
两列间控制任务合同、允许的原语/资料、工具权限、评价口径和预算;两模型的共同基础指令及工具外壳尽量统一,确需适配的差异完整记录。先消除 equi_f32 的精度说明歧义。Qwen 实现 + Sol 规划可以另列成混合系统,但不能混入“Qwen 获得了系统下放能力”的主实验。
建议先试三个有明确假设的组:
- Qwen mmq/bnb,外加 lightning 作成功对照: 验证过的原语与机制模板,能否更早形成完整矩阵候选;提供相同原语材料但不强制流程的组,用来区分“多给知识”和“执行规则”的收益。
- Qwen gdn: 分别评价交付保护和源分块结构恢复;前者减少失败,不应被包装成后者的性能提升。
- Sol qknorm/router 与 attention: 条件记忆能否触发提交开销对照,区域反馈能否改善 decode;这是系统补足强模型遗漏的试验。
先分块消融,再组合:状态/交付保障、验证原语、机制依赖与参数搜索、区域反馈/条件记忆。不要一次加入全部改进后,把收益任意归给其中一项。
评价继续使用已商定的第一层修正保持率与两条质量–成本曲线。保持率不封顶,报告达到多个 τ 的成本;同时保留最终正确率、首次有效机制候选成本、区域尾部、最终版本回退次数。模型调用、工具扫描、探测和确认成本都要计入。若系统含离线手工准备的原语包或经验库,公开其来源与构建投入,并通过留一算子/任务族验证泛化,不能把目标解法包装成通用经验。
对关键组做重复独立运行;在相同 API 预算和占卡预算下分别比较,不能只凭一次最终速度宣称系统优越。本轮已看过旧留出集,后续方法评估必须冻结系统后重新抽取独立形状和数值,旧集保留作回归。静态库基线与运行时调优还需单报首次调用/调优开销,避免把部署成本藏进稳态结果。
我们希望最终证明的命题是:把优化依赖、已验证能力、实验状态与取舍规则外置,能让较弱模型更稳定地恢复和替换源端优化,并让较强模型减少遗漏;收益体现在独立形状上的保持率及质量–成本曲线。 它需要上述受控实验支持,不由工作流相似性或离线门禁测试直接推出。