← 全部报告

Triton 默认实现只能算弱参照

2026-11-05 更新:本报告只覆盖默认参数。调参后每格最优几何平均 12.16 TFLOPS,Codex 优势缩到中位 1.30–1.47×,"调度和数据流"的推论也要收窄。见 research/taco-20261103-codex-baseline.md 末节。

FastEq 的 Triton so3_linear 在 GPU62 MI210(gfx90a,卡 2)上跑通了 equi_f32 全部 12 格,144 条主测记录全部通过 rel_l2 < 5e-4,每格手选最优的几何平均 3.97 TFLOPS,最高 4.47。在同一 harness 输入下,种子 s3 是它的 2.25×;Codex 逐格中位的几何平均在 30/60/120 分钟分别是 15.78、17.83、17.50,即 3.97×、4.49×、4.41×;逐格最差值的几何平均是 11.05、17.09、15.52,即 2.78×、4.30×、3.91×。9 次 Codex 运行的全部 108 个格子都高于 Triton,最接近的是 30 分钟最差值在 small/512 的 1.27×。这个结果的含义有限:3.97 是FastEq 现成 Triton 实现的默认参数水平,不是 MI210 上限,所以只能说 Codex 明显高于这个现成实现,不能说 Codex 超过了 MI210 最优水平。fctp 方面,Triton kernel 与 .cu 只是部分同一运算,与 stc 完全独立;atombit 的 fused_bmm_sym、fused_commutator 没有 Triton 或 HIP 版本,只有 CUDA 实现。

Triton 最优 3.97,Codex 三档中位是它的 4.0–4.5 倍

下表所有 Codex 列的逐格中位数和最差值都是现算的,文件里没有现成值。来源是 baseline_numbers.md 表 1,本次又从 9 个 sweep/remeasure/equi_f32_b*_s*/results.txt 独立重算一遍,12 格全部一致(baseline_numbers.md)。Triton 列是 3 个独立进程的中位数,由 results_raw.csv 重算,与 results_cells.csv 一致。种子 s3 只有 1 次,没有中位和最差。

表 1:12 格对比(TFLOPS)

模型 B Triton 最优(变体) auto 种子 s3 30 分钟中位 30 分钟最差 60 分钟中位 60 分钟最差 120 分钟中位 120 分钟最差
small 512 2.044(group) 1.780 3.544 4.309 2.605 5.596 5.424 5.485 5.090
small 2208 3.201(group) 3.200 4.951 9.876 6.817 11.667 10.715 11.933 11.447
small 8192 4.165(serial) 4.174 5.619 12.807 11.579 15.092 14.635 15.580 15.115
small 32768 4.315(serial) 4.320 5.675 14.587 13.379 16.504 16.151 17.083 16.370
medium 512 3.928(path) 3.913 8.382 11.824 5.081 13.195 12.360 11.781 9.273
medium 2208 4.454(path) 4.454 9.711 19.526 11.746 20.471 19.492 19.516 17.223
medium 8192 4.468(path) 4.469 10.869 22.479 14.938 22.589 22.224 23.320 21.491
medium 32768 4.401(path) 4.398 10.972 24.803 18.189 24.591 23.271 25.701 22.177
large 512 4.414(path) 4.405 13.427 17.273 11.690 21.641 18.892 20.780 12.512
large 2208 4.436(path) 4.430 15.325 22.492 18.882 26.424 26.396 24.251 22.951
large 8192 4.422(path) 4.422 15.470 24.835 17.780 27.448 27.098 26.486 25.068
large 32768 4.389(path) 4.379 15.365 24.231 18.965 26.887 26.759 25.835 24.761
12 格几何平均(对本列直接算) 3.97 3.92 8.95 15.78 11.05 17.83 17.09 17.50 15.52
运行级几何平均(summary.txt,每次运行一个几何平均,再取中位 / 最差) — — — 15.86 11.05 17.80 17.31 17.34 15.67

两行几何平均要分开看。第一行对逐格中位或逐格最差直接取几何平均,这些值可能拼自不同运行,不对应某一份真实的解。第二行来自 sweep/summary.txt,每个数都是一份真实的解。30 分钟最差两行相同,因为 12 格最差值全部来自 b30_s2。

两套 Codex 重测已统一到 sweep。 measurement 笔记里的 17.26 来自第一轮重测(remeasure_table.txt),只有一份解,也就是 120 分钟的第 1 次采样。sweep 把同一份解重测后是 17.34(b120_s1),它恰好是 120 分钟档的运行级中位(sweep/remeasure_table.txt)。本报告所有 Codex 列都用 sweep 的 9 个结果,这样三档同批。种子只有第一轮重测,sweep 没有重测它,所以种子列与 Codex 列不是同一批。

表 2:对 Triton 每格最优的比值(用表 1 未舍入的数现算)

模型 B 种子 s3 30 中位 30 最差 60 中位 60 最差 120 中位 120 最差
small 512 1.73 2.11 1.27 2.74 2.65 2.68 2.49
small 2208 1.55 3.09 2.13 3.64 3.35 3.73 3.58
small 8192 1.35 3.07 2.78 3.62 3.51 3.74 3.63
small 32768 1.32 3.38 3.10 3.82 3.74 3.96 3.79
medium 512 2.13 3.01 1.29 3.36 3.15 3.00 2.36
medium 2208 2.18 4.38 2.64 4.60 4.38 4.38 3.87
medium 8192 2.43 5.03 3.34 5.06 4.97 5.22 4.81
medium 32768 2.49 5.64 4.13 5.59 5.29 5.84 5.04
large 512 3.04 3.91 2.65 4.90 4.28 4.71 2.83
large 2208 3.45 5.07 4.26 5.96 5.95 5.47 5.17
large 8192 3.50 5.62 4.02 6.21 6.13 5.99 5.67
large 32768 3.50 5.52 4.32 6.13 6.10 5.89 5.64
几何平均 2.25 3.97 2.78 4.49 4.30 4.41 3.91
运行级几何平均 ÷ 3.97 — 3.99 2.78 4.48 4.36 4.37 3.95

measurement 笔记的"Codex 比值"一列(2.70–5.99×,几何平均 4.35×)是第一轮那一份解对 Triton 的比值,不是任何一档的中位,这里不再沿用;它在 sweep 口径下对应 4.37×,范围 2.68–5.99×。9 次运行的全部 108 个格子里,比值最低 1.27×(b30_s2,small/512),最高 7.22×(b120_s3,large/8192)。

差距随模型和 B 变大,主要因为 Triton 走平。 medium 和 large 的 8 格最优全是 path_parallel,其中 7 格落在 4.39–4.47,基本不随模型和 B 变化;Codex 同期从 small 的约 11 涨到 large 的约 25。所以比值在 small/512 只有 2.1–2.7×,到 large/8192 及以上达到 5.5–6.2×(triton_measurement.md)。path 的平台从哪来没有测过:汇编里有 32 处 global_atomic_cmpswap,这只是线索。

auto 基本贴着手选最优。 每格单独调优时,auto 36/36 次选中手选最优者,几何平均 3.92,12 格里 11 格差距不到 0.5%。例外是 small/512,1.780 对 2.044,低 12.9%。这一列是逐格调优的结果,不是一个进程内跨 B 复用的结果。

三档 Codex 的差别大多在噪声附近。 逐格中位几何平均 60 分钟 17.83 对 120 分钟 17.50,差 1.8%,不足以说明 60 分钟更好。最差值的差别才明显:30 分钟档被 b30_s2 拉到 11.05,60 分钟档只有 17.09 且 CV 2%。

比较能并表,但有六处不能忽略的口径差异

输入和计时是对齐的。12 格 FP64 参考的 ref_max 与 Codex、种子的 results.txt 4 位有效数字全等,本次已逐格核对;FLOP 公式、1 次校验加 3 次暖机再计 10 次的次序、窗口内算术平均、抽样行校验和 5e-4 阈值都相同。余下的差异如下。

口径项 事实 怎么用
种子的精度 保留 TF32 舍入,rel_l2 2.73e-4–2.84e-4,也过 5e-4;且是 3 次一次性生成里最好的一次,s1 几何平均只有 5.45 与 Triton 不算同级精度,2.25× 只能当同 harness 下的旁证,不能当一次性生成的典型水平
Triton 的精度 在 HIP 上只走 IEEE FP32,rel_l2 1.10e-7–2.75e-7。Codex 9 次都是 FP32 水平,1.79e-7–6.03e-7 Triton 与 Codex 精度同级。浮点模式只核对过第一轮那份解(.amdhsa_float_denorm_mode_32 3、.amdhsa_ieee_mode 1,与 Triton 相同)
单格噪声 同一份解两次重测,medium/32768 为 24.644 对 25.701,相差 4.1%(以大者为分母,以小者为分母是 4.3%) 单格 5% 以内的差距不解读。每份解每格最多测过 2 次,这是唯一的噪声样本
b30_s2 走 rocBLAS,源码里 mfma 0 处、rocblas 5 处,几何平均 11.05;30 分钟档 12 格最差值全部来自它 30 分钟最差列反映的是另一条代码路径,不是 MFMA 调优的最差情况。它仍算 Codex 真实交付,保留在表内
Triton 的成本项 全部默认参数(block_m=32、block_n=64、block_k=32、num_warps=4、num_stages=2),未为 MI210 调参;Python → launcher → HIP 派发计入窗口;每次调用分配输出,path 还清零一次,也在窗口内 B=16 的窗口均值 path、group 约 0.06–0.08 ms,small/512 的 0.074–0.082 ms 几乎就是这个下限;medium/512(0.171 ms)接近一半,small/2208 约三分之一,large 各格不到 10%。SYCL 一侧的派发没有量,所以不能直接扣除
ROCm 版本 Triton 在容器内:ROCm 7.2.2、torch 2.8.0、Triton 3.4.0。种子和 Codex 用 DPC++ 7.2.0,在主机上重测,主机 ROCm 7.0.0 两边用户态运行库版本不同。SYCL 实际加载的库版本没有打印,7.0.0 是由主机环境推断的

另有两点影响较小。Triton 取 3 进程中位,种子和 Codex 每格 1 个进程;3 轮差异的中位约 0.3%。Triton 测量时有时钟采样但没有与窗口对齐,种子和 Codex 重测时没有时钟记录,所以无法排除时钟差异。这些来源都在 triton_measurement.md 和 baseline_numbers.md。

旧的 Triton 数字(risk-check 里最高 5.93)不要与本表混用:那组 cg 全为 1,输入和暖机次数也不同。

参照强度:默认参数下的现成实现,不是 MI210 上限

这个参照可靠但不强。可靠,是因为同卡、同输入、同校验,过程可复现,FastEq 工作区未改动。不强,是因为它只回答"FastEq 现成 Triton 实现在默认参数下能到多少"。没有扫 block、warp、stage,不知道调参后能到多少,所以 3.97 既不是 MI210 的最优水平,也不是 Triton 的最优水平。不能写 Codex 超过了 MI210 最优水平,能写的只是 Codex 高于这份现成实现。一次性生成的种子也高于它,这本身说明它当不了"专家上限"。

两边用同一条 MFMA 这一点,只对第一轮那份解成立。 Triton 三种 kernel 的汇编全部是 v_mfma_f32_32x32x2f32(small 版 serial 960 条,path、group 各 384 条,见 keep_asm)。Codex 第一轮的解(即 b120_s1,几何平均 17.34)用的是同一条指令,它对 Triton 仍有 4.37×,这是"差距不在指令选择,而在调度和数据流"最直接的证据。但这个原因没有用硬件计数器确认。其余解并不都相同:本次对 9 份 solution.cpp 的源码 grep 显示,b30_s1 也只含 32x32x2;b60_s1、b60_s3、b120_s3 只含 16x16x4;b30_s3、b60_s2、b120_s2 两种都有;b30_s2 没有 MFMA。最好的 b120_s3(20.17)只用 16x16x4,种子也是 16x16x4。所以准确说法是:8/9 的 Codex 解和 Triton 同属 FP32 MFMA,第一轮那份与 Triton 是同一条指令。 grep 只看源码,编译后实际走哪一条路径没有逐份确认。

大规模格子的差距不能用派发开销解释。large 各格派发占比不到 10%,而 60 分钟中位在这里是 Triton 的 4.90–6.21×。small/512、small/2208 和 medium/512 相反:Triton 在这几格被派发开销压低,而 SYCL 一侧的开销没有量,所以这几格的比值不宜单独引用。海光上没有 Triton 数据,这份参照只对 MI210 成立。

F2.4 的"23–25%"需要你决定,本次未改

measurement 笔记发现旧 F2.4 的测量里 cg 全为 1,而 harness 的 cg 在 [0.5,1.5) 随机。把 cg 改回全 1 后,新测与 risk-check 旧表的偏差中位数 0.8%,原因确认。cg ≠ 1 时 serial 和 group 变慢(中位分别为全 1 时的 0.63、0.89 倍),path 几乎不变,于是 harness cg 下 medium、large 全部是 path 最优,这两档没有选错代价。

但笔记里"选错代价约 10–20%"与"23–25%"的单位不同:前者是吞吐下降,后者是耗时增加(53.2 ms 对 42.7 ms)。换成同一单位后:

场景 情况 吞吐下降 耗时增加
cg 全 1 large/32768 锁在 path −19.3% +24.0%
cg 全 1 large/512 锁在 serial −18.9% +23.3%
harness cg small/8192 锁在 group −18.2% +22.3%
harness cg small/32768 锁在 group −20.0% +24.9%
harness cg small/512 锁在 serial −10.3% +11.5%
harness cg small/2208 锁在 serial −4.1% +4.3%
harness cg medium、large 任意 0 0

所以按耗时算,数值范围在 harness cg 下仍接近 22–25%,但发生的位置从 large 移到了 small,medium 和 large 不再有代价,反向代价只有 4–12%。这些是由各实现的中位数换算的,不是同一进程内实测的跨 B 复用。若保留这句话,至少要注明 cg 条件;真实 MACE 描述符的路径系数是否为 1 没有查,所以不知道哪组更接近实际。outline 第 63 行和 test-list 第 38 行都未改动。

fctp 与 Triton 部分同一,与 stc 无关,atombit 只有 CUDA

以下结论全部来自对 FastEq 提交 4463b10 的只读代码核查,没有运行(fctp_atombit_check.md)。

fasteq/ops/fctp.py 的 Triton kernel 与 fctp 的 .cu 部分是同一运算。 核心缩并相同:y 取 one-hot 后,x 与权重张量 w 做 U→W 的矩阵乘,再乘 CG 系数。差别在稀疏假设:Triton 版每个输出 k 只对应一个非零项,用标量 alpha*val_for_k[k];.cu 允许一个 k 累加最多 7 个非零项。只有描述符满足每个 k 至多一个非零,且 alpha*val_for_k[k] 等于该非零的 CG 值时,两者才数值等价。这个前提无法在这份代码里验证,因为构造描述符的代码在空的子模块 3rdparty/cuequivariance_torch 里。两者也不是逐行移植:.cu 用 shared memory 和 tile,Triton 按 BU 分块且不用 shared memory。Triton 版多出 grad_w 和二阶反向,.cu 只有 x 的一阶梯度。因此若比较,范围只能限于前向和 grad_x。

fctp 与 stc 完全独立。 stc 是 SymmetricContraction,没有权重张量,通道维逐元素相乘,是按通道的多项式;fctp 是把 U 维映射到 W 维的矩阵乘。两者不能靠特化描述符互相表示,也不共享 codegen 或 kernel:stc 由 LARSUniform1DScheduler 排程生成,fctp 是手写固定 kernel。所以 stc 的 Triton 后端不能当 fctp 的参照,反过来也不行。fctp 在 fasteq/hip 下没有手写版本,与 outline 第 149 行"手写 HIP 只有 stc_fwd/bwd"一致。fasteq/ops/stc 这个路径不存在,stc 在 stc_uniform1d_jit.py 和 auto_schedule/ 下。

fused_bmm_sym、fused_commutator 都没有 Triton 或 HIP 版本。 atombit 就在 FastEq 内部,两个算子各有一个真实的 CUDA 实现(fasteq/cuda/src/atombit/*.cu)和一个 Python 薄包装,没有占位文件,也没有 hipify 产物。搜索覆盖 GPU62 的整个 FastEq 工作树和本地笔记,没有其他服务器。这份 clone 只有 1 个提交,无法确认历史上是否有过。由加载逻辑推断,它们在 AMD 后端下调用时会失败,这一点也未运行。核查还发现两处读代码所见的潜在问题:fctp_bwd.cu 把 zeros 改成 empty 后在未清零内存上 atomicAdd;fused_bmm_sym.cu 前向的 grid 在 F>128 时写不满输出。

Conclusion

这次测量把"能否作强参照"的问题答成了否:MI210 上的 equi_f32 现在有了一条可复现的底线,却没有上限。比较的意义因此要换一种说法,它证明现成的 Triton 实现远低于通用 agent 能拿到的水平,并不证明 agent 已接近硬件能力。第一轮解与 Triton 用同一条指令却差 4 倍以上,提示这个 kernel 的优化空间主要不在指令选择上(尚无计数器确认),这一点比 4.41× 这个比值本身更值得记住。

最容易写错的两处在表外:b30_s2 决定了整个 30 分钟最差列,而"同一条 MFMA"只对部分解成立。对 fctp 和 atombit 而言,目前 MI210 上没有与 .cu 完全对应的现成参照,fctp 要先确认描述符前提,atombit 完全没有非 CUDA 实现。