2026-11-05 更新:本报告只覆盖默认参数。调参后每格最优几何平均 12.16 TFLOPS,Codex 优势缩到中位 1.30–1.47×,"调度和数据流"的推论也要收窄。见
research/taco-20261103-codex-baseline.md末节。
FastEq 的 Triton so3_linear 在 GPU62 MI210(gfx90a,卡
2)上跑通了 equi_f32 全部 12 格,144 条主测记录全部通过 rel_l2 <
5e-4,每格手选最优的几何平均 3.97 TFLOPS,最高
4.47。在同一 harness 输入下,种子 s3 是它的
2.25×;Codex 逐格中位的几何平均在 30/60/120 分钟分别是
15.78、17.83、17.50,即
3.97×、4.49×、4.41×;逐格最差值的几何平均是
11.05、17.09、15.52,即 2.78×、4.30×、3.91×。9 次 Codex 运行的全部 108
个格子都高于 Triton,最接近的是 30 分钟最差值在 small/512 的
1.27×。这个结果的含义有限:3.97 是FastEq 现成 Triton
实现的默认参数水平,不是 MI210 上限,所以只能说 Codex
明显高于这个现成实现,不能说 Codex 超过了 MI210 最优水平。fctp
方面,Triton kernel 与 .cu 只是部分同一运算,与 stc
完全独立;atombit 的
fused_bmm_sym、fused_commutator 没有 Triton 或
HIP 版本,只有 CUDA 实现。
下表所有 Codex
列的逐格中位数和最差值都是现算的,文件里没有现成值。来源是
baseline_numbers.md 表 1,本次又从 9 个
sweep/remeasure/equi_f32_b*_s*/results.txt 独立重算一遍,12
格全部一致(baseline_numbers.md)。Triton
列是 3 个独立进程的中位数,由 results_raw.csv
重算,与 results_cells.csv
一致。种子 s3 只有 1 次,没有中位和最差。
表 1:12 格对比(TFLOPS)
| 模型 | B | Triton 最优(变体) | auto | 种子 s3 | 30 分钟中位 | 30 分钟最差 | 60 分钟中位 | 60 分钟最差 | 120 分钟中位 | 120 分钟最差 |
|---|---|---|---|---|---|---|---|---|---|---|
| small | 512 | 2.044(group) | 1.780 | 3.544 | 4.309 | 2.605 | 5.596 | 5.424 | 5.485 | 5.090 |
| small | 2208 | 3.201(group) | 3.200 | 4.951 | 9.876 | 6.817 | 11.667 | 10.715 | 11.933 | 11.447 |
| small | 8192 | 4.165(serial) | 4.174 | 5.619 | 12.807 | 11.579 | 15.092 | 14.635 | 15.580 | 15.115 |
| small | 32768 | 4.315(serial) | 4.320 | 5.675 | 14.587 | 13.379 | 16.504 | 16.151 | 17.083 | 16.370 |
| medium | 512 | 3.928(path) | 3.913 | 8.382 | 11.824 | 5.081 | 13.195 | 12.360 | 11.781 | 9.273 |
| medium | 2208 | 4.454(path) | 4.454 | 9.711 | 19.526 | 11.746 | 20.471 | 19.492 | 19.516 | 17.223 |
| medium | 8192 | 4.468(path) | 4.469 | 10.869 | 22.479 | 14.938 | 22.589 | 22.224 | 23.320 | 21.491 |
| medium | 32768 | 4.401(path) | 4.398 | 10.972 | 24.803 | 18.189 | 24.591 | 23.271 | 25.701 | 22.177 |
| large | 512 | 4.414(path) | 4.405 | 13.427 | 17.273 | 11.690 | 21.641 | 18.892 | 20.780 | 12.512 |
| large | 2208 | 4.436(path) | 4.430 | 15.325 | 22.492 | 18.882 | 26.424 | 26.396 | 24.251 | 22.951 |
| large | 8192 | 4.422(path) | 4.422 | 15.470 | 24.835 | 17.780 | 27.448 | 27.098 | 26.486 | 25.068 |
| large | 32768 | 4.389(path) | 4.379 | 15.365 | 24.231 | 18.965 | 26.887 | 26.759 | 25.835 | 24.761 |
| 12 格几何平均(对本列直接算) | 3.97 | 3.92 | 8.95 | 15.78 | 11.05 | 17.83 | 17.09 | 17.50 | 15.52 | |
| 运行级几何平均(summary.txt,每次运行一个几何平均,再取中位 / 最差) | — | — | — | 15.86 | 11.05 | 17.80 | 17.31 | 17.34 | 15.67 |
两行几何平均要分开看。第一行对逐格中位或逐格最差直接取几何平均,这些值可能拼自不同运行,不对应某一份真实的解。第二行来自 sweep/summary.txt,每个数都是一份真实的解。30 分钟最差两行相同,因为 12 格最差值全部来自 b30_s2。
两套 Codex 重测已统一到 sweep。 measurement 笔记里的 17.26 来自第一轮重测(remeasure_table.txt),只有一份解,也就是 120 分钟的第 1 次采样。sweep 把同一份解重测后是 17.34(b120_s1),它恰好是 120 分钟档的运行级中位(sweep/remeasure_table.txt)。本报告所有 Codex 列都用 sweep 的 9 个结果,这样三档同批。种子只有第一轮重测,sweep 没有重测它,所以种子列与 Codex 列不是同一批。
表 2:对 Triton 每格最优的比值(用表 1 未舍入的数现算)
| 模型 | B | 种子 s3 | 30 中位 | 30 最差 | 60 中位 | 60 最差 | 120 中位 | 120 最差 |
|---|---|---|---|---|---|---|---|---|
| small | 512 | 1.73 | 2.11 | 1.27 | 2.74 | 2.65 | 2.68 | 2.49 |
| small | 2208 | 1.55 | 3.09 | 2.13 | 3.64 | 3.35 | 3.73 | 3.58 |
| small | 8192 | 1.35 | 3.07 | 2.78 | 3.62 | 3.51 | 3.74 | 3.63 |
| small | 32768 | 1.32 | 3.38 | 3.10 | 3.82 | 3.74 | 3.96 | 3.79 |
| medium | 512 | 2.13 | 3.01 | 1.29 | 3.36 | 3.15 | 3.00 | 2.36 |
| medium | 2208 | 2.18 | 4.38 | 2.64 | 4.60 | 4.38 | 4.38 | 3.87 |
| medium | 8192 | 2.43 | 5.03 | 3.34 | 5.06 | 4.97 | 5.22 | 4.81 |
| medium | 32768 | 2.49 | 5.64 | 4.13 | 5.59 | 5.29 | 5.84 | 5.04 |
| large | 512 | 3.04 | 3.91 | 2.65 | 4.90 | 4.28 | 4.71 | 2.83 |
| large | 2208 | 3.45 | 5.07 | 4.26 | 5.96 | 5.95 | 5.47 | 5.17 |
| large | 8192 | 3.50 | 5.62 | 4.02 | 6.21 | 6.13 | 5.99 | 5.67 |
| large | 32768 | 3.50 | 5.52 | 4.32 | 6.13 | 6.10 | 5.89 | 5.64 |
| 几何平均 | 2.25 | 3.97 | 2.78 | 4.49 | 4.30 | 4.41 | 3.91 | |
| 运行级几何平均 ÷ 3.97 | — | 3.99 | 2.78 | 4.48 | 4.36 | 4.37 | 3.95 |
measurement 笔记的"Codex 比值"一列(2.70–5.99×,几何平均 4.35×)是第一轮那一份解对 Triton 的比值,不是任何一档的中位,这里不再沿用;它在 sweep 口径下对应 4.37×,范围 2.68–5.99×。9 次运行的全部 108 个格子里,比值最低 1.27×(b30_s2,small/512),最高 7.22×(b120_s3,large/8192)。
差距随模型和 B 变大,主要因为 Triton 走平。 medium
和 large 的 8 格最优全是 path_parallel,其中 7 格落在
4.39–4.47,基本不随模型和 B 变化;Codex 同期从 small 的约 11 涨到 large
的约 25。所以比值在 small/512 只有 2.1–2.7×,到 large/8192 及以上达到
5.5–6.2×(triton_measurement.md)。path
的平台从哪来没有测过:汇编里有 32 处
global_atomic_cmpswap,这只是线索。
auto 基本贴着手选最优。 每格单独调优时,auto 36/36 次选中手选最优者,几何平均 3.92,12 格里 11 格差距不到 0.5%。例外是 small/512,1.780 对 2.044,低 12.9%。这一列是逐格调优的结果,不是一个进程内跨 B 复用的结果。
三档 Codex 的差别大多在噪声附近。 逐格中位几何平均 60 分钟 17.83 对 120 分钟 17.50,差 1.8%,不足以说明 60 分钟更好。最差值的差别才明显:30 分钟档被 b30_s2 拉到 11.05,60 分钟档只有 17.09 且 CV 2%。
输入和计时是对齐的。12 格 FP64 参考的 ref_max 与 Codex、种子的 results.txt 4 位有效数字全等,本次已逐格核对;FLOP 公式、1 次校验加 3 次暖机再计 10 次的次序、窗口内算术平均、抽样行校验和 5e-4 阈值都相同。余下的差异如下。
| 口径项 | 事实 | 怎么用 |
|---|---|---|
| 种子的精度 | 保留 TF32 舍入,rel_l2 2.73e-4–2.84e-4,也过 5e-4;且是 3 次一次性生成里最好的一次,s1 几何平均只有 5.45 | 与 Triton 不算同级精度,2.25× 只能当同 harness 下的旁证,不能当一次性生成的典型水平 |
| Triton 的精度 | 在 HIP 上只走 IEEE FP32,rel_l2 1.10e-7–2.75e-7。Codex 9 次都是 FP32 水平,1.79e-7–6.03e-7 | Triton 与 Codex
精度同级。浮点模式只核对过第一轮那份解(.amdhsa_float_denorm_mode_32 3、.amdhsa_ieee_mode 1,与
Triton 相同) |
| 单格噪声 | 同一份解两次重测,medium/32768 为 24.644 对 25.701,相差 4.1%(以大者为分母,以小者为分母是 4.3%) | 单格 5% 以内的差距不解读。每份解每格最多测过 2 次,这是唯一的噪声样本 |
| b30_s2 | 走 rocBLAS,源码里 mfma 0 处、rocblas 5 处,几何平均 11.05;30 分钟档 12 格最差值全部来自它 | 30 分钟最差列反映的是另一条代码路径,不是 MFMA 调优的最差情况。它仍算 Codex 真实交付,保留在表内 |
| Triton 的成本项 | 全部默认参数(block_m=32、block_n=64、block_k=32、num_warps=4、num_stages=2),未为 MI210 调参;Python → launcher → HIP 派发计入窗口;每次调用分配输出,path 还清零一次,也在窗口内 | B=16 的窗口均值 path、group 约 0.06–0.08 ms,small/512 的 0.074–0.082 ms 几乎就是这个下限;medium/512(0.171 ms)接近一半,small/2208 约三分之一,large 各格不到 10%。SYCL 一侧的派发没有量,所以不能直接扣除 |
| ROCm 版本 | Triton 在容器内:ROCm 7.2.2、torch 2.8.0、Triton 3.4.0。种子和 Codex 用 DPC++ 7.2.0,在主机上重测,主机 ROCm 7.0.0 | 两边用户态运行库版本不同。SYCL 实际加载的库版本没有打印,7.0.0 是由主机环境推断的 |
另有两点影响较小。Triton 取 3 进程中位,种子和 Codex 每格 1 个进程;3 轮差异的中位约 0.3%。Triton 测量时有时钟采样但没有与窗口对齐,种子和 Codex 重测时没有时钟记录,所以无法排除时钟差异。这些来源都在 triton_measurement.md 和 baseline_numbers.md。
旧的 Triton 数字(risk-check 里最高 5.93)不要与本表混用:那组 cg 全为 1,输入和暖机次数也不同。
这个参照可靠但不强。可靠,是因为同卡、同输入、同校验,过程可复现,FastEq 工作区未改动。不强,是因为它只回答"FastEq 现成 Triton 实现在默认参数下能到多少"。没有扫 block、warp、stage,不知道调参后能到多少,所以 3.97 既不是 MI210 的最优水平,也不是 Triton 的最优水平。不能写 Codex 超过了 MI210 最优水平,能写的只是 Codex 高于这份现成实现。一次性生成的种子也高于它,这本身说明它当不了"专家上限"。
两边用同一条 MFMA 这一点,只对第一轮那份解成立。
Triton 三种 kernel 的汇编全部是
v_mfma_f32_32x32x2f32(small 版 serial 960 条,path、group
各 384 条,见 keep_asm)。Codex
第一轮的解(即 b120_s1,几何平均 17.34)用的是同一条指令,它对 Triton
仍有
4.37×,这是"差距不在指令选择,而在调度和数据流"最直接的证据。但这个原因没有用硬件计数器确认。其余解并不都相同:本次对
9 份 solution.cpp 的源码 grep 显示,b30_s1 也只含
32x32x2;b60_s1、b60_s3、b120_s3 只含 16x16x4;b30_s3、b60_s2、b120_s2
两种都有;b30_s2 没有 MFMA。最好的 b120_s3(20.17)只用
16x16x4,种子也是 16x16x4。所以准确说法是:8/9 的 Codex 解和
Triton 同属 FP32 MFMA,第一轮那份与 Triton 是同一条指令。 grep
只看源码,编译后实际走哪一条路径没有逐份确认。
大规模格子的差距不能用派发开销解释。large 各格派发占比不到 10%,而 60 分钟中位在这里是 Triton 的 4.90–6.21×。small/512、small/2208 和 medium/512 相反:Triton 在这几格被派发开销压低,而 SYCL 一侧的开销没有量,所以这几格的比值不宜单独引用。海光上没有 Triton 数据,这份参照只对 MI210 成立。
measurement 笔记发现旧 F2.4 的测量里 cg 全为 1,而 harness 的 cg 在 [0.5,1.5) 随机。把 cg 改回全 1 后,新测与 risk-check 旧表的偏差中位数 0.8%,原因确认。cg ≠ 1 时 serial 和 group 变慢(中位分别为全 1 时的 0.63、0.89 倍),path 几乎不变,于是 harness cg 下 medium、large 全部是 path 最优,这两档没有选错代价。
但笔记里"选错代价约 10–20%"与"23–25%"的单位不同:前者是吞吐下降,后者是耗时增加(53.2 ms 对 42.7 ms)。换成同一单位后:
| 场景 | 情况 | 吞吐下降 | 耗时增加 |
|---|---|---|---|
| cg 全 1 | large/32768 锁在 path | −19.3% | +24.0% |
| cg 全 1 | large/512 锁在 serial | −18.9% | +23.3% |
| harness cg | small/8192 锁在 group | −18.2% | +22.3% |
| harness cg | small/32768 锁在 group | −20.0% | +24.9% |
| harness cg | small/512 锁在 serial | −10.3% | +11.5% |
| harness cg | small/2208 锁在 serial | −4.1% | +4.3% |
| harness cg | medium、large 任意 | 0 | 0 |
所以按耗时算,数值范围在 harness cg 下仍接近 22–25%,但发生的位置从 large 移到了 small,medium 和 large 不再有代价,反向代价只有 4–12%。这些是由各实现的中位数换算的,不是同一进程内实测的跨 B 复用。若保留这句话,至少要注明 cg 条件;真实 MACE 描述符的路径系数是否为 1 没有查,所以不知道哪组更接近实际。outline 第 63 行和 test-list 第 38 行都未改动。
以下结论全部来自对 FastEq 提交 4463b10 的只读代码核查,没有运行(fctp_atombit_check.md)。
fasteq/ops/fctp.py 的 Triton kernel 与 fctp 的
.cu 部分是同一运算。 核心缩并相同:y 取 one-hot
后,x 与权重张量 w 做 U→W 的矩阵乘,再乘 CG 系数。差别在稀疏假设:Triton
版每个输出 k 只对应一个非零项,用标量
alpha*val_for_k[k];.cu 允许一个 k 累加最多 7
个非零项。只有描述符满足每个 k 至多一个非零,且
alpha*val_for_k[k] 等于该非零的 CG
值时,两者才数值等价。这个前提无法在这份代码里验证,因为构造描述符的代码在空的子模块
3rdparty/cuequivariance_torch
里。两者也不是逐行移植:.cu 用 shared memory 和
tile,Triton 按 BU 分块且不用 shared memory。Triton 版多出 grad_w
和二阶反向,.cu 只有 x
的一阶梯度。因此若比较,范围只能限于前向和 grad_x。
fctp 与 stc 完全独立。 stc 是
SymmetricContraction,没有权重张量,通道维逐元素相乘,是按通道的多项式;fctp
是把 U 维映射到 W 维的矩阵乘。两者不能靠特化描述符互相表示,也不共享
codegen 或 kernel:stc 由 LARSUniform1DScheduler
排程生成,fctp 是手写固定 kernel。所以 stc 的 Triton 后端不能当 fctp
的参照,反过来也不行。fctp 在 fasteq/hip 下没有手写版本,与
outline 第 149 行"手写 HIP 只有
stc_fwd/bwd"一致。fasteq/ops/stc 这个路径不存在,stc 在
stc_uniform1d_jit.py 和 auto_schedule/
下。
fused_bmm_sym、fused_commutator
都没有 Triton 或 HIP 版本。 atombit 就在 FastEq
内部,两个算子各有一个真实的 CUDA
实现(fasteq/cuda/src/atombit/*.cu)和一个 Python
薄包装,没有占位文件,也没有 hipify 产物。搜索覆盖 GPU62 的整个 FastEq
工作树和本地笔记,没有其他服务器。这份 clone 只有 1
个提交,无法确认历史上是否有过。由加载逻辑推断,它们在 AMD
后端下调用时会失败,这一点也未运行。核查还发现两处读代码所见的潜在问题:fctp_bwd.cu
把 zeros 改成 empty 后在未清零内存上
atomicAdd;fused_bmm_sym.cu 前向的 grid 在
F>128 时写不满输出。
这次测量把"能否作强参照"的问题答成了否:MI210 上的 equi_f32 现在有了一条可复现的底线,却没有上限。比较的意义因此要换一种说法,它证明现成的 Triton 实现远低于通用 agent 能拿到的水平,并不证明 agent 已接近硬件能力。第一轮解与 Triton 用同一条指令却差 4 倍以上,提示这个 kernel 的优化空间主要不在指令选择上(尚无计数器确认),这一点比 4.41× 这个比值本身更值得记住。
最容易写错的两处在表外:b30_s2 决定了整个 30 分钟最差列,而"同一条
MFMA"只对部分解成立。对 fctp 和 atombit 而言,目前 MI210 上没有与
.cu 完全对应的现成参照,fctp 要先确认描述符前提,atombit
完全没有非 CUDA 实现。