Qwen 的 MFMA 探测失败原因

2026-11-16约 6 分钟

Qwen 的 MFMA 探测失败原因

复核 MI210 b9 的 mmq、bnb_gemm4,依据为原始会话、远端遗留探测源码、同路径同版本编译器复现,以及主机端校验逻辑重放。

mmq 的 mai-insts 错误已定位到主机编译阶段。bnb 最初存在指令变体和操作数调用错误,也有明确的布局越界。自制探测还混入了会制造失败结果的校验错误。 原环境能够编译生成 MFMA 的证据已复核,Qwen 对整个工具链的 MFMA 不可用的结论需要撤回。

本轮验证覆盖 CPU 上的编译、汇编及静态/主机逻辑。修复后的 GPU 数值正确性和最终优化性能仍待运行验证。已有正确 Sol 交付和 Qwen lightning 交付,提供了原环境实际执行 MFMA 的正例。

mmq 的 builtin 在主机编译阶段失败#

布局探测把 AMD builtin 放进普通 C++ 辅助函数,末版还加了 target("mai-insts")。

static v16i __attribute__((target("mai-insts")))
mfma_i8(int32_t a, int32_t b, v16i c) {
    return __builtin_amdgcn_mfma_i32_32x32x8i8(a, b, c, 0, 0, 0);
}

SYCL 单源构建包含主机和设备编译。这个函数没有条件保护,主机编译也会检查 AMD 专用 builtin。Qwen 随后尝试给 gfx90a 开启 mai-insts,将错误解释为目标卡能力无法启用。官方示例给出了通过 __SYCL_DEVICE_ONLY__ 区分设备代码的方法。Intel 编程模型说明

本轮在 GPU62 使用原路径的 clang 23.1.1、commit 71767974d44acf0464ebf4b26c2059781eb7d6ee,保持 gfx90a 和原 libspirv 路径,得到如下结果。

对照 实际结果
原末版源码,完整构建 失败,mai-insts、cannot compile this builtin function yet
去掉 target attribute,完整构建 相同错误
上述未保护源码,device-only 通过
上述未保护源码,host-only 相同 mai-insts 错误
去掉 attribute,并加设备端保护,完整构建 通过,生成 INT8 MFMA
Qwen 最后留下的 guarded tbmfa.cpp 通过,生成 INT8 MFMA

修正后的函数如下。

static v16i mfma_i8(int32_t a, int32_t b, v16i c) {
#ifdef __SYCL_DEVICE_ONLY__
    return __builtin_amdgcn_mfma_i32_32x32x8i8(a, b, c, 0, 0, 0);
#else
    return c;
#endif
}

由未保护版本到保护版本,使用相同编译参数即可生成 v_mfma_i32_32x32x8i8。这组对照把该报错定位到了主机/设备代码隔离。编译结果、编译阶段结果

通俗说,GPU 专用操作被交给了 CPU 编译阶段检查,模型随后一直尝试修改 GPU 的开关。

Qwen 最后的修正已经能构建 仍然放弃了 builtin#

原始 JSONL 第 3814 行,Qwen 写下 tbmfa.cpp,使用 __AMDGCN__ 保护 builtin 及设备调用。第 3817 行输出主要是 -v 编译命令,以及额外 target-feature 参数未被使用的警告。原工作目录保留了 tbmfa 可执行文件,本轮重新编译也通过。

第 3820 行,Qwen 关注额外参数被丢弃,继续认定 builtin 不可用。该参数确实产生警告,修正隔离后的正常目标编译已能够生成 MFMA。这个探测只打印 ok,接下来仍需回传结果验证数值和布局。原始写入命令、后续判断

通俗说,修改已经让编译前进了一步,模型仍沿用前一个阶段的失败解释。

mmq 的回传字节数会制造数值失败#

32×32 输出共有 1024 个 int32_t,探测写的是

q.memcpy(Dout.data(), dD, Dref.size());
q.wait();

Dref.size() 等于 1024,memcpy 接受字节数,所以只复制 256 个输出,其余 768 个主机元素仍是初始哨兵。应改为 Dref.size() * sizeof(int32_t)。本轮用合成的正确设备结果重放复制,仍有 768 项不匹配,修正字节数后这个主机端反例消失。保留源码、重放结果

后期 AGPR 检查也有同一错误。向量 h 包含三组、共 3072 个 int32_t,每次使用 h.size() 字节,只回传第一组的 768 项。第二、三组分别检查一次和四次 MFMA,它们在主机上的区域没有被复制更新。旧日志中这两组的全零,不能支持 MFMA 写入不可见的硬件归因。AGPR 探测、旧输出

AGPR 第一组已复制区域也有异常,旧二进制元数据报告 .agpr_count=0。手写固定寄存器、资源声明和依赖关系需要单独调查,后两组的读回错误不足以证明这些异常的具体原因。

通俗说,一部分“计算错误”来自测试程序没有把计算结果完整取回来。

bnb 最先选错指令变体 随后又传错操作数#

最初使用 v_mfma_f32_16x16x16bf16,链接汇编报不支持 gfx90a。对于这里的操作,gfx90a 支持 v_mfma_f32_16x16x16bf16_1k。LLVM 的 gfx90a 汇编测试包含相应指令。LLVM gfx90a 测试

本轮用原编译器 -cc1as -target-cpu gfx90a,寄存器操作数保持一致,前一个指令名失败,加 _1k 后通过。Qwen 后来也修正过这个变体,因此它是早期失败原因。汇编对照

最初 asm 模板还有独立错误。

asm volatile("v_mfma_f32_16x16x16bf16 %0, %1, %2, %0"
    : "+v"(c[0]), "+v"(c[1]), "+v"(c[2]), "+v"(c[3])
    : "v"(a[0]), "v"(a[1]), "v"(a[2]), "v"(a[3]),
      "v"(b[0]), "v"(b[1]), "v"(b[2]), "v"(b[3]));

%0/%1/%2 都引用前面的输出约束,即 c[0]/c[1]/c[2]。A/B 输入没有被模板引用,所需输入和输出寄存器组也没有按指令要求表达。换对指令名后仍需修复这些调用问题。最初探测源码

通俗说,指令名称和传入参数都需要修复,单独换名称无法让它正确计算。

bnb 的布局探测还有越界和错误数据#

最初 probe1.cpp 为 16×16 矩阵定义 r0=lane/4,后续又访问 A[r0+8][...] 并写 C[r0+8][...]。wave64 的 r0 已覆盖 0..15,lane=32 时 r0+8=16,越过行边界。输出索引还只覆盖列 0..7,并有重叠写入。重放全部 lane,得到 128 个有效唯一输出位置,64 次写入越界。探测索引、静态重放

后续 probeN.cpp 有两种数据准备错误。

  • 把 0..255 的整数直接 cast 到 uint16_t,当作 BF16 位模式。整数 1 对应 0x0001,BF16 数值 1 对应 0x3f80,参考仍按普通整数数值计算。Qwen 后来修正了编码。
  • B 注释期望打包 B[k0][n0] 与 B[k0+1][n0],行优先数组的连续 32-bit 读取实际得到 B[k0][n0] 与 B[k0][n0+1],数据装入与布局假设冲突。

这些来自不同时间的探测版本,修复后续版本时仍需重新建立正确性依据。probeN 初始版本

另一个全一输入探测 probeS.cpp 用硬编码 v[112:115] 同时作输入累加器与输出,却没有先清零。它在异步 q.memcpy 后也直接读取主机向量。增加 LDS 声明后构建通过,数值测试仍需处理累加初值、固定寄存器和回传同步。probeS 初始版本

通俗说,布局测试自身在索引、数据编码和结果检查上也会出错,需要先确认这些环节。

环境归因的边界#

问题 当前结论
MI210 支持相关 MFMA 吗 支持,已有正确交付和官方指令测试
原工具链能编译正常 builtin 吗 能,本轮完整构建及生成汇编已确认
mmq 的 mai-insts 意味着 GPU feature 缺失吗 该错误出自主机编译,分阶段对照已确认
bnb 最初存在 layout 错吗 有确定的越界、漏写及操作数引用错误
mmq 数值失败能全归 layout 吗 需先修复回传字节数,原校验不足以判断
手写 AGPR 还有资源声明或调度问题吗 已有异常迹象,具体原因待修正读回后验证
笔记中 v[2:5] 因未四寄存器对齐而失败的解释成立吗 本轮该 BF16 _1k 例可通过汇编,旧归因需修正
工具链还可能存在其他问题吗 已有个别内核需要编译器 fence 等处理,应按具体复现记录

系统需要覆盖主机/设备隔离、精确指令变体与操作数、探测程序自身校验,以及编译结果与数值结果的分别记录。每个阶段保留真实进程退出码,可以避免 clang | grep 后的 $? 掩盖状态,也有助于模型据新结果更新解释。

全部复核文件与入口在证据目录。