2026-11-16。复核 MI210 b9 的 mmq、bnb_gemm4,依据为原始会话、远端遗留探测源码、同路径同版本编译器复现,以及主机端校验逻辑重放。
mmq 的 mai-insts 错误已定位到主机编译阶段。bnb
最初存在指令变体和操作数调用错误,也有明确的布局越界。自制探测还混入了会制造失败结果的校验错误。
原环境能够编译生成 MFMA 的证据已复核,Qwen 对整个工具链的 MFMA
不可用的结论需要撤回。
本轮验证覆盖 CPU 上的编译、汇编及静态/主机逻辑。修复后的 GPU 数值正确性和最终优化性能仍待运行验证。已有正确 Sol 交付和 Qwen lightning 交付,提供了原环境实际执行 MFMA 的正例。
布局探测把 AMD builtin 放进普通 C++ 辅助函数,末版还加了
target("mai-insts")。
static v16i __attribute__((target("mai-insts")))
mfma_i8(int32_t a, int32_t b, v16i c) {
return __builtin_amdgcn_mfma_i32_32x32x8i8(a, b, c, 0, 0, 0);
}SYCL
单源构建包含主机和设备编译。这个函数没有条件保护,主机编译也会检查 AMD
专用 builtin。Qwen 随后尝试给 gfx90a 开启
mai-insts,将错误解释为目标卡能力无法启用。官方示例给出了通过
__SYCL_DEVICE_ONLY__ 区分设备代码的方法。Intel
编程模型说明
本轮在 GPU62 使用原路径的 clang 23.1.1、commit
71767974d44acf0464ebf4b26c2059781eb7d6ee,保持 gfx90a 和原
libspirv 路径,得到如下结果。
| 对照 | 实际结果 |
|---|---|
| 原末版源码,完整构建 | 失败,mai-insts、cannot compile this builtin function yet |
| 去掉 target attribute,完整构建 | 相同错误 |
| 上述未保护源码,device-only | 通过 |
| 上述未保护源码,host-only | 相同 mai-insts 错误 |
| 去掉 attribute,并加设备端保护,完整构建 | 通过,生成 INT8 MFMA |
Qwen 最后留下的 guarded tbmfa.cpp |
通过,生成 INT8 MFMA |
修正后的函数如下。
static v16i mfma_i8(int32_t a, int32_t b, v16i c) {
#ifdef __SYCL_DEVICE_ONLY__
return __builtin_amdgcn_mfma_i32_32x32x8i8(a, b, c, 0, 0, 0);
#else
return c;
#endif
}由未保护版本到保护版本,使用相同编译参数即可生成
v_mfma_i32_32x32x8i8。这组对照把该报错定位到了主机/设备代码隔离。编译结果、编译阶段结果
通俗说,GPU 专用操作被交给了 CPU 编译阶段检查,模型随后一直尝试修改 GPU 的开关。
原始 JSONL 第 3814 行,Qwen 写下 tbmfa.cpp,使用
__AMDGCN__ 保护 builtin 及设备调用。第 3817 行输出主要是
-v 编译命令,以及额外 target-feature
参数未被使用的警告。原工作目录保留了 tbmfa
可执行文件,本轮重新编译也通过。
第 3820 行,Qwen 关注额外参数被丢弃,继续认定 builtin
不可用。该参数确实产生警告,修正隔离后的正常目标编译已能够生成
MFMA。这个探测只打印
ok,接下来仍需回传结果验证数值和布局。原始写入命令、后续判断
通俗说,修改已经让编译前进了一步,模型仍沿用前一个阶段的失败解释。
32×32 输出共有 1024 个 int32_t,探测写的是
q.memcpy(Dout.data(), dD, Dref.size());
q.wait();Dref.size() 等于 1024,memcpy
接受字节数,所以只复制 256 个输出,其余 768
个主机元素仍是初始哨兵。应改为
Dref.size() * sizeof(int32_t)。本轮用合成的正确设备结果重放复制,仍有
768 项不匹配,修正字节数后这个主机端反例消失。保留源码、重放结果
后期 AGPR 检查也有同一错误。向量 h 包含三组、共 3072 个
int32_t,每次使用 h.size()
字节,只回传第一组的 768 项。第二、三组分别检查一次和四次
MFMA,它们在主机上的区域没有被复制更新。旧日志中这两组的全零,不能支持
MFMA 写入不可见的硬件归因。AGPR
探测、旧输出
AGPR 第一组已复制区域也有异常,旧二进制元数据报告
.agpr_count=0。手写固定寄存器、资源声明和依赖关系需要单独调查,后两组的读回错误不足以证明这些异常的具体原因。
通俗说,一部分“计算错误”来自测试程序没有把计算结果完整取回来。
最初使用 v_mfma_f32_16x16x16bf16,链接汇编报不支持
gfx90a。对于这里的操作,gfx90a 支持
v_mfma_f32_16x16x16bf16_1k。LLVM 的 gfx90a
汇编测试包含相应指令。LLVM
gfx90a 测试
本轮用原编译器
-cc1as -target-cpu gfx90a,寄存器操作数保持一致,前一个指令名失败,加
_1k 后通过。Qwen
后来也修正过这个变体,因此它是早期失败原因。汇编对照
最初 asm 模板还有独立错误。
asm volatile("v_mfma_f32_16x16x16bf16 %0, %1, %2, %0"
: "+v"(c[0]), "+v"(c[1]), "+v"(c[2]), "+v"(c[3])
: "v"(a[0]), "v"(a[1]), "v"(a[2]), "v"(a[3]),
"v"(b[0]), "v"(b[1]), "v"(b[2]), "v"(b[3]));%0/%1/%2 都引用前面的输出约束,即
c[0]/c[1]/c[2]。A/B
输入没有被模板引用,所需输入和输出寄存器组也没有按指令要求表达。换对指令名后仍需修复这些调用问题。最初探测源码
通俗说,指令名称和传入参数都需要修复,单独换名称无法让它正确计算。
最初 probe1.cpp 为 16×16 矩阵定义
r0=lane/4,后续又访问 A[r0+8][...] 并写
C[r0+8][...]。wave64 的 r0 已覆盖
0..15,lane=32 时 r0+8=16,越过行边界。输出索引还只覆盖列
0..7,并有重叠写入。重放全部 lane,得到 128 个有效唯一输出位置,64
次写入越界。探测索引、静态重放
后续 probeN.cpp 有两种数据准备错误。
uint16_t,当作 BF16
位模式。整数 1 对应 0x0001,BF16 数值 1 对应
0x3f80,参考仍按普通整数数值计算。Qwen
后来修正了编码。B[k0][n0] 与
B[k0+1][n0],行优先数组的连续 32-bit 读取实际得到
B[k0][n0] 与
B[k0][n0+1],数据装入与布局假设冲突。这些来自不同时间的探测版本,修复后续版本时仍需重新建立正确性依据。probeN 初始版本
另一个全一输入探测 probeS.cpp 用硬编码
v[112:115] 同时作输入累加器与输出,却没有先清零。它在异步
q.memcpy 后也直接读取主机向量。增加 LDS
声明后构建通过,数值测试仍需处理累加初值、固定寄存器和回传同步。probeS
初始版本
通俗说,布局测试自身在索引、数据编码和结果检查上也会出错,需要先确认这些环节。
| 问题 | 当前结论 |
|---|---|
| MI210 支持相关 MFMA 吗 | 支持,已有正确交付和官方指令测试 |
| 原工具链能编译正常 builtin 吗 | 能,本轮完整构建及生成汇编已确认 |
mmq 的 mai-insts 意味着 GPU feature 缺失吗 |
该错误出自主机编译,分阶段对照已确认 |
| bnb 最初存在 layout 错吗 | 有确定的越界、漏写及操作数引用错误 |
| mmq 数值失败能全归 layout 吗 | 需先修复回传字节数,原校验不足以判断 |
| 手写 AGPR 还有资源声明或调度问题吗 | 已有异常迹象,具体原因待修正读回后验证 |
笔记中 v[2:5] 因未四寄存器对齐而失败的解释成立吗 |
本轮该 BF16 _1k 例可通过汇编,旧归因需修正 |
| 工具链还可能存在其他问题吗 | 已有个别内核需要编译器 fence 等处理,应按具体复现记录 |
系统需要覆盖主机/设备隔离、精确指令变体与操作数、探测程序自身校验,以及编译结果与数值结果的分别记录。每个阶段保留真实进程退出码,可以避免
clang | grep 后的 $?
掩盖状态,也有助于模型据新结果更新解释。
全部复核文件与入口在证据目录。