← 全部报告

跨卡保持率要先扣掉硬件松弛差

结论先说:学术界衡量"性能有没有迁移过去",主流做法有三种,都不直接比较跨厂商的原始运行时间。第一种是同卡对照,迁移后的代码和原始 CUDA 跑在同一块 NVIDIA 卡上比。第二种是目标卡上的应用效率,分母取目标卡上已知最快的实现。第三种是架构效率,分母取实测峰值或 roofline。如果平台不止一个,再用 Pennycook 的 Φ(调和平均)汇总。我们的"保持率 = 目标架构效率 ÷ 源架构效率"属于第三种,再加上一个有方向的源→目标比值。实测峰值和 roofline 分母都有成熟文献可以直接引用(ERT、Hoefler & Belli、Pennycook 2019 年用 roofline 定义架构效率的报告)。但对 LLM 推理里的小 kernel,roofline 在不同厂商上松紧不同,现有文献只承认这一点,没有人给出修正办法,这正是我们的已知问题。用一个简单分解可以把问题说清楚:保持率 = 应用效率之比 × 两卡松弛度之比。所以 A100 组(源和目标同卡)的松弛项正好抵消,保持率退化为同卡时间比,可以放心用;H100→MI210/DCU 组则必须估计或消掉松弛度之比。LLM/Agent kernel 基准方面,目前没有一项工作在 NVIDIA 和 AMD/海光上对同一批 kernel 做 roofline 归一化后再比较,也没有找到包含海光 DCU 或 MI210 的 Φ 研究。这两处是我们可以占的空白,但定稿前需要再检索一轮,才能写"据我们所知尚无"。

Φ 与两种效率:我们的保持率站在争议较少的一侧

Pennycook 等人把性能可移植性定义为平台集合 H 上各平台"性能效率"的调和平均:Φ(a,p,H) = |H| / Σ 1/e_i(a,p);只要 H 中任一平台跑不了,Φ 就记为 0 (arXiv)。效率有两种口径。架构效率是"实测性能占理论峰值的比例",反映硬件利用率,但原文承认它对微架构差异不公平:要求各平台效率相近"often unrealistic",而且达到峰值不等于算法最优。应用效率是"实测性能占该平台最佳观测性能的比例",能反映算法和抽象开销,缺点是需要事先有一个 best-known 结果,而 best-known 不等于 best possible (arXiv)。原始 Φ 没有"源平台"的概念,两种分母都是目标平台自身的属性。Pennycook 2019 年在 NERSC/IDEAS 的报告把 roofline 效率明确作为架构效率,公式是"实测性能 / min(峰值 FLOP/s, 峰值带宽 × AI)" (NERSC talk)。这与我们的效率定义一致,是最直接的引用依据。

批评主要来自两处。Daniel & Panetta 发现 Φ 对问题规模敏感,换一个输入规模,最优编程模型就可能变,因此提出 Performance Portability Divergence,即在一组规模上给出一个值 (SC19 PDF)。Marowka 在 2021–2024 年连续发文,认为调和平均不直观、丢信息,主张改用算术平均;他还指出实际研究里的"应用效率"用的是"本研究里最快的实现",加入一个新实现后,其他实现的分数也跟着变 (arXiv 2407.00232)。不过 Marowka 在 CCPE 2023 中也承认,Pennycook 修订后的原则对基于吞吐量的架构效率成立,对基于运行时间的应用效率不成立 (CiteDrive)。我们的保持率基于 roofline 吞吐,正好落在双方争议较少的一侧。Pennycook 一方在 P3HPC 2021 从第一性原理重新推导了 Φ 作为回应 (SC21);Sewall 等在 P3HPC 2020 提出,单个汇总数字会掩盖应用之间的差异,应配合 cascade plot 等可视化使用 (SC20)。

和我们最接近的"有方向"度量是 Marowka 2024 的 portability efficiency η(a,p,b→t):在目标平台 t 上使用"基平台 b 上找到的最佳设置"时的性能,除以 t 上的最佳观测性能。按他的说法,这个度量显式刻画了单向迁移的代价 (arXiv 2407.00232)。它和我们的保持率都是源→目标方向,区别在于 η 的分母是目标卡上的最优实现,我们的分母是源卡效率;η 衡量调优设置能否迁移,我们衡量翻译后硬件利用率保住了多少。

文献 年份 / 会议 核实状态(沿用笔记)
Pennycook, Sewall, Lee. "A Metric for Performance Portability." (arXiv) 2016, PMBS@SC16 已核验
Pennycook, Sewall, Lee. "Implications of a metric for performance portability." FGCS 92:947–958, DOI 10.1016/j.future.2017.08.007 (Wikipedia 引用) 2017 在线 / 2019 卷期 二手;年份写法在两份笔记中不一致
Sewall, Pennycook, Jacobsen, Deakin, McIntosh-Smith. "Interpreting and Visualizing Performance Portability Metrics." DOI 10.1109/P3HPC51967.2020.00007 (SC20) 2020, P3HPC 已核验;cascade plot 的构造细节来自记忆
Pennycook, Sewall, Jacobsen, Deakin, McIntosh-Smith. "Navigating Performance, Portability, and Productivity." CiSE 23(5):28–38 (Bristol) 2021 卷期已核验;DOI 10.1109/MCSE.2021.3097276 为二手
Pennycook, Sewall. "Revisiting a Metric for Performance Portability." (SC21) 2021, P3HPC 标题、作者、会议已核验;DOI 未找到,正文未读
Daniel, Panetta. "On Applying Performance Portability Metrics." DOI 10.1109/P3HPC49587.2019.00010 (SC19 PDF) 2019, P3HPC 读过论文 PDF
Marowka. "Toward a better performance portability metric." DOI 10.1109/PDP52278.2021.00036 (Crossref) 2021, PDP 二手
Marowka. "Reformulation of the Performance Portability Metric." SPE 52(1):154–171, DOI 10.1002/spe.3002 (引用来源) 2022 二手(来自他人参考文献)
Marowka. "A comparison of two performance portability metrics." CCPE 35(25):e7868, DOI 10.1002/cpe.7868 (CiteDrive) 2023 只读过摘要;另一份笔记把年份写作 2024
Marowka. "Portability Efficiency Approach for Calculating Performance Portability." (arXiv 2407.00232) 2024, arXiv 读过 v3 HTML;researchr 上 Marowka24 的标题是 "On the Incorrect Use of Application Efficiency to Calculate Performance Portability" (researchr),需确认是否为同一篇
LBNL, P3HPC 2018 roofline 方法论文(用经验 roofline 计算架构效率)(PDF) 2018, P3HPC 未核验:作者、标题、结论都没打开看

实测峰值只解决一半问题,小 kernel 的松弛差没人修

"每张卡实测峰值"这一步有扎实的引用依据。Lo、Williams 等人的 Empirical Roofline Toolkit 用微基准实测各级存储的可达带宽和可达算力,用"经验天花板"替换数据手册峰值 (OSTI)。Hoefler & Belli 在 SC'15 中写明:厂商峰值只是"不会被超过"的保证,可能离实际很远,此时应当用精心设计、统计上可靠的微基准来参数化上界 (PDF)。AMD 的 rocprof-compute(原 Omniperf)也是同一思路,先跑面向具体加速器的微基准测出经验峰值,再把 kernel 画上去 (ROCm docs)。跨厂商的 roofline 比较(A100/H100 对 MI250X/MI300 对 PVC)通常就是"各卡用同类微基准测天花板,再比较占各自天花板的比例"。

问题在于,这些天花板都是大工作集、高并行度下的渐近峰值,不覆盖小问题规模下的延迟和并行度不足。AMD 自己的 HIP 文档也承认,roofline "完全忽略延迟",很少有 kernel 能碰到屋顶,并单列了一个"overhead-bound"类别,指受主机调度、kernel launch 或小数组操作限制的 kernel (ROCm HIP)。同一份代码在不同厂商上离屋顶的距离也确实不同:MFC 论文发现 MI250X 的 ridge point 是 V100 的 3.4 倍,导致同样的 kernel 在 AMD 上变成访存受限 (arXiv 2409.10729);射电干涉成像研究中,gridder 在 MI250X 上的浮点利用率约 46–57%,在 A100 上超过 90% (arXiv 2502.17789)。造成松弛差的结构原因包括 wavefront 64 对 warp 32、CU/SM 数不同导致的 wave quantization(NVIDIA 指南的例子:A100 上 109 个块要跑两个 wave)(NVIDIA)、launch 延迟,以及 L2 容量差异。

已有的修补方向各管一块。Wang 等的时间型 roofline 在 min() 里加入一个 kernel launch 开销天花板 (arXiv 2009.04598);LogCA 用开销 o、延迟 L 等参数刻画小粒度任务下的加速比损失(部分核验,引用来源见 Gables talk);分层 roofline 把 L1/L2/HBM 放进同一张图 (NERSC PDF);指令 roofline 用 warp 指令和内存事务做坐标,适合 top-k 这类以整数、比较指令为主的 kernel (PMBS19)。但指令 roofline 不能直接拿来做跨厂商的统一分母:Leinhauser 等人在 AMD 上实现时明确指出,两家 profiler 的指标口径不同,直接比较很困难 (arXiv 2110.08221)。LLM 推理文献通常只报 MBU(带宽利用率)或 roofline 比例,承认小 batch decode 离屋顶很远,但不去收紧分母 (Databricks; LLM-Viewer)。SOLAR 的观察是考虑 cache 后 SOL 上界最多可收紧 10 倍(二手,arXiv)。本轮没有找到任何一篇论文在 AMD/DCU 上量化 launch 开销对 roofline 的影响,也没有找到处理 top-k 或 decode attention 小 kernel 上界松弛的论文。

文献 年份 / 会议 核实状态
Williams, Waterman, Patterson. "Roofline: An Insightful Visual Performance Model for Multicore Architectures." CACM 52(4) 2009 未核验,笔记中没有链接
Lo, Williams, Van Straalen, Ligocki, Cordery, Wright, Hall, Oliker. "Roofline Model Toolkit: A Practical Tool for Architectural and Program Analysis." LNCS 8966:129–148, DOI 10.1007/978-3-319-17248-4_7 (researchr) 2014, PMBS@SC14 已核验
Yang, Kurth, Williams. "Hierarchical Roofline analysis for GPUs: Accelerating performance optimization for the NERSC‐9 Perlmutter system." CCPE 32(20) e5547 (OSTI) 2020 已核验
Ding, Williams. "An Instruction Roofline Model for GPUs." (eScholarship) 2019, PMBS@SC19 已核验
Ding, Awan, Williams. "Instruction Roofline: An insightful visual performance model for GPUs." CCPE 34(20), DOI 10.1002/cpe.6591 (eScholarship) 2022 已核验
Leinhauser, Widera, Bastrakov, Debus, Bussmann, Chandrasekaran. "Metrics and Design of an Instruction Roofline Model for AMD GPUs." (arXiv) 2021, arXiv 已核验,只有预印本
Wang, Yang, Farrell, Zhang, Kurth, Williams. "Time-Based Roofline for Deep Learning Performance Analysis." (arXiv) 2020, DLS@SC20 已核验
Hill, Reddi. "Gables: A Roofline Model for Mobile SoCs." (PDF) 2019, HPCA 已核验
Altaf, Wood. "LogCA: A High-Level Performance Model for Hardware Accelerators." 2017, ISCA 部分核验:会议和年份经 Gables 报告确认,题目和参数凭记忆
Chatterjee. "From Roofline to Ruggedness: Decomposing and Smoothing the GEMM Performance Landscape." (arXiv) 2026, arXiv 已核验;只在 Intel Arc B580 上验证
"WaveTune: Wave-aware Bilinear Modeling for Efficient GPU Kernel Auto-tuning." (arXiv) 2026, arXiv 部分核验,只看到摘要
Hoefler, Belli. "Scientific Benchmarking of Parallel Computing Systems: Twelve Ways to Tell the Masses when Reporting Performance Results." (PDF) 2015, SC 已核实,读过全文

迁移研究的共识:同卡对照加目标卡原生基线,回避跨卡原始比

CUDA→SYCL/HIP 的同行评审研究普遍组合使用同卡对照、目标卡原生基线和峰值或 roofline 效率,刻意不用"目标卡时间 / NVIDIA 卡时间"。Davis 等(ICS'25)以 HIP 和 CUDA 作为基线,原文称它们是 AMD 和 NVIDIA 设备的原生模型;应用效率定义为 t_min/t,t_min 取该平台上所有变体中的最优时间,平台覆盖 A100、H100、MI250X GCD 等。遇到离群点时,他们用两卡的经验 roofline(A100 实测 1552.8 GB/s,MI250X GCD 实测 1380.2 GB/s)来解释 (arXiv 2402.08950)。Reguly 用原生编译器编译的 BabelStream 测 Triad 带宽,以此作为"可达架构效率"的分母:原生实现平均 59%,DPC++ nd_range 54%;MI250X 上 DPC++ nd_range 比原生 HIP 慢 15.9% (arXiv 2309.10075)。Jin & Vetter 在评估 HIPCL 和 DPCT 时直接声明,比较两个系统之间的性能差异超出了论文范围 (OSTI)。Costanzo 等因为 AMD/Intel 上没有 CUDA 原生基线,改用建模得到的峰值 GCUPS 算架构效率;同卡对照下,CUDA 和 SYCL 在 NVIDIA 上的单 GPU PP 分别为 42.0% 和 42.2% (arXiv 2412.08308)。

跨卡原始比值为什么不能用,有一个现成的反例:Intel 的 CFD 案例宣传 "up to 1.9x",比的是 Max 1550 上的 SYCL 对 A100 上的 CUDA;而在同一块 A100 上,迁移后的 SYCL 与 CUDA 基本持平 (Intel)。这说明原始跨卡比值主要反映硬件差异,而不是迁移质量。另一个值得注意的点是,同时报告应用效率版和架构效率版 Φ 时,结论可能会变:Gaia 研究中架构效率版 Φ 明显更低(检索摘要,TPDS PDF)。没有找到一篇专门、正面论证"跨厂商原始比值无效"的方法论论文,文献是通过实验设计来回避这个问题的。

海光 DCU 方面,没有找到以 CUDA→HIP 迁移质量为主题、并采用同卡原生基线或峰值归一化的同行评审论文。现有材料要么在应用论文中顺带把 DCU 和 V100 对比,属于原始跨卡比(摘要级,arXiv 2609.06680);要么是中文工程博客,用"约为 hipBLAS 的 0.50×"这类同卡 vendor 库口径 (知乎),或"相对国际产品 xx%"的宣传口径。同样,本轮也没有找到包含 MI210 或海光 DCU 的已发表 Φ 结果。

文献 年份 / 会议 核实状态
Davis 等. "Taking GPU Programming Models to Task for Performance Portability." DOI 10.1145/3721145.3730423 (arXiv) 2025, ICS 已核(本地 PDF 抽文本)
Reguly. "Evaluating the performance portability of SYCL across CPUs and GPUs on bandwidth-bound applications." (arXiv) 2023, SC-W 已核(本地抽文本)
Jin, Vetter. "Evaluating CUDA Portability with HIPCL and DPCT." pp. 371–376 (OSTI) 2021, IPDPSW 已核(本地抽文本)
Jin, Vetter. "A Benchmark Suite for Improving Performance Portability of the SYCL Programming Model."(HeCBench)DOI 10.1109/ISPASS57527.2023.00041 (ORNL) 2023, ISPASS 元数据已核
Costanzo, Rucci, García-Sánchez, Naiouf, Prieto-Matías. "Analyzing the Performance Portability of SYCL across CPUs, GPUs, and Hybrid Systems with SW Sequence Alignment." (arXiv) 2025, FGCS 已核;摘要与结论用词前后不一致
Castaño, Faqir-Rhazoui, García, Prieto-Matías. "Evaluation of Intel's DPC++ Compatibility Tool in heterogeneous computing." JPDC 165:120–129 (UCM) 2022 部分未核实,"中等开销"的基线需读全文确认
Deakin 等. "Performance Portability across Diverse Computer Architectures." DOI 10.1109/P3HPC49587.2019.00006 (Bristol) 2019, P3HPC 已核

LLM/Agent kernel 基准几乎都停在单张卡上

LLM 生成 kernel 的基准,主流指标是"正确且相对软件基线有加速的比例"。KernelBench 的 fast_p 定义为 (1/N) Σ 1(正确 ∧ 相对 PyTorch Eager 加速比 > p),主平台是单张 L40S (arXiv 2502.10517)。它做过一个小型跨 GPU 实验,但只看加速比是否保持:DeepSeek-R1 的 fast_1 在 L40S 上是 36%,在 A10G 上是 47%。由于各卡上的 PyTorch/cuBLAS 基线本身就不同,这个变化不能说明 kernel 在 A10G 上更好。CUDA-L1 在 A100 上优化,再拿到 H100/L40/3090/H20 上报加速比,H100 均值 3.85×、中位数仅 1.32×,而且不同 arXiv 版本的数字不一致(二手,arXiv v9)。

后续工作主要揭示了基线过弱和作弊问题。KernelBench-Verified 发现原 FP32 参考没有开 TF32,换成 TF32 基线并加入隐藏的取值分布后,GPT-5.5 的几何平均加速比从 1.43× 降到 0.88×;作者明确说结论不推广到 H200 以外的硬件 (alphaXiv)。Sakana 的 robust-kbench 过滤掉被污染的任务后,平均加速比从 3.13× 降到 1.49× (alphaXiv)。最接近"相对硬件上限"的是 NVIDIA 的 SOL-ExecBench:T_SOL = max(FLOPs/算力峰值, 融合后字节/带宽),分数 S = (T_b − T_SOL) / ((T_k − T_SOL) + (T_b − T_SOL)),在 B200 上锁频 1500 MHz,每次迭代前清 256 MB L2;但它没有任何跨硬件讨论 (arXiv 2603.19173)。AMD 一侧的 GEAK 和 AgentKernelArena 只在 MI300X 上评测,数字为 AMD 自报 (AMD blog)。MultiKernelBench 覆盖 CUDA、AscendC 和 Pallas,但各平台分开评测,没有 HIP 后端 (arXiv 2507.17773)。

LLM 驱动的 CUDA→SYCL 翻译工作更少,几乎只报正确率和 token/金钱成本。ChatPORT 微调后在 62 个 kernel 上的正确率为 19.9%–81.7% (ACM DL);"More with Less" 在 30 个 HeCBench kernel 上把 token 消耗最多降低了 52.4% (arXiv 2611.08947)。本轮没有找到任何工作做"源平台 kernel → 跨厂商翻译 → 比较两端相对硬件上限的效率"。

文献 年份 / 会议 核实状态
Ouyang, Guo, Arora, Zhang, Hu, Ré, Mirhoseini. "KernelBench: Can LLMs Write Efficient GPU Kernels?" (arXiv) 2025, ICML(会议为二手) 已核;附录 G 的跨卡表只核到两个数
"KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch?" (alphaXiv) 2026, arXiv 2607.16241 已核;作者存疑,alphaXiv 页面和 BibTeX 中的作者不一致
Lange, Sun, Prasad, Faldor, Tang, Ha. "Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization." (alphaXiv) 2025, arXiv 已核(概览页);GPU 型号和计时方法缺失
Lin 等(NVIDIA). "SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits." (arXiv) 2026, arXiv 已核
"CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning." (arXiv) 2026, ICLR 二手;各版本数字不一致
"Kevin: Multi-Turn RL for Generating CUDA Kernels." (arXiv) 2026, ICLR 二手 + 官方博客
"TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators." (arXiv) 2025, ACL Findings 二手;作者和 "GPU Efficiency" 的定义未核
Nichols, Davis, Xie, Rajaram, Bhatele. "Can Large Language Models Write Parallel Code?"(ParEval)(arXiv) 2024, HPDC 标题、作者、会议已核;speedup_n@k / efficiency_n@k 公式未核
"GEAK: Introducing Triton Kernel AI Agent & Evaluation Benchmarks." (arXiv) 2025, arXiv 二手,AMD 自报
"MultiKernelBench: A Multi-Platform Benchmark for Kernel Generation." (arXiv) 2025, arXiv 二手
Jin 等. "Enhancing ChatPORT with CUDA-to-SYCL Kernel Translation Capability." DOI 10.1145/3731599.3767398 (ACM DL) 2025, SC-W 二手;是否报告 SYCL 性能未核
"More with Less: Efficient Parallel Scientific Code Translation via an Agent-Skill Workflow." (arXiv) 2026, arXiv 二手
Atrex-Bench(arXiv 2607.14541)、ParallelKernelBench(alphaXiv) 2026 二手;ParallelKernelBench 的链接格式异常,需要重新找

调优迁移和跨卡预测都用"目标卡最优"做分母

autotuning 文献衡量"调优参数能否跨卡迁移"时,通行做法是把 A 卡上的最优配置搬到 B 卡上运行,再除以 B 卡上搜索得到的最优配置的性能。这样分母就是目标卡上实际可达的最好值,天然消去了"峰值上界在不同厂商间松紧不同"的问题。与我们最相关的是 Lurati 等人对 NVIDIA 和 AMD 的研究:e_i 定义为某配置在设备 i 上的性能除以 i 上所有配置的最好性能,再用 Pennycook PP 汇总。结果显示,可移植性最好的 NVIDIA 调优配置在 NVIDIA 上平均达到最优的 93%,在 AMD 上只有 41%;A4000 的最优配置在 MI250X 上约为最优的 22%;调优带来的提升(最优/中位数)在 AMD 上约 10×,在 NVIDIA 上约 2× (arXiv 2407.11488)。BAT 2.0 用"调优卡 × 运行卡"的矩阵报告同样的比例,同代 NVIDIA 卡之间最高可到 99.9%,跨代可低至 58.5%。BAT 2.0 还是一个术语混用的反面例子:脚注把 relative performance 定义为相对硬件峰值,图里实际用的却是相对每张卡的最优配置 (arXiv 2303.08976)。

跨卡性能预测文献则把时间拆成"硬件上界 × 1/利用率",并且都承认利用率不能跨卡照搬。Habitat 用两卡的计算单元数和带宽比缩放 kernel 时间,但对于在不同卡上会选用不同 kernel 的算子,就改用 MLP 预测,平均误差 11.8% (USENIX ATC'21)。NeuSight 用 ML 只预测利用率,再用峰值算力和带宽给结果设上界 (arXiv 2407.13853)。Van Lanker 等先比较两卡的汇编,重新估计目标卡上的算术强度,再用分层 roofline 投影 (HAL)。这些工作几乎都只在 NVIDIA 内部验证;只有 Stevens & Klöckner 的模型包含了一张 AMD 卡 (arXiv 1604.04997)。在报告方法上,Hoefler & Belli 的规则可以直接拿来用:比值必须附带绝对值;尽量不汇总比值,非汇总不可时用几何平均;非确定性数据要给置信区间,不要默认正态;尽量画出性能上界 (PDF)。

文献 年份 / 会议 核实状态
Tørring, van Werkhoven, Petrovič, Willemsen, Filipovič, Elster. "Towards a Benchmarking Suite for Kernel Tuners."(BAT 2.0)(arXiv) 2023 已核实全文;会议(IPDPSW/iWAPT)未核
Lurati, Heldens, Sclocco, van Werkhoven. "Bringing Auto-tuning to HIP: Analysis of Tuning Impact and Difficulty on AMD and Nvidia GPUs." (arXiv) 2024 已核实 HTML;正式会议未核
Schoonhoven, van Werkhoven, Batenburg. "Benchmarking optimization algorithms for auto-tuning GPU kernels." IEEE TEVC 27(3):550–564 (arXiv) 2023 只读过摘要
Petrovič 等. "A Benchmark Set of Highly-efficient CUDA and OpenCL Kernels and its Dynamic Autotuning with Kernel Tuning Toolkit." (arXiv) 2020, FGCS 作者列表和会议未核
Yu, Gao, Golikov, Pekhimenko. "Habitat: A Runtime-Based Computational Performance Predictor for Deep Neural Network Training." (USENIX) 2021, USENIX ATC 摘要和会议页已核;wave scaling 公式未核
"Forecasting GPU Performance for Deep Learning Training and Inference."(NeuSight)(arXiv) 2025, ASPLOS 只读过摘要;作者未核
Van Lanker, Taboada, Brunet, Trahay. "Predicting GPU Kernel's Performance on Upcoming Architectures." LNCS 14801:77–90 (HAL) 2024, Euro-Par 只读过元数据和摘要
Stevens, Klöckner. "A Unified, Hardware-Fitted, Cross-GPU Performance Model." (arXiv) 2016, arXiv 只读过摘要

对我们设计的启示:保持率可以拆成"代码项 × 松弛项"

先把已知问题写成公式。设某卡上 roofline 时间为 T_roof,实测时间为 T,该卡上已知最快的同功能实现时间为 T_best。我们现在的架构效率是 e = T_roof/T,可以拆成 e = (T_roof/T_best) × (T_best/T)。后一项是 Pennycook 意义上的应用效率 AE,前一项是"这张卡对这个 kernel 形状能贴近 roofline 的程度",下面记作 1/s,s 为松弛度。于是保持率 R = e_tgt/e_src = (AE_tgt/AE_src) × (s_src/s_tgt)。前一项是我们想测的代码质量迁移,后一项就是混进来的硬件差异。这个分解是我们自己根据上述文献推出来的,没有找到原样出处。它直接解释了为什么 A100 组不受影响:源和目标同卡,T_roof 相同,松弛项正好等于 1,R 退化为 T_CUDA/T_SYCL。这和迁移文献的"同卡对照"(Costanzo、Intel CFD 案例)是同一个量;如果源 CUDA 就是该卡上最快的实现,它也等于以 CUDA 为分母的应用效率。在 H100→MI210/DCU 组,从前面的证据看,s_src/s_tgt 系统性地偏离 1:MI250X 与 A100 上 46–57% 对 90% 以上的利用率差距、AMD 更高的 ridge point、wavefront 64,以及 L2 容量差异都会造成这种偏离。另外,源卡效率很低时,R 会被放大,甚至超过 1。

可以直接引用的做法有以下几项。以吞吐为基础的架构效率和 roofline 分母,引用 Pennycook 2016 和 Pennycook 2019 年的 NERSC 报告,并点明 Marowka 也承认这一侧的原则成立。每卡实测峰值,引用 ERT 和 Hoefler & Belli 的"用微基准参数化上界"。拒绝使用跨卡原始时间比,引用 Jin & Vetter 的范围声明和 Intel 的 1.9×(跨卡)对约 1×(同卡)反例。有方向的源→目标视角,引用 Marowka 的 η。在多个问题规模下报告,引用 Daniel & Panetta。用几何平均或中位数汇总、给出绝对值和置信区间,引用 Hoefler & Belli。计时和反作弊协议(清 L2、锁频、隐藏取值分布、多形状),可以借 SOL-ExecBench、KernelBench-Verified 和 robust-kbench 的做法加强可信度。

应对松弛项有三种做法,可以组合使用,强度依次递增。第一,做敏感性分析:分别在厂商标称峰值 roofline、微基准实测 roofline、加入 launch/wave 修正的收紧 roofline(T_bound = max(FLOPs/P, bytes/B(size), T_launch, T_wave),其中各项都在每张卡上实测)三种上界下计算 R;如果排序或分组结论不变,就可以论证 R 主要反映代码效应。这个组合上界也是我们根据时间型 roofline 和 wave quantization 文献推出来的,没有找到原样出处。第二,用"参考保持率"做双重比值:拿一组厂商无关的参考 kernel(BabelStream、同 shape 的 vendor 库调用)测出硬件本身的 R_ref,再报告 R/R_ref,思路与 Habitat 用同一个 kernel 的两卡比值做缩放一致。第三,最直接的是补报应用效率版保持率 AE_tgt/AE_src:目标卡分母取同 shape 的 rocBLAS/hipBLASLt/CK 或手写 HIP 中最快者,这与 Davis 等的 t_min、Lurati 的"相对目标卡最优"一致,审稿人最容易接受。它的风险是 DCU 上的 vendor 库可能调得不够,这会让分母偏小、效率偏高,所以要注明每个分母的来源,并用收紧后的 roofline 交叉检查。还有一个因素需要单独拆出来:Lurati 的数据表明,NVIDIA 的最优配置在 AMD 上平均只剩最优的 41%。因此保持率下降有一部分来自"参数没有为 AMD 重新调",而不是翻译错误。建议报告目标卡做过少量调参之后的 R,或者把调参因素单列出来。最后,为了方便和既有文献对照,可以在 H={源卡, 目标卡} 上同时补报架构效率版和应用效率版的 Φ。

我们可以填补的空白有四处,前提是定稿前再检索一轮确认:一是没有 LLM/Agent kernel 工作在 NVIDIA 和 AMD/海光上对同一批 kernel 做 roofline 归一化比较;二是 CUDA→SYCL 的 LLM 翻译工作不报告目标卡性能;三是没有包含 MI210 或海光 DCU 的 Φ 或架构效率研究,DCU 迁移评估也缺少规范基线;四是没有论文针对小型 LLM 推理 kernel 在不同厂商上的 roofline 松弛差做量化和修正。第四处既是我们的问题,也可以写成方法上的贡献,前提是至少完成上面的敏感性分析。

定稿前需要再核对的引用

下表列出正文会用到、但笔记中核实不完整的条目,按对论文论证的重要性排序。

条目 需要核对的内容
Pennycook 2019 NERSC/IDEAS 报告(roofline 效率作为架构效率)(NERSC) 这是报告而不是论文;需要找一个可引用的正式出处,可能就是 P3HPC 2018 的 roofline 论文
P3HPC 2018 LBNL roofline PP 论文 (PDF) 作者、标题、DOI、结论均未核
Nsight Compute roofline 的峰值来源 笔记推测 NCU 用设备属性算出的理论峰值,而不是实测值;如果属实,NCU 和 rocprof-compute 的天花板口径不一致。需要查 NCU Profiling Guide 的 "Roofline Charts" 一节,并确认我们两边用的是同一套微基准
Marowka 2024 的标题 arXiv 2407.00232 的 "Portability Efficiency Approach..." 与 researchr 上的 "On the Incorrect Use of Application Efficiency..." 是否为同一篇;CCPE 7868 的年份是 2023 还是 2024
Pennycook FGCS "Implications" 写 2017 还是 2019;卷期页码只来自二手来源
Revisiting a Metric (P3HPC 2021) DOI;正文是否明确为调和平均辩护
Lurati 等、BAT 2.0 正式发表会议
KernelBench ICML 2025 是否接收;附录 G 的完整跨卡表
KernelBench-Verified 作者列表(alphaXiv 页面与 BibTeX 不一致)
CUDA-L1 引用哪个 arXiv 版本的跨卡数字(v5 中 H100 为 2.39×,v9 中为 3.85×)
TritonBench、ParEval "GPU Efficiency" 的定义;efficiency_n@k 的公式;ParEval 是否在 AMD 上跑 HIP
Habitat wave scaling 的公式,以及评测中是否包含 AMD 卡
LogCA、Roofline 原始论文 (CACM 2009) 题目和参数凭记忆,笔记中没有一手链接
ParallelKernelBench、Atrex-Bench 链接和作者都需要重新查,ParallelKernelBench 的链接格式异常
Castaño JPDC 2022 "中等开销"对应的基线是不是同卡 CUDA
"尚无跨厂商 roofline 归一化的 LLM kernel 工作""尚无 DCU 的 Φ 研究" 用 performance portability LLM kernel、HIP、MI300、cross-vendor 等关键词,以及 CNKI 的"海光 DCU / DTK / 性能可移植性"再检索一轮

结论

文献其实已经给出了答案的结构,只是没人把它用到跨厂商的小 kernel 上。性能可移植性文献把"硬件利用率"(架构效率)和"实现是否最优"(应用效率)分成两个量;调优和性能预测文献则反复证明,利用率本身会随硬件变化。我们的保持率把这两者乘在了一起。所以正确的修正方向不是放弃 roofline,而是把松弛项 s_src/s_tgt 显式化:A100 组的松弛项恰好为 1,H100→MI210/DCU 组需要估计它。这样处理之后,审稿人"保持率混入硬件差异"的质疑就从一个弱点变成了一个可以量化的变量。

从定位看,保持率处在 SOL-ExecBench(单卡上相对硬件上限的效率)和 CUDA-L1、KernelBench 附录 G(跨卡相对软件基线的加速)之间。它是目前唯一同时具备"相对硬件上限"和"跨厂商迁移"两个特征的指标设计。只要补上应用效率版本和三种上界下的敏感性分析,这个空位就站得住。