结论先说:学术界衡量"性能有没有迁移过去",主流做法有三种,都不直接比较跨厂商的原始运行时间。第一种是同卡对照,迁移后的代码和原始 CUDA 跑在同一块 NVIDIA 卡上比。第二种是目标卡上的应用效率,分母取目标卡上已知最快的实现。第三种是架构效率,分母取实测峰值或 roofline。如果平台不止一个,再用 Pennycook 的 Φ(调和平均)汇总。我们的"保持率 = 目标架构效率 ÷ 源架构效率"属于第三种,再加上一个有方向的源→目标比值。实测峰值和 roofline 分母都有成熟文献可以直接引用(ERT、Hoefler & Belli、Pennycook 2019 年用 roofline 定义架构效率的报告)。但对 LLM 推理里的小 kernel,roofline 在不同厂商上松紧不同,现有文献只承认这一点,没有人给出修正办法,这正是我们的已知问题。用一个简单分解可以把问题说清楚:保持率 = 应用效率之比 × 两卡松弛度之比。所以 A100 组(源和目标同卡)的松弛项正好抵消,保持率退化为同卡时间比,可以放心用;H100→MI210/DCU 组则必须估计或消掉松弛度之比。LLM/Agent kernel 基准方面,目前没有一项工作在 NVIDIA 和 AMD/海光上对同一批 kernel 做 roofline 归一化后再比较,也没有找到包含海光 DCU 或 MI210 的 Φ 研究。这两处是我们可以占的空白,但定稿前需要再检索一轮,才能写"据我们所知尚无"。
Pennycook 等人把性能可移植性定义为平台集合 H 上各平台"性能效率"的调和平均:Φ(a,p,H) = |H| / Σ 1/e_i(a,p);只要 H 中任一平台跑不了,Φ 就记为 0 (arXiv)。效率有两种口径。架构效率是"实测性能占理论峰值的比例",反映硬件利用率,但原文承认它对微架构差异不公平:要求各平台效率相近"often unrealistic",而且达到峰值不等于算法最优。应用效率是"实测性能占该平台最佳观测性能的比例",能反映算法和抽象开销,缺点是需要事先有一个 best-known 结果,而 best-known 不等于 best possible (arXiv)。原始 Φ 没有"源平台"的概念,两种分母都是目标平台自身的属性。Pennycook 2019 年在 NERSC/IDEAS 的报告把 roofline 效率明确作为架构效率,公式是"实测性能 / min(峰值 FLOP/s, 峰值带宽 × AI)" (NERSC talk)。这与我们的效率定义一致,是最直接的引用依据。
批评主要来自两处。Daniel & Panetta 发现 Φ 对问题规模敏感,换一个输入规模,最优编程模型就可能变,因此提出 Performance Portability Divergence,即在一组规模上给出一个值 (SC19 PDF)。Marowka 在 2021–2024 年连续发文,认为调和平均不直观、丢信息,主张改用算术平均;他还指出实际研究里的"应用效率"用的是"本研究里最快的实现",加入一个新实现后,其他实现的分数也跟着变 (arXiv 2407.00232)。不过 Marowka 在 CCPE 2023 中也承认,Pennycook 修订后的原则对基于吞吐量的架构效率成立,对基于运行时间的应用效率不成立 (CiteDrive)。我们的保持率基于 roofline 吞吐,正好落在双方争议较少的一侧。Pennycook 一方在 P3HPC 2021 从第一性原理重新推导了 Φ 作为回应 (SC21);Sewall 等在 P3HPC 2020 提出,单个汇总数字会掩盖应用之间的差异,应配合 cascade plot 等可视化使用 (SC20)。
和我们最接近的"有方向"度量是 Marowka 2024 的 portability efficiency η(a,p,b→t):在目标平台 t 上使用"基平台 b 上找到的最佳设置"时的性能,除以 t 上的最佳观测性能。按他的说法,这个度量显式刻画了单向迁移的代价 (arXiv 2407.00232)。它和我们的保持率都是源→目标方向,区别在于 η 的分母是目标卡上的最优实现,我们的分母是源卡效率;η 衡量调优设置能否迁移,我们衡量翻译后硬件利用率保住了多少。
| 文献 | 年份 / 会议 | 核实状态(沿用笔记) |
|---|---|---|
| Pennycook, Sewall, Lee. "A Metric for Performance Portability." (arXiv) | 2016, PMBS@SC16 | 已核验 |
| Pennycook, Sewall, Lee. "Implications of a metric for performance portability." FGCS 92:947–958, DOI 10.1016/j.future.2017.08.007 (Wikipedia 引用) | 2017 在线 / 2019 卷期 | 二手;年份写法在两份笔记中不一致 |
| Sewall, Pennycook, Jacobsen, Deakin, McIntosh-Smith. "Interpreting and Visualizing Performance Portability Metrics." DOI 10.1109/P3HPC51967.2020.00007 (SC20) | 2020, P3HPC | 已核验;cascade plot 的构造细节来自记忆 |
| Pennycook, Sewall, Jacobsen, Deakin, McIntosh-Smith. "Navigating Performance, Portability, and Productivity." CiSE 23(5):28–38 (Bristol) | 2021 | 卷期已核验;DOI 10.1109/MCSE.2021.3097276 为二手 |
| Pennycook, Sewall. "Revisiting a Metric for Performance Portability." (SC21) | 2021, P3HPC | 标题、作者、会议已核验;DOI 未找到,正文未读 |
| Daniel, Panetta. "On Applying Performance Portability Metrics." DOI 10.1109/P3HPC49587.2019.00010 (SC19 PDF) | 2019, P3HPC | 读过论文 PDF |
| Marowka. "Toward a better performance portability metric." DOI 10.1109/PDP52278.2021.00036 (Crossref) | 2021, PDP | 二手 |
| Marowka. "Reformulation of the Performance Portability Metric." SPE 52(1):154–171, DOI 10.1002/spe.3002 (引用来源) | 2022 | 二手(来自他人参考文献) |
| Marowka. "A comparison of two performance portability metrics." CCPE 35(25):e7868, DOI 10.1002/cpe.7868 (CiteDrive) | 2023 | 只读过摘要;另一份笔记把年份写作 2024 |
| Marowka. "Portability Efficiency Approach for Calculating Performance Portability." (arXiv 2407.00232) | 2024, arXiv | 读过 v3 HTML;researchr 上 Marowka24 的标题是 "On the Incorrect Use of Application Efficiency to Calculate Performance Portability" (researchr),需确认是否为同一篇 |
| LBNL, P3HPC 2018 roofline 方法论文(用经验 roofline 计算架构效率)(PDF) | 2018, P3HPC | 未核验:作者、标题、结论都没打开看 |
"每张卡实测峰值"这一步有扎实的引用依据。Lo、Williams 等人的 Empirical Roofline Toolkit 用微基准实测各级存储的可达带宽和可达算力,用"经验天花板"替换数据手册峰值 (OSTI)。Hoefler & Belli 在 SC'15 中写明:厂商峰值只是"不会被超过"的保证,可能离实际很远,此时应当用精心设计、统计上可靠的微基准来参数化上界 (PDF)。AMD 的 rocprof-compute(原 Omniperf)也是同一思路,先跑面向具体加速器的微基准测出经验峰值,再把 kernel 画上去 (ROCm docs)。跨厂商的 roofline 比较(A100/H100 对 MI250X/MI300 对 PVC)通常就是"各卡用同类微基准测天花板,再比较占各自天花板的比例"。
问题在于,这些天花板都是大工作集、高并行度下的渐近峰值,不覆盖小问题规模下的延迟和并行度不足。AMD 自己的 HIP 文档也承认,roofline "完全忽略延迟",很少有 kernel 能碰到屋顶,并单列了一个"overhead-bound"类别,指受主机调度、kernel launch 或小数组操作限制的 kernel (ROCm HIP)。同一份代码在不同厂商上离屋顶的距离也确实不同:MFC 论文发现 MI250X 的 ridge point 是 V100 的 3.4 倍,导致同样的 kernel 在 AMD 上变成访存受限 (arXiv 2409.10729);射电干涉成像研究中,gridder 在 MI250X 上的浮点利用率约 46–57%,在 A100 上超过 90% (arXiv 2502.17789)。造成松弛差的结构原因包括 wavefront 64 对 warp 32、CU/SM 数不同导致的 wave quantization(NVIDIA 指南的例子:A100 上 109 个块要跑两个 wave)(NVIDIA)、launch 延迟,以及 L2 容量差异。
已有的修补方向各管一块。Wang 等的时间型 roofline 在 min() 里加入一个 kernel launch 开销天花板 (arXiv 2009.04598);LogCA 用开销 o、延迟 L 等参数刻画小粒度任务下的加速比损失(部分核验,引用来源见 Gables talk);分层 roofline 把 L1/L2/HBM 放进同一张图 (NERSC PDF);指令 roofline 用 warp 指令和内存事务做坐标,适合 top-k 这类以整数、比较指令为主的 kernel (PMBS19)。但指令 roofline 不能直接拿来做跨厂商的统一分母:Leinhauser 等人在 AMD 上实现时明确指出,两家 profiler 的指标口径不同,直接比较很困难 (arXiv 2110.08221)。LLM 推理文献通常只报 MBU(带宽利用率)或 roofline 比例,承认小 batch decode 离屋顶很远,但不去收紧分母 (Databricks; LLM-Viewer)。SOLAR 的观察是考虑 cache 后 SOL 上界最多可收紧 10 倍(二手,arXiv)。本轮没有找到任何一篇论文在 AMD/DCU 上量化 launch 开销对 roofline 的影响,也没有找到处理 top-k 或 decode attention 小 kernel 上界松弛的论文。
| 文献 | 年份 / 会议 | 核实状态 |
|---|---|---|
| Williams, Waterman, Patterson. "Roofline: An Insightful Visual Performance Model for Multicore Architectures." CACM 52(4) | 2009 | 未核验,笔记中没有链接 |
| Lo, Williams, Van Straalen, Ligocki, Cordery, Wright, Hall, Oliker. "Roofline Model Toolkit: A Practical Tool for Architectural and Program Analysis." LNCS 8966:129–148, DOI 10.1007/978-3-319-17248-4_7 (researchr) | 2014, PMBS@SC14 | 已核验 |
| Yang, Kurth, Williams. "Hierarchical Roofline analysis for GPUs: Accelerating performance optimization for the NERSC‐9 Perlmutter system." CCPE 32(20) e5547 (OSTI) | 2020 | 已核验 |
| Ding, Williams. "An Instruction Roofline Model for GPUs." (eScholarship) | 2019, PMBS@SC19 | 已核验 |
| Ding, Awan, Williams. "Instruction Roofline: An insightful visual performance model for GPUs." CCPE 34(20), DOI 10.1002/cpe.6591 (eScholarship) | 2022 | 已核验 |
| Leinhauser, Widera, Bastrakov, Debus, Bussmann, Chandrasekaran. "Metrics and Design of an Instruction Roofline Model for AMD GPUs." (arXiv) | 2021, arXiv | 已核验,只有预印本 |
| Wang, Yang, Farrell, Zhang, Kurth, Williams. "Time-Based Roofline for Deep Learning Performance Analysis." (arXiv) | 2020, DLS@SC20 | 已核验 |
| Hill, Reddi. "Gables: A Roofline Model for Mobile SoCs." (PDF) | 2019, HPCA | 已核验 |
| Altaf, Wood. "LogCA: A High-Level Performance Model for Hardware Accelerators." | 2017, ISCA | 部分核验:会议和年份经 Gables 报告确认,题目和参数凭记忆 |
| Chatterjee. "From Roofline to Ruggedness: Decomposing and Smoothing the GEMM Performance Landscape." (arXiv) | 2026, arXiv | 已核验;只在 Intel Arc B580 上验证 |
| "WaveTune: Wave-aware Bilinear Modeling for Efficient GPU Kernel Auto-tuning." (arXiv) | 2026, arXiv | 部分核验,只看到摘要 |
| Hoefler, Belli. "Scientific Benchmarking of Parallel Computing Systems: Twelve Ways to Tell the Masses when Reporting Performance Results." (PDF) | 2015, SC | 已核实,读过全文 |
CUDA→SYCL/HIP 的同行评审研究普遍组合使用同卡对照、目标卡原生基线和峰值或 roofline 效率,刻意不用"目标卡时间 / NVIDIA 卡时间"。Davis 等(ICS'25)以 HIP 和 CUDA 作为基线,原文称它们是 AMD 和 NVIDIA 设备的原生模型;应用效率定义为 t_min/t,t_min 取该平台上所有变体中的最优时间,平台覆盖 A100、H100、MI250X GCD 等。遇到离群点时,他们用两卡的经验 roofline(A100 实测 1552.8 GB/s,MI250X GCD 实测 1380.2 GB/s)来解释 (arXiv 2402.08950)。Reguly 用原生编译器编译的 BabelStream 测 Triad 带宽,以此作为"可达架构效率"的分母:原生实现平均 59%,DPC++ nd_range 54%;MI250X 上 DPC++ nd_range 比原生 HIP 慢 15.9% (arXiv 2309.10075)。Jin & Vetter 在评估 HIPCL 和 DPCT 时直接声明,比较两个系统之间的性能差异超出了论文范围 (OSTI)。Costanzo 等因为 AMD/Intel 上没有 CUDA 原生基线,改用建模得到的峰值 GCUPS 算架构效率;同卡对照下,CUDA 和 SYCL 在 NVIDIA 上的单 GPU PP 分别为 42.0% 和 42.2% (arXiv 2412.08308)。
跨卡原始比值为什么不能用,有一个现成的反例:Intel 的 CFD 案例宣传 "up to 1.9x",比的是 Max 1550 上的 SYCL 对 A100 上的 CUDA;而在同一块 A100 上,迁移后的 SYCL 与 CUDA 基本持平 (Intel)。这说明原始跨卡比值主要反映硬件差异,而不是迁移质量。另一个值得注意的点是,同时报告应用效率版和架构效率版 Φ 时,结论可能会变:Gaia 研究中架构效率版 Φ 明显更低(检索摘要,TPDS PDF)。没有找到一篇专门、正面论证"跨厂商原始比值无效"的方法论论文,文献是通过实验设计来回避这个问题的。
海光 DCU 方面,没有找到以 CUDA→HIP 迁移质量为主题、并采用同卡原生基线或峰值归一化的同行评审论文。现有材料要么在应用论文中顺带把 DCU 和 V100 对比,属于原始跨卡比(摘要级,arXiv 2609.06680);要么是中文工程博客,用"约为 hipBLAS 的 0.50×"这类同卡 vendor 库口径 (知乎),或"相对国际产品 xx%"的宣传口径。同样,本轮也没有找到包含 MI210 或海光 DCU 的已发表 Φ 结果。
| 文献 | 年份 / 会议 | 核实状态 |
|---|---|---|
| Davis 等. "Taking GPU Programming Models to Task for Performance Portability." DOI 10.1145/3721145.3730423 (arXiv) | 2025, ICS | 已核(本地 PDF 抽文本) |
| Reguly. "Evaluating the performance portability of SYCL across CPUs and GPUs on bandwidth-bound applications." (arXiv) | 2023, SC-W | 已核(本地抽文本) |
| Jin, Vetter. "Evaluating CUDA Portability with HIPCL and DPCT." pp. 371–376 (OSTI) | 2021, IPDPSW | 已核(本地抽文本) |
| Jin, Vetter. "A Benchmark Suite for Improving Performance Portability of the SYCL Programming Model."(HeCBench)DOI 10.1109/ISPASS57527.2023.00041 (ORNL) | 2023, ISPASS | 元数据已核 |
| Costanzo, Rucci, García-Sánchez, Naiouf, Prieto-Matías. "Analyzing the Performance Portability of SYCL across CPUs, GPUs, and Hybrid Systems with SW Sequence Alignment." (arXiv) | 2025, FGCS | 已核;摘要与结论用词前后不一致 |
| Castaño, Faqir-Rhazoui, García, Prieto-Matías. "Evaluation of Intel's DPC++ Compatibility Tool in heterogeneous computing." JPDC 165:120–129 (UCM) | 2022 | 部分未核实,"中等开销"的基线需读全文确认 |
| Deakin 等. "Performance Portability across Diverse Computer Architectures." DOI 10.1109/P3HPC49587.2019.00006 (Bristol) | 2019, P3HPC | 已核 |
LLM 生成 kernel 的基准,主流指标是"正确且相对软件基线有加速的比例"。KernelBench 的 fast_p 定义为 (1/N) Σ 1(正确 ∧ 相对 PyTorch Eager 加速比 > p),主平台是单张 L40S (arXiv 2502.10517)。它做过一个小型跨 GPU 实验,但只看加速比是否保持:DeepSeek-R1 的 fast_1 在 L40S 上是 36%,在 A10G 上是 47%。由于各卡上的 PyTorch/cuBLAS 基线本身就不同,这个变化不能说明 kernel 在 A10G 上更好。CUDA-L1 在 A100 上优化,再拿到 H100/L40/3090/H20 上报加速比,H100 均值 3.85×、中位数仅 1.32×,而且不同 arXiv 版本的数字不一致(二手,arXiv v9)。
后续工作主要揭示了基线过弱和作弊问题。KernelBench-Verified 发现原 FP32 参考没有开 TF32,换成 TF32 基线并加入隐藏的取值分布后,GPT-5.5 的几何平均加速比从 1.43× 降到 0.88×;作者明确说结论不推广到 H200 以外的硬件 (alphaXiv)。Sakana 的 robust-kbench 过滤掉被污染的任务后,平均加速比从 3.13× 降到 1.49× (alphaXiv)。最接近"相对硬件上限"的是 NVIDIA 的 SOL-ExecBench:T_SOL = max(FLOPs/算力峰值, 融合后字节/带宽),分数 S = (T_b − T_SOL) / ((T_k − T_SOL) + (T_b − T_SOL)),在 B200 上锁频 1500 MHz,每次迭代前清 256 MB L2;但它没有任何跨硬件讨论 (arXiv 2603.19173)。AMD 一侧的 GEAK 和 AgentKernelArena 只在 MI300X 上评测,数字为 AMD 自报 (AMD blog)。MultiKernelBench 覆盖 CUDA、AscendC 和 Pallas,但各平台分开评测,没有 HIP 后端 (arXiv 2507.17773)。
LLM 驱动的 CUDA→SYCL 翻译工作更少,几乎只报正确率和 token/金钱成本。ChatPORT 微调后在 62 个 kernel 上的正确率为 19.9%–81.7% (ACM DL);"More with Less" 在 30 个 HeCBench kernel 上把 token 消耗最多降低了 52.4% (arXiv 2611.08947)。本轮没有找到任何工作做"源平台 kernel → 跨厂商翻译 → 比较两端相对硬件上限的效率"。
| 文献 | 年份 / 会议 | 核实状态 |
|---|---|---|
| Ouyang, Guo, Arora, Zhang, Hu, Ré, Mirhoseini. "KernelBench: Can LLMs Write Efficient GPU Kernels?" (arXiv) | 2025, ICML(会议为二手) | 已核;附录 G 的跨卡表只核到两个数 |
| "KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch?" (alphaXiv) | 2026, arXiv 2607.16241 | 已核;作者存疑,alphaXiv 页面和 BibTeX 中的作者不一致 |
| Lange, Sun, Prasad, Faldor, Tang, Ha. "Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization." (alphaXiv) | 2025, arXiv | 已核(概览页);GPU 型号和计时方法缺失 |
| Lin 等(NVIDIA). "SOL-ExecBench: Speed-of-Light Benchmarking for Real-World GPU Kernels Against Hardware Limits." (arXiv) | 2026, arXiv | 已核 |
| "CUDA-L1: Improving CUDA Optimization via Contrastive Reinforcement Learning." (arXiv) | 2026, ICLR | 二手;各版本数字不一致 |
| "Kevin: Multi-Turn RL for Generating CUDA Kernels." (arXiv) | 2026, ICLR | 二手 + 官方博客 |
| "TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators." (arXiv) | 2025, ACL Findings | 二手;作者和 "GPU Efficiency" 的定义未核 |
| Nichols, Davis, Xie, Rajaram, Bhatele. "Can Large Language Models Write Parallel Code?"(ParEval)(arXiv) | 2024, HPDC | 标题、作者、会议已核;speedup_n@k / efficiency_n@k 公式未核 |
| "GEAK: Introducing Triton Kernel AI Agent & Evaluation Benchmarks." (arXiv) | 2025, arXiv | 二手,AMD 自报 |
| "MultiKernelBench: A Multi-Platform Benchmark for Kernel Generation." (arXiv) | 2025, arXiv | 二手 |
| Jin 等. "Enhancing ChatPORT with CUDA-to-SYCL Kernel Translation Capability." DOI 10.1145/3731599.3767398 (ACM DL) | 2025, SC-W | 二手;是否报告 SYCL 性能未核 |
| "More with Less: Efficient Parallel Scientific Code Translation via an Agent-Skill Workflow." (arXiv) | 2026, arXiv | 二手 |
| Atrex-Bench(arXiv 2607.14541)、ParallelKernelBench(alphaXiv) | 2026 | 二手;ParallelKernelBench 的链接格式异常,需要重新找 |
autotuning 文献衡量"调优参数能否跨卡迁移"时,通行做法是把 A 卡上的最优配置搬到 B 卡上运行,再除以 B 卡上搜索得到的最优配置的性能。这样分母就是目标卡上实际可达的最好值,天然消去了"峰值上界在不同厂商间松紧不同"的问题。与我们最相关的是 Lurati 等人对 NVIDIA 和 AMD 的研究:e_i 定义为某配置在设备 i 上的性能除以 i 上所有配置的最好性能,再用 Pennycook PP 汇总。结果显示,可移植性最好的 NVIDIA 调优配置在 NVIDIA 上平均达到最优的 93%,在 AMD 上只有 41%;A4000 的最优配置在 MI250X 上约为最优的 22%;调优带来的提升(最优/中位数)在 AMD 上约 10×,在 NVIDIA 上约 2× (arXiv 2407.11488)。BAT 2.0 用"调优卡 × 运行卡"的矩阵报告同样的比例,同代 NVIDIA 卡之间最高可到 99.9%,跨代可低至 58.5%。BAT 2.0 还是一个术语混用的反面例子:脚注把 relative performance 定义为相对硬件峰值,图里实际用的却是相对每张卡的最优配置 (arXiv 2303.08976)。
跨卡性能预测文献则把时间拆成"硬件上界 × 1/利用率",并且都承认利用率不能跨卡照搬。Habitat 用两卡的计算单元数和带宽比缩放 kernel 时间,但对于在不同卡上会选用不同 kernel 的算子,就改用 MLP 预测,平均误差 11.8% (USENIX ATC'21)。NeuSight 用 ML 只预测利用率,再用峰值算力和带宽给结果设上界 (arXiv 2407.13853)。Van Lanker 等先比较两卡的汇编,重新估计目标卡上的算术强度,再用分层 roofline 投影 (HAL)。这些工作几乎都只在 NVIDIA 内部验证;只有 Stevens & Klöckner 的模型包含了一张 AMD 卡 (arXiv 1604.04997)。在报告方法上,Hoefler & Belli 的规则可以直接拿来用:比值必须附带绝对值;尽量不汇总比值,非汇总不可时用几何平均;非确定性数据要给置信区间,不要默认正态;尽量画出性能上界 (PDF)。
| 文献 | 年份 / 会议 | 核实状态 |
|---|---|---|
| Tørring, van Werkhoven, Petrovič, Willemsen, Filipovič, Elster. "Towards a Benchmarking Suite for Kernel Tuners."(BAT 2.0)(arXiv) | 2023 | 已核实全文;会议(IPDPSW/iWAPT)未核 |
| Lurati, Heldens, Sclocco, van Werkhoven. "Bringing Auto-tuning to HIP: Analysis of Tuning Impact and Difficulty on AMD and Nvidia GPUs." (arXiv) | 2024 | 已核实 HTML;正式会议未核 |
| Schoonhoven, van Werkhoven, Batenburg. "Benchmarking optimization algorithms for auto-tuning GPU kernels." IEEE TEVC 27(3):550–564 (arXiv) | 2023 | 只读过摘要 |
| Petrovič 等. "A Benchmark Set of Highly-efficient CUDA and OpenCL Kernels and its Dynamic Autotuning with Kernel Tuning Toolkit." (arXiv) | 2020, FGCS | 作者列表和会议未核 |
| Yu, Gao, Golikov, Pekhimenko. "Habitat: A Runtime-Based Computational Performance Predictor for Deep Neural Network Training." (USENIX) | 2021, USENIX ATC | 摘要和会议页已核;wave scaling 公式未核 |
| "Forecasting GPU Performance for Deep Learning Training and Inference."(NeuSight)(arXiv) | 2025, ASPLOS | 只读过摘要;作者未核 |
| Van Lanker, Taboada, Brunet, Trahay. "Predicting GPU Kernel's Performance on Upcoming Architectures." LNCS 14801:77–90 (HAL) | 2024, Euro-Par | 只读过元数据和摘要 |
| Stevens, Klöckner. "A Unified, Hardware-Fitted, Cross-GPU Performance Model." (arXiv) | 2016, arXiv | 只读过摘要 |
先把已知问题写成公式。设某卡上 roofline 时间为 T_roof,实测时间为 T,该卡上已知最快的同功能实现时间为 T_best。我们现在的架构效率是 e = T_roof/T,可以拆成 e = (T_roof/T_best) × (T_best/T)。后一项是 Pennycook 意义上的应用效率 AE,前一项是"这张卡对这个 kernel 形状能贴近 roofline 的程度",下面记作 1/s,s 为松弛度。于是保持率 R = e_tgt/e_src = (AE_tgt/AE_src) × (s_src/s_tgt)。前一项是我们想测的代码质量迁移,后一项就是混进来的硬件差异。这个分解是我们自己根据上述文献推出来的,没有找到原样出处。它直接解释了为什么 A100 组不受影响:源和目标同卡,T_roof 相同,松弛项正好等于 1,R 退化为 T_CUDA/T_SYCL。这和迁移文献的"同卡对照"(Costanzo、Intel CFD 案例)是同一个量;如果源 CUDA 就是该卡上最快的实现,它也等于以 CUDA 为分母的应用效率。在 H100→MI210/DCU 组,从前面的证据看,s_src/s_tgt 系统性地偏离 1:MI250X 与 A100 上 46–57% 对 90% 以上的利用率差距、AMD 更高的 ridge point、wavefront 64,以及 L2 容量差异都会造成这种偏离。另外,源卡效率很低时,R 会被放大,甚至超过 1。
可以直接引用的做法有以下几项。以吞吐为基础的架构效率和 roofline 分母,引用 Pennycook 2016 和 Pennycook 2019 年的 NERSC 报告,并点明 Marowka 也承认这一侧的原则成立。每卡实测峰值,引用 ERT 和 Hoefler & Belli 的"用微基准参数化上界"。拒绝使用跨卡原始时间比,引用 Jin & Vetter 的范围声明和 Intel 的 1.9×(跨卡)对约 1×(同卡)反例。有方向的源→目标视角,引用 Marowka 的 η。在多个问题规模下报告,引用 Daniel & Panetta。用几何平均或中位数汇总、给出绝对值和置信区间,引用 Hoefler & Belli。计时和反作弊协议(清 L2、锁频、隐藏取值分布、多形状),可以借 SOL-ExecBench、KernelBench-Verified 和 robust-kbench 的做法加强可信度。
应对松弛项有三种做法,可以组合使用,强度依次递增。第一,做敏感性分析:分别在厂商标称峰值 roofline、微基准实测 roofline、加入 launch/wave 修正的收紧 roofline(T_bound = max(FLOPs/P, bytes/B(size), T_launch, T_wave),其中各项都在每张卡上实测)三种上界下计算 R;如果排序或分组结论不变,就可以论证 R 主要反映代码效应。这个组合上界也是我们根据时间型 roofline 和 wave quantization 文献推出来的,没有找到原样出处。第二,用"参考保持率"做双重比值:拿一组厂商无关的参考 kernel(BabelStream、同 shape 的 vendor 库调用)测出硬件本身的 R_ref,再报告 R/R_ref,思路与 Habitat 用同一个 kernel 的两卡比值做缩放一致。第三,最直接的是补报应用效率版保持率 AE_tgt/AE_src:目标卡分母取同 shape 的 rocBLAS/hipBLASLt/CK 或手写 HIP 中最快者,这与 Davis 等的 t_min、Lurati 的"相对目标卡最优"一致,审稿人最容易接受。它的风险是 DCU 上的 vendor 库可能调得不够,这会让分母偏小、效率偏高,所以要注明每个分母的来源,并用收紧后的 roofline 交叉检查。还有一个因素需要单独拆出来:Lurati 的数据表明,NVIDIA 的最优配置在 AMD 上平均只剩最优的 41%。因此保持率下降有一部分来自"参数没有为 AMD 重新调",而不是翻译错误。建议报告目标卡做过少量调参之后的 R,或者把调参因素单列出来。最后,为了方便和既有文献对照,可以在 H={源卡, 目标卡} 上同时补报架构效率版和应用效率版的 Φ。
我们可以填补的空白有四处,前提是定稿前再检索一轮确认:一是没有 LLM/Agent kernel 工作在 NVIDIA 和 AMD/海光上对同一批 kernel 做 roofline 归一化比较;二是 CUDA→SYCL 的 LLM 翻译工作不报告目标卡性能;三是没有包含 MI210 或海光 DCU 的 Φ 或架构效率研究,DCU 迁移评估也缺少规范基线;四是没有论文针对小型 LLM 推理 kernel 在不同厂商上的 roofline 松弛差做量化和修正。第四处既是我们的问题,也可以写成方法上的贡献,前提是至少完成上面的敏感性分析。
下表列出正文会用到、但笔记中核实不完整的条目,按对论文论证的重要性排序。
| 条目 | 需要核对的内容 |
|---|---|
| Pennycook 2019 NERSC/IDEAS 报告(roofline 效率作为架构效率)(NERSC) | 这是报告而不是论文;需要找一个可引用的正式出处,可能就是 P3HPC 2018 的 roofline 论文 |
| P3HPC 2018 LBNL roofline PP 论文 (PDF) | 作者、标题、DOI、结论均未核 |
| Nsight Compute roofline 的峰值来源 | 笔记推测 NCU 用设备属性算出的理论峰值,而不是实测值;如果属实,NCU 和 rocprof-compute 的天花板口径不一致。需要查 NCU Profiling Guide 的 "Roofline Charts" 一节,并确认我们两边用的是同一套微基准 |
| Marowka 2024 的标题 | arXiv 2407.00232 的 "Portability Efficiency Approach..." 与 researchr 上的 "On the Incorrect Use of Application Efficiency..." 是否为同一篇;CCPE 7868 的年份是 2023 还是 2024 |
| Pennycook FGCS "Implications" | 写 2017 还是 2019;卷期页码只来自二手来源 |
| Revisiting a Metric (P3HPC 2021) | DOI;正文是否明确为调和平均辩护 |
| Lurati 等、BAT 2.0 | 正式发表会议 |
| KernelBench | ICML 2025 是否接收;附录 G 的完整跨卡表 |
| KernelBench-Verified | 作者列表(alphaXiv 页面与 BibTeX 不一致) |
| CUDA-L1 | 引用哪个 arXiv 版本的跨卡数字(v5 中 H100 为 2.39×,v9 中为 3.85×) |
| TritonBench、ParEval | "GPU Efficiency" 的定义;efficiency_n@k 的公式;ParEval 是否在 AMD 上跑 HIP |
| Habitat | wave scaling 的公式,以及评测中是否包含 AMD 卡 |
| LogCA、Roofline 原始论文 (CACM 2009) | 题目和参数凭记忆,笔记中没有一手链接 |
| ParallelKernelBench、Atrex-Bench | 链接和作者都需要重新查,ParallelKernelBench 的链接格式异常 |
| Castaño JPDC 2022 | "中等开销"对应的基线是不是同卡 CUDA |
| "尚无跨厂商 roofline 归一化的 LLM kernel 工作""尚无 DCU 的 Φ 研究" | 用 performance portability LLM kernel、HIP、MI300、cross-vendor 等关键词,以及 CNKI 的"海光 DCU / DTK / 性能可移植性"再检索一轮 |
文献其实已经给出了答案的结构,只是没人把它用到跨厂商的小 kernel 上。性能可移植性文献把"硬件利用率"(架构效率)和"实现是否最优"(应用效率)分成两个量;调优和性能预测文献则反复证明,利用率本身会随硬件变化。我们的保持率把这两者乘在了一起。所以正确的修正方向不是放弃 roofline,而是把松弛项 s_src/s_tgt 显式化:A100 组的松弛项恰好为 1,H100→MI210/DCU 组需要估计它。这样处理之后,审稿人"保持率混入硬件差异"的质疑就从一个弱点变成了一个可以量化的变量。
从定位看,保持率处在 SOL-ExecBench(单卡上相对硬件上限的效率)和 CUDA-L1、KernelBench 附录 G(跨卡相对软件基线的加速)之间。它是目前唯一同时具备"相对硬件上限"和"跨厂商迁移"两个特征的指标设计。只要补上应用效率版本和三种上界下的敏感性分析,这个空位就站得住。