flashinfer-ai/flashinfer

一、项目定位

FlashInfer 是一个面向 LLM serving 的高性能 GPU 内核库与内核生成器，核心卖点是在 attention、GEMM、MoE、采样、通信等推理热点路径上提供统一 API，并在 FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM 等多个后端之间按硬件与负载自动选择最优实现。项目采用 JIT 编译为默认模式：首次调用时按目标架构即时编译内核，开发者改内核源码无需重装包（pip install --no-build-isolation -e . -v），同时提供 flashinfer-cubin（预编译 cubin）和 flashinfer-jit-cache（架构特化的预构建 provider）用于生产冷启动与离线部署。 从结构上看，仓库分三层：include/ 放框架无关的 CUDA 内核定义（只接受 raw pointer），csrc/ 做 PyTorch op 注册与绑定，python/（即 flashinfer/ 包）暴露用户接口。这种分层在 CONTRIBUTING.md 里被明确为贡献规范。3rdparty 拉了 CUTLASS、CCCL、spdlog、NIXL 四个子模块，其中 NIXL 还有 3rdparty_patches/nixl 补丁目录，说明他们对上游做了定制。 从证据判断，项目处于「生产可用但快速演进」阶段：README 明确列出 SGLang、vLLM、TensorRT-LLM、TGI、MLC-LLM 等主流推理框架作为下游用户；最近 release 是 v0.7.1rc2（2026-10-02），v0.7.0.post1 在 2026-09-29，rc 节奏密集；最近提交热点集中在 csrc/cake_fmha（129 次）、flashinfer/experimental（79 次）、csrc/fused_moe（60 次）、csrc/cake_rmsnorm_train（43 次）等，说明 Blackwell（SM100+）相关的 Cake 系列后端、训练算子、MoE 是当前主战场。CUDA 支持 12.9/13.0/13.4（PyTorch nightly），Blackwell 支持在 v0.4.0 引入后持续深化。 与同类项目的差异点：FlashInfer 不只是 attention（区别于 FlashAttention 只做 FA），也不只是 GEMM（区别于 CUTLASS/CuTe 只做矩阵乘），而是把 attention + GEMM + MoE + 采样 + 通信 + 量化做成一个「推理内核全家桶」，并通过 JIT + 多后端 dispatch 在 serving 场景下追求开箱即用的 SOTA。

解决什么问题、给谁用

解决的核心问题是：LLM serving 在真实生产负载下，单一内核实现很难在所有 GPU 架构（Turing → Blackwell）、所有算子（attention/GEMM/MoE/采样/通信）、所有精度（BF16/FP8/FP4）和所有阶段（prefill/decode/混合 batch）上同时达到 SOTA。FlashInfer 通过统一 API + 多后端（FA2/3、cuDNN、CUTLASS、TRT-LLM）自动选择 + JIT 编译，让上层框架（vLLM、SGLang、TGI 等）不用为每种硬件/负载组合手写特化内核。 目标用户与典型场景： 1. 推理框架集成方——vLLM、SGLang、TensorRT-LLM、MLC-LLM、LightLLM、lorax、ScaleLLM 等，需要把 attention/MoE/GEMM 替换为 FlashInfer 后端以获取性能。 2. 训练-推理全栈团队——仓库中 cake_rmsnorm_train、cake_dsa_train、cake_mamba_ssd_combined 等提交热点表明他们正在把覆盖范围从推理扩展到训练前向/反向。 3. 硬件厂商/新架构适配者——Blackwell（SM100/103/107/110/120/121）的 CuTe DSL 内核、Kimi-K3、DeepSeek-V4.1 等最新模型特化内核是近期热点。 4. 量化/低精度研究者——FP8（per-tensor、groupwise UE8M0）、FP4（NVFP4/MXFP4）在 attention、GEMM、MoE 上的实现。

同类项目与差别

• flash-attention (Dao-AILab/flash-attention)：只专注 FlashAttention 系列（FA2/FA3/FA4）的 attention 内核，不做 GEMM/MoE/采样/通信；FlashInfer 把 FA2/3 作为 attention 后端之一，同时覆盖更全的算子范围。
• CUTLASS / CuTe (NVIDIA)：是底层的 GEMM/矩阵乘原语库与编程模型，FlashInfer 在 GEMM 路径上复用 CUTLASS 作为后端之一，但 FlashInfer 面向 LLM serving 提供更高层的 attention + MoE + 采样 + 量化组合。
• TensorRT-LLM (NVIDIA)：是完整的 LLM 推理引擎，FlashInfer 是其 attention/MoE 后端选项之一；FlashInfer 自身是内核库而非端到端引擎。
• vLLM：是推理引擎/平台，FlashInfer 是 vLLM 可选的 attention/MoE 后端之一，两者是上下游集成关系。
• SGLang：是 LLM serving 框架，同样把 FlashInfer 作为 attention 后端之一，README 明确列出为其用户。
• DeepGEMM / DeepEP (DeepSeek)：DeepGEMM 专注 FP8 grouped GEMM，DeepEP 专注 MoE expert parallel 通信；FlashInfer 在 flashinfer/deep_gemm.py 和 csrc/fused_moe、MoE EP 路径上覆盖类似功能，但作为统一库的一部分而非独立项目。

核心能力

阶段：生产可用、快速演进中。已被 vLLM、SGLang、TensorRT-LLM、TGI 等主流推理框架集成（README Adoption 节），v0.7.x rc 密集发布，Blackwell 支持持续加深；但大量新功能走 experimental 通道（flashinfer/experimental/、@flashinfer_experimental_api、@experimental_backend），实验性功能无兼容性保证。

技术栈：Python（>=3.10,<4.0）；C++ / CUDA（.cu/.cuh，大量 .jinja 模板用于 kernel instantiation）；PyTorch（op 注册与绑定，csrc/ 接受 torch.Tensor）；Apache TVM FFI（构建后端依赖 apache-tvm-ffi>=0.1.11,<0.2）；CUTLASS / CuTe DSL（3rdparty/cutlass，nvidia-cutlass-dsl>=4.7.0a0/4.8.0.dev0）；CCCL（3rdparty/cccl）；spdlog（3rdparty/spdlog）；NIXL（3rdparty/nixl，有 3rdparty_patches/nixl 补丁）；CUDA 12.9 / 13.0 / 13.4（PyTorch nightly）；setuptools>=77 + 自定义 build_backend（build_backend.py）；Ninja 并行编译（MAX_JOB 控制）；Jenkins CI（Jenkinsfile）+ GitHub Actions（.github/workflows）；pre-commit + codespell + clang-format

规模：目录与文件规模：csrc/ 约 3211 个条目（含子目录与文件），flashinfer/ 约 1947 个条目，benchmarks/ 约 208 个条目，docs/ 84 个条目，根路径下列出约 40 个顶层目录/文件。最近提交热点：csrc/cake_fmha 129 次、flashinfer/experimental 79 次、csrc/fused_moe 60 次、csrc/cake_rmsnorm_train 43 次、csrc/cake_all_gather_matmul 31 次、csrc/cake_grouped_fp8_gemm 31 次，显示 Blackwell/Cake 与 MoE 是当前开发重心。Release：最新 v0.7.1rc2（2026-10-02）、v0.7.1rc1（2026-09-30）、v0.7.0.post1（2026-09-29），rc 节奏密集。pushed_at 2026-10-05，说明仓库活跃。star 数未在证据中提供，需验证。

二、架构与代码地图

FlashInfer 在代码组织上大致分五层。最上层是 Python 接入层（flashinfer/ 包），给用户暴露统一 API（attention / GEMM / MoE / sampling / comm / diffusion 等），内部通过 TVM FFI 调用 C++ 算子；这一层还承载 AOT 导出、autotune cache、API logging、CLI 等横切关注点。往下是 C++ 调度与绑定层（csrc/），负责把 PyTorch Tensor 接进来、做后端选择、workspace 分配、plan/run 拆分、JIT kernel 打包，并把调用分发到具体后端。再往下是 JIT / 编译层（flashinfer/jit/、flashinfer/cute_dsl/、csrc/*.jinja），用 TVM FFI + Jinja 模板按 HEAD_MASK_TYPE、PAGE_SIZE、MASK_MODE、QK_LAYOUT 等超参即时编译出特化 kernel，是 FlashInfer 默认的交付形态。第四层是 后端执行层，包括 FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM、Cake（Blackwell 专用）、CuTe DSL、DeepGEMM、BGMV MoE、KDA、DSA、Mamba SSD 等多种后端，各自在 include/、csrc/、flashinfer/experimental/ 里实现。最底层是 硬件与工具层（3rdparty/cutlass、3rdparty/cccl、3rdparty/nixl、3rdparty/spdlog、3rdparty_patches/nixl、build_backend.py、build_utils.py、ci/），提供 CUTLASS/CuTe DSL、NVSHMEM/NIXL 通信、日志、编译驱动与 CI。这种分层在 CONTRIBUTING.md 里被明确为贡献规范：kernel 定义放 include/（只接受 raw pointer，不引用 Torch），op 注册放 csrc/（接受 Torch Tensor），Python 接口放 flashinfer/。

一次调用怎么流过这些模块

一次典型推理请求（以 flashinfer.single_decode_with_kv_cache 或 flashinfer.BatchDecodeWithPagedKVCache 为例）的数据流如下： 1. Python 入口：用户调用 flashinfer/ 包下的 Python API（如 flashinfer/decode.py 中的 batch_decode_with_paged_kv_cache），传入 PyTorch Tensor（Q、K-cache、V-cache、page_table 等）和配置（mask_mode、layout、sm_scale、logits_soft_cap、backend 等）。 2. API logging / feature gate：若启用 FLASHINFER_LOGLEVEL，flashinfer/api_logging.py 的 @flashinfer_api 装饰器会记录调用参数，并通过 csrc/api_log_stats.cu 的 PrintTensorStatsKernel 在 device 上做 reduction 后打印统计（CUDA-graph friendly）。若调用实验性 API，@flashinfer_experimental_api 会做 feature-gate 检查并 warn-once。 3. 后端选择：Python 层根据 backend="auto" 或显式指定的 backend（flashattn / cudnn / cutlass / trtllm / cake / cute_dsl 等），结合 flashinfer/autotuner/ 的 heuristics 或 autotune cache 选择最优后端。实验性后端仅在 FLASHINFER_ALLOW_EXPERIMENTAL_AUTO_BACKENDS=1 时参与 auto 路由。 4. C++ 调度：通过 TVM FFI 进入 csrc/ 层。以 batch decode 为例，csrc/batch_decode.cu 的 BatchDecodeWithPagedKVCache 接收 TensorView，先做 workspace 大小查询（plan 阶段），再分配 float/int workspace，最后 run 阶段启动 kernel。csrc/batch_decode_jit_binding.cu 通过 TVM_FFI_DLL_EXPORT_TYPED_FUNC(plan/run, ...) 暴露给 Python。 5. JIT 编译：若命中 JIT 路径，flashinfer/jit/ 会根据 HEAD_MASK_TYPE、PAGE_SIZE、MASK_MODE、QK_LAYOUT 等超参，用 Jinja 模板（如 csrc/batch_decode_kernel_inst.jinja）实例化特化 kernel 源码，再通过 TVM FFI 调用 nvcc 编译，产物缓存到 ~/.cache/flashinfer/。首次调用有编译开销，后续复用缓存。 6. 后端执行：编译后的 kernel 在目标后端执行。以 Hopper attention 为例，走 include/flashinfer/attention/ 的 FA2/FA3 实现；以 Blackwell 为例，走 csrc/cake_fmha/ 或 csrc/blackwell_bf16_fp4/ 的 Cake 系列；MoE 走 csrc/fused_moe/ 或 csrc/bgmv_moe/；GEMM 走 csrc/deep_gemm/ 或 CUTLASS；通信走 csrc/dcp/ + 3rdparty/nixl。 7. 输出：kernel 执行完成后，输出 Tensor（O、可选 LSE）通过 TVM FFI 返回给 Python 层，用户拿到 PyTorch Tensor。 关键数据结构包括：TensorView（TVM FFI 的 Tensor 抽象）、workspace buffer（float/int 两类，用于 persistent kernel 的中间状态）、plan_info（plan 阶段预计算的调度信息）、Jinja 模板参数（控制 kernel 特化维度）。关键调度点包括：Python 层的 backend 选择、C++ 层的 plan/run 拆分、JIT 层的模板实例化与缓存查找。

关键类型与函数

扩展点

• 新模型：在 flashinfer/experimental/ 下新增 Python 封装（如 flashinfer/deepseek_v41.py、flashinfer/dsv3_ops/、flashinfer/diffusion_ops/ 已有先例），在 csrc/ 下新增 op 绑定，在 include/ 下新增 kernel 定义。实验性 API 用 @flashinfer_experimental_api 标记，毕业后再移到核心 API
• 新后端：在 flashinfer/experimental/ 下新增后端目录，实现 @backend_requirement 检查器并用 @experimental_backend 标记；在 csrc/ 新增对应 op 绑定与 JIT 模板；在 flashinfer/autotuner/ 添加 heuristics。Cake 系列（csrc/cake_fmha/、csrc/blackwell_bf16_fp4/）是最新后端接入范例
• 新 kernel：在 include/ 新增 framework-agnostic CUDA kernel（只接受 raw pointer），在 csrc/ 新增 PyTorch op 绑定与 JIT Jinja 模板，在 flashinfer/jit/ 注册模板实例化逻辑，在 tests/ 与 benchmarks/ 添加测试与基准。CONTRIBUTING.md 明确此为标准流程
• 新调度策略：在 flashinfer/autotuner/ 修改或新增 heuristics，在 csrc/ 修改 plan/run 调度逻辑（如 TwoStageHolisticPlan），在 flashinfer/experimental/ 用 FLASHINFER_ALLOW_EXPERIMENTAL_AUTO_BACKENDS=1 做实验性调度验证。FLASHINFER_DIST_AWARE_AUTOTUNE=1 是最新实验性调度策略范例

最近在动的地方

• csrc/cake_fmha：129 次提交，Blackwell attention 主战场，最近有重构（移除 unreachable request-ordered decode、合并 per-arch 副本）
• flashinfer/experimental：79 次提交，实验性功能容器，SM12x 内核、新模型算子、特化 kernel 的快速演进区
• csrc/fused_moe：60 次提交，Fused MoE 核心，最近有 Kimi-K3 W4A8 MXFP4 SiTU routed MoE 作为 Cake-exported 后端
• csrc/cake_rmsnorm_train：43 次提交，BF16 RMSNorm 训练前向/反向（FP32 rstd、deterministic dw）for SM100/SM103/SM107
• csrc/cake_all_gather_matmul：31 次提交，最新 commit 接受 engine 的 [N,K] weight view、任意 local M、N%256==0
• csrc/cake_grouped_fp8_gemm：31 次提交，block-scaled UE8M0 family，native -1 padding，per-call operand rebinding for SM100a/SM103a
• csrc/cake_mamba_ssd_combined：14 次提交，one exact-scan family，FP16 delta + FP32 state + token-major out，任意 seqlen/varlen without initial states
• csrc/cake_bgmv_moe：10 次提交，round-5 BGMV MoE kernels：pair-grouped exact pipeline、programmatic dependent launch、per-arch selectors

建议阅读顺序

1. README.md — 项目定位、核心特性、GPU 支持、安装方式、下游用户
2. CLAUDE.md — 开发工作流（editable install、测试、benchmark、环境变量、JIT 缓存清理）
3. CONTRIBUTING.md — 代码结构规范（include/csrc/python 分层）、实验性功能政策、贡献流程
4. flashinfer/__init__.py — Python 包入口，了解对外暴露的 API 全貌
5. csrc/batch_decode.cu + csrc/batch_decode_jit_binding.cu — 典型 C++ 调度与 TVM FFI 绑定范例（plan/run 拆分）
6. flashinfer/jit/ — JIT 编译层，理解 Jinja 模板实例化与 kernel 缓存机制
7. csrc/cake_fmha/ — Blackwell attention 后端，提交最密集，代表最新架构支持方向
8. flashinfer/experimental/ — 实验性 API 与后端容器，理解快速演进中的工作
9. flashinfer/comm/ + csrc/dcp/ — 通信层，覆盖 AllReduce/MNNVL/NVSHMEM/DCP
10. tests/ + benchmarks/ — 测试与基准，验证理解正确性

三、本地跑起来（没有 GPU 的 Mac）

安装

1. git clone https://github.com/flashinfer-ai/flashinfer.git --recursive && cd flashinfer
2. git submodule update --init --recursive
3. python -m pip install --upgrade pip setuptools
4. python -m pip install --no-build-isolation -e . -v

哪些路径能真跑

['所有 csrc/*.cu、include/、flashinfer/jit/、flashinfer/cute_dsl/ 中的 CUDA kernel 与 JIT 编译链在 Apple Silicon 上完全无法执行，只能读代码；flashinfer/experimental/ 下的 Blackwell/Hopper 后端同理。', 'flashinfer/ 包中纯 Python 层（api_logging.py、autotune_cache.py、aot.py、comm/、diffusion_ops/、mamba/ 等）可以 import 并阅读逻辑，但一旦触发 kernel launch 或 TVM FFI 调用就会失败。', 'tests/ 下所有调用 torch.cuda 或真正跑 kernel 的 pytest case 都无法执行；只能跑不依赖 CUDA 的纯逻辑/结构测试（需验证具体哪些 case 不 import torch.cuda）。', 'benchmarks/ 全部依赖 CUDA runtime，无法在本地执行。', '唯一能真正执行的路径是 flashinfer collect-env、flashinfer show-config、flashinfer list-modules 等 CLI 只读命令，以及阅读 flashinfer/__init__.py 的导入链。', '最终验证必须用 Colab 免费 T4（SM7.5）跑 JIT 首次编译与 kernel launch。']

最小可运行

1. 在 Colab T4 上执行：import torch, flashinfer; q = torch.randn(32, 128, device='cuda', dtype=torch.float16); k = torch.randn(2048, 32, 128, device='cuda', dtype=torch.float16); v = torch.randn(2048, 32, 128, device='cuda', dtype=torch.float16); print(flashinfer.single_decode_with_kv_cache(q, k, v))
2. 在 Colab T4 上执行：pytest tests/ -x --timeout=120（首次会触发 JIT 编译，耗时较长）
3. 在 Colab T4 上执行：python benchmarks/flashinfer_benchmark.py --routine attention
4. 在 Colab T4 上执行：flashinfer show-config

测试

pytest；测试目录为 tests/，含 tests/attention、tests/comm、tests/mamba、tests/diffusion_ops、tests/experimental 等子目录；CLAUDE.md 给出 pytest tests/ 与 pytest tests/ --full 两种粒度；多 GPU 测试用 mpirun -np 4 pytest tests/comm/test_allreduce_unified_api.py；无 GPU 时只能跑不依赖 CUDA 的纯逻辑 case，需逐文件验证，预计 CPU 子集耗时 <1 分钟，完整 suite 在 T4 上首次 JIT 编译可能需数十分钟。

调试

• export FLASHINFER_LOGLEVEL=3（详细日志）或 5（带 tensor 统计）
• export FLASHINFER_LOGDEST=mylog.txt 将日志写到文件
• export FLASHINFER_JIT_VERBOSE=1 查看 JIT 编译过程
• export FLASHINFER_JIT_DEBUG=1 开启 debug build
• export FLASHINFER_CUDA_ARCH_LIST="8.0 9.0a" 限制目标架构
• export FLASHINFER_NVCC_THREADS=4 与 MAX_JOBS=4 控制并行编译
• rm -rf ~/.cache/flashinfer/ 清除 JIT 缓存
• python -m flashinfer.collect-env 收集环境报告用于 bug 报告
• 断点可设在 csrc/batch_attention_jit_binding.cu、flashinfer/attention/*.py、flashinfer/jit/*.py 的 Python/C++ 接口层

CI

Jenkins（ci.tlcpack.ai）+ GitHub Actions；CI 脚本在 ci/ 与 .github/workflows；PR 会被 pre-commit、lint、CUDA 版本校验（ci/validate_cuda_versions.py）、多架构构建、多 GPU 测试卡住；具体 gate 需查看 Jenkinsfile 与 .github/workflows 确认。

坑

• Apple Silicon 上无法编译或运行任何 CUDA kernel，开发只能读代码，验证必须用 Colab T4
• 首次 JIT 编译耗时极长（数十分钟），务必设 FLASHINFER_NVCC_THREADS 与 MAX_JOBS
• 必须 git submodule update --init --recursive，缺少 3rdparty/cutlass、cccl、nixl、spdlog 会构建失败
• requirements.txt 中的 CUDA 依赖（nvidia-cuda-nvcc、nvidia-cutlass-dsl）在无 GPU 机器上无法安装，需跳过或单独处理
• flashinfer-cubin 与 flashinfer-jit-cache 是独立包，需单独构建安装
• FLASHINFER_LOGLEVEL=5 的 tensor 统计 kernel 只能在 CUDA graph 捕获场景使用
• experimental API 与 backend 需显式 opt-in，auto dispatch 默认不启用实验性后端

四、维护者与社区

极高。最近三次 release 集中在 2026-09-29 到 2026-10-02 之间（v0.7.0.post1 → v0.7.1rc1 → v0.7.1rc2），rc 节奏约 2 天一次。提交热点高度集中在 csrc/cake_fmha（129 次）、flashinfer/experimental（79 次）、csrc/fused_moe（60 次）、csrc/cake_rmsnorm_train（43 次）、csrc/cake_all_gather_matmul（31 次）、csrc/cake_grouped_fp8_gemm（31 次），说明 Blackwell（SM100+）Cake 后端、训练算子、MoE 是当前主战场，几乎每天有多轮迭代。CI 徽章指向 https://ci.tlcpack.ai/job/flashinfer-ci/job/main/ ，表明有持续集成流水线。

流程与 Review 风格

CONTRIBUTING.md 明确贡献流程：先写 kernel 定义在 include/（框架无关 CUDA，只接受 raw pointer，不引用 Torch），再写 op 注册与 PyTorch binding 在 csrc/（接受 Torch Tensor），Python 接口放 flashinfer/，单元测试放 tests/，可选 benchmark 放 benchmarks/，文档索引更新在 docs/，新建模块需更新 pyproject.toml。Experimental API 必须放在 flashinfer/experimental/ 并用 @flashinfer_experimental_api 标记，需有 named owner + tracking issue + correctness tests against reference + runnable example，且不得注册到 flashinfer/aot.py（JIT-only）。PR 模板中有 Experimental Track 复选框，maintainers 会加 experimental label。仓库有 .github/pull_request_template.md 和 .github/CODEOWNERS（PR #3531 专门更新 CODEOWNERS），说明有 PR 模板和代码所有者机制。AGENTS.md 指向 CLAUDE.md，CLAUDE.md 提供开发命令速查（pip install --no-build-isolation -e . -v、pytest tests/、pre-commit run -a、flashinfer collect-env 等）。.pre-commit-config.yaml 存在，说明有 pre-commit 钩子。docs/code_review_guidance_human.md 存在，说明有专门的人类 review 指南。未在 README/CONTRIBUTING 中看到 CLA 或 DCO 声明，需验证。

从 PR 标题和 Issue 标题推断，review 风格高度技术化且注重性能数据。PR 标题如 perf(cake_bgmv_moe): round-5 BGMV MoE kernels: pair-grouped exact pipeline, programmatic dependent launch, per-arch selectors (#6016)、feat(cake_grouped_fp8_gemm): block-scaled UE8M0 family with native -1 padding and per-call operand rebinding (SM100a/SM103a) (#6048) 表明每个 PR 都附带具体架构、具体优化手段、具体 round 编号。Issue 标题如 [Performance] XQA sm90 decode (head_dim 256, fp8 KV, page 16), batch 10 / 124K ctx: 18% of HBM peak, 66-block grid, 12.5% warp occupancy — 65% of the decode step 表明性能 issue 必须带完整 profiling 数据。[cake deslop] 系列 Issue（#5800、#5769、#5771、#5768）表明社区主动追踪技术债并要求精简生成代码。needs-triage 标签广泛使用，说明有分类流程。CI 徽章和 Jenkinsfile 表明自动化测试是 merge 前提。响应速度方面，从最近提交日期（2026-10-05）和 Issue 更新日期（2026-10-05）看，核心维护者几乎每天活跃。

渠道

• https://join.slack.com/t/flashinfer/shared_invite/zt-379wct3hc-D5jR~1ZKQcU0WHsXhgvtA
• https://github.com/orgs/flashinfer-ai/discussions
• https://ci.tlcpack.ai/job/flashinfer-ci/job/main/
• https://docs.flashinfer.ai
• https://flashinfer.ai
• https://github.com/flashinfer-ai/flashinfer/releases/latest

这里的规矩

• 得体：提性能优化 PR 时附带 benchmark 数据（PR 标题中 round 编号 + 具体架构 + 具体优化手段是惯例）；提 Bug 时附带完整 profiling 数据（如 HBM 峰值占比、warp occupancy、block grid 大小）；Experimental 功能先开 tracking issue 并声明 owner 和毕业计划；kernel 定义放 include/ 保持框架无关，不引用 Torch；cake deslop 类重构主动精简生成代码。
• 得体：利用 CLAUDE.md 提供的命令速查（flashinfer collect-env 生成 bug report、FLASHINFER_LOGLEVEL 开启 API logging、FLASHINFER_JIT_VERBOSE 调试 JIT）；多 GPU 测试用 mpirun -np 4 pytest tests/comm/...。
• 不得体：在 include/ 中引用 Torch 头文件（CONTRIBUTING.md 明确禁止）；Experimental API 注册到 flashinfer/aot.py（Experimental 政策明确禁止）；backend="auto" 自动路由到 experimental backend 不带 FLASHINFER_ALLOW_EXPERIMENTAL_AUTO_BACKENDS=1；提 Issue 不带具体架构/数据/复现步骤；PR 不带性能对比数据就声称优化。

维护者现在最想要的帮助

• Cake 后端代码精简与可维护性（[cake deslop] 系列 Issue #5800、#5769、#5771、#5768 明确追踪生成代码的瘦身，如合并 SM100/SM103 重复 binding、替换万行级 loader table）
• SM12x（RTX 50 系列 / DGX Spark）支持完善（Issue #3170 审计 SM121 支持状态，#5873 SM120 JIT 编译失败，#5898 SM120 autotune 超时，#5963 SM120 MiniMax-H3 FP8 varlen attention）
• Blackwell（SM100/SM103/SM107）新 kernel 开发（Kimi-K3 NVFP4 端到端支持 #4568、MegaMoE SM90 NVFP4 #5706、SM107 PDL #5473、Qwen4Exp QSA #5669、MiniMax-H3 #5936）
• 编译时间优化（Issue #4110 GDN decode cold kernel compilation time too long、#4317 CuTe-DSL kernels never disk-cached 导致每次重新编译 15-40s）
• 训练方向 kernel（Issue #4642 Training Kernel Progress Tracker、PR #5741 cake_rmsnorm_train、PR #6053 MoK training adapter）
• Bug 修复（#5965 FA2 NVFP4 KV prefill head_dim=64 SM120/121 错误、#5996 CuTe-DSL MXFP8 量化零值 bug、#5966 BatchAttentionWithAttentionSinkWrapper NVFP4 KV cache 不兼容、#5878 sampling top_k_arr 越界）
• good first issue 方向：#5878 sampling bug、#3170 SM121 审计、#4110 编译时间、#4317 MoE 缓存、#2359 gemm-allreduce two-shot

五、切入方案

它现在缺什么（你无 GPU 也能补）

第一批 PR

怎么知道自己站住了

• 30 天内至少 2 个 PR 被合并到 main，且 review 来自 yzh119 / yyihuang / xslingcn 等核心维护者
• 60 天内被至少 1 位核心维护者 assign 为 experimental 相关 Issue 的 owner 或 reviewer
• 90 天内名字出现在 CODEOWNERS 的 flashinfer/experimental/ 或 flashinfer/diffusion_ops/ 行（需主动申请）
• 在 Slack 或 Discussion 中被 @ 回答 experimental 或 diffusion 相关技术问题
• 自己提交的 experimental backend 毕业 proposal 被接受并进入评审
• MacBook 上 pytest tests/ --macos-compatible（或类似最小集）绿灯，且 CI 中新增无 GPU 步骤通过
• diffusion_ops 的 docstring 覆盖率从当前水平提升至 100%，并被 docs API 参考自动收录