sgl-project/sglang

一、项目定位

SGLang（sgl-project/sglang，LMSYS 非营利组织托管）是高性能大模型与多模态模型推理服务框架，2024 年初以 RadixAttention 前缀缓存起家，README 自称支撑全球 40 万+ GPU、日产数万亿 token，被 xAI、NVIDIA、AMD、Cursor 及各大云厂采用，2025/03 加入 PyTorch 生态，已是工业界事实标准之一。架构为双语言引擎：Python 侧（python/sglang，目录约 3863 个文件）承载调度器、KV 缓存、模型实现与 OpenAI 兼容服务；Rust 侧（rust/sglang-server、sglang-mm、sglang-renderer、experimental/sgl-router、sgl-model-gateway）承担高性能服务器、多模态数据面与路由，rust/sglang-server 是提交热点第二位，服务化正在加速。能力覆盖 continuous batching、paged attention、PD 分离、投机解码（DFlash/Spec V2）、TP/PP/EP/DP 并行、FP4/FP8/INT4/AWQ/GPTQ 量化、多 LoRA、结构化输出；模型覆盖主流 LLM、embedding/reward 模型与扩散模型（WAN、Qwen-Image，即 SGLang Diffusion）；硬件覆盖 NVIDIA/AMD/Intel XPU/Xeon CPU/TPU/昇腾 NPU。它同时是 RL 后训练 rollout 后端，被 verl、slime、AReaL、Miles、Tunix 集成。与 vLLM 为最直接竞品（README 致谢承认借鉴 vLLM/FlashInfer/LightLLM），差异化在 RadixAttention、零开销调度器、DeepSeek/Kimi K3 等 day-0 支持与大规模 EP/PD 分离工程。当前 v0.5.x、约两周一个 release、单日十余条合并，成熟期中仍快速扩张（Rust 服务化、扩散管线、TPU 后端均为近一年新增）。对无 GPU 的读者：仓库提供 pyproject_cpu.toml（CPU 安装路径）与可本机构建的 Rust 组件，是可行的切入面。

解决什么问题、给谁用

解决大模型推理从「能跑」到「高吞吐、低延迟、可规模化服务」的工程问题，具体拆解为： 多请求并发下 KV 缓存浪费与前缀重复计算——RadixAttention 树形缓存（官方博客称最高 5x 提速），并有 hicache 层级缓存与 unified_memory 扩展； prefill 与 decode 互相争抢——PD 分离、chunked prefill； decode 受算力与带宽限制——投机解码（2026/06 的 DFlash/Spec V2 为新一代）、FP4/FP8/INT4/AWQ/GPTQ 量化； MoE 模型多机扩展——大规模专家并行（96×H100、GB200/GB300 NVL72 集群博客，称 25x 提升）； agent/RL 场景的高并发重复前缀 rollout——被 verl/slime 等用作 rollout 后端； 新模型发布当天可部署——DeepSeek-V4、Kimi K3、GLM5.2 等 day-0 支持； 视频与图像扩散生成纳入统一服务框架（SGLang Diffusion，WAN/Qwen-Image）。

四类目标用户： 推理平台/服务工程师——xAI、Cursor、LinkedIn 及 Oracle/Azure/AWS/GCP 等云厂商（README 采用名单），典型场景是单卡到千卡集群上跑 OpenAI 兼容 API； RL/post-training 团队——作为 verl、slime、AReaL、Miles、Tunix 的 rollout 后端做大规模采样； 模型方与早期采用者——需要 DeepSeek-V4、Kimi K3、GLM5.2、Nemotron 3 等新模型的 day-0 部署与调优（GLM5.2 NVFP4 agentic 500 TPS 案例）； 多模态与生成式应用开发者——VLM（LLaVA 类）、OCR、ASR/TTS，以及 2025/11 起的视频/图像扩散生成（WAN、Qwen-Image）。对内核/性能背景的读者，最相关的用户故事是：kernel 与调度优化直接决定其吞吐指标，benchmark/ 目录（146 个文件）就是这些用户的验收场。

同类项目与差别

• vLLM：最直接竞品，也是 README 致谢的代码来源。PagedAttention 首创者、社区规模最大；SGLang 差异化在 RadixAttention 前缀复用、零开销调度器、DeepSeek/Kimi 等 day-0 深度优化、大规模 EP 与 PD 分离、RL rollout 集成。
• TensorRT-LLM：NVIDIA 官方推理栈，kernel 级优化极致但绑定 NVIDIA 硬件生态；SGLang 开放且多硬件（AMD/Intel/TPU/NPU），v0.2 博客曾直接对标其 Llama3 serving 性能。
• LightLLM：README 致谢的借鉴项目，轻量 Python serving 框架；SGLang 的功能广度、Rust 组件与 CI/硬件矩阵投入远超。
• llama.cpp：面向 CPU/端侧的 GGUF 推理库，无 PD 分离、EP、多 LoRA 等服务端特性；定位互补（端侧 vs 数据中心），与读者端侧部署经验衔接但非同类。
• HuggingFace TGI：早期主流 serving 框架，迭代相对平缓；SGLang 在投机解码、PD 分离、新模型支持速度上更激进。
• FlashInfer：非竞品而是被致谢/依赖的 attention kernel 库，SGLang 在其上构建；可作为理解其 kernel 层的对照。

核心能力

阶段：成熟期但仍在快速扩张：核心 serving 能力（调度、缓存、量化、PD 分离）成熟并大规模生产部署；v0.5.x 约两周一个 release（v0.5.18→v0.5.20），主干单日十余条合并、PR 编号已到 4.1 万+；扩张方向为 Rust 服务化（rust/sglang-server 为提交热点第二）、SGLang Diffusion、TPU/XPU/NPU 等新后端；experimental/sgl-router 仍在 experimental 目录，属演进中。

技术栈：Python（主体运行时，python/sglang，目录 3863 个文件）；Rust（rust/sglang-server、sglang-mm、sglang-renderer；experimental/sgl-router；sgl-model-gateway；Cargo 构建）；PyTorch（2025/03 加入 PyTorch 生态）；Triton（AMD 侧提交注册 Triton data movement tests）；TileLang（ROCm 构建相关提交）；依赖/集成 kernel 库：FlashInfer（README 致谢）、DeepGEMM 与 DeepEP（docker/sgl-deep-gemm.Dockerfile、sgl-deep-ep.Dockerfile）；Protobuf（proto/sglang）；构建：python/pyproject.toml 多变体（cpu/npu/xpu/other）+ setup.py；rust/Cargo.lock；部署：docker/ 25 个文件（cu134、rocm、rocm-gfx1151、xpu、xeon、npu、musa、arm64、sagemaker、gateway、renderer 等）+ k8s StatefulSet/Service 清单；CI/质量：.github/ 130 文件（workflows、CODEOWNERS、MAINTAINER.md、labeler、linters、audit_permission.py），含 AMD nightly、XPU weekly 等分硬件流水线；pre-commit、isort、codespell、coverage；test/run_suite.py 与 test/registered；文档站：Mintlify（mint CLI、Node.js>=20、MDX、config-driven cookbook）；注意仓库内 docs/CONTRIBUTING.md 是文档站贡献指南，代码贡献指南在 docs.sglang.io/developer_guide/contribution_guide.html；AI 辅助开发基建：.claude/（rules、skills，112 个文件）

规模：目录规模：python/ 3863 个文件（主体）、docs/ 553、experimental/sgl-router 242、benchmark/ 146、.github/ 130、examples/ 98；Release 节奏：v0.5.18（2026-08-22）→ v0.5.19（2026-09-05）→ v0.5.20（2026-09-18），约两周一版；提交频率：2026-09-28 单日可见 12 条合并，commit 热点为 python/sglang 45、rust/sglang-server 29、test/registered 23；PR 编号已至 #41387（2026-09），累计 PR 4 万+；README 自称 40 万+ GPU 部署、日产数万亿 token、PyPI 有月下载徽章（具体数值需验证）；star 数证据未给出，需验证。

二、架构与代码地图

SGLang 采用「双语言、五层」架构。最上层是接入层（Rust 服务器 + Python 前端），负责 HTTP/gRPC 入口、OpenAI 兼容 API、多模态数据面与 KV 感知路由；Rust 侧由 experimental/sgl-router（KV 感知路由、策略、健康检查）与 rust/sglang-server、rust/sglang-mm（统一数据面）构成，Python 侧由 python/sglang/srt/entrypoints/ 下的 OpenAI 兼容服务器与前端语言接入组成。第二层是调度层，核心是 python/sglang/srt/managers/ 下的 Scheduler、SchedulerProfiler 与 scheduler_components/（load_publisher、chunked_prefill、radix_cache 等），实现 continuous batching、chunked prefill、RadixAttention 前缀缓存、PD 分离调度、投机解码调度。第三层是执行层，包括 python/sglang/srt/executor/（GPUModelRunner、overlapping_scheduler）、python/sglang/srt/layers/（attention、moe、quantization、linear、norm、rope 等算子包装）、python/sglang/srt/model_executor/（模型前向、采样、logits 处理）。第四层是 kernel 层，主要是 python/sgl-kernel/ 与 python/sglang/srt/layers/ 调用的 Triton/CuTe/CUTLASS/FlashInfer 自定义算子，以及 3rdparty/amd/ 等厂商特化实现。第五层是工具层，包括 benchmark/、docs/、examples/、docker/、test/、scripts/ci/、.claude/skills/（性能剖析、事故分诊、机械重构验证）等工程支撑。双语言边界清晰：Python 承载调度与模型实现，Rust 承担高性能数据面与路由；两者通过 rust/sglang-server 与 python/sglang/srt/ 的 FFI/HTTP 边界协作，近期提交热点显示 Rust server 正在统一多模态与生成请求的数据路径。

一次调用怎么流过这些模块

一次典型推理请求（以 OpenAI /v1/chat/completions 为例）的完整路径：1) 请求进入接入层，由 rust/sglang-server 或 python/sglang/srt/entrypoints/ 的 OpenAI 兼容服务器接收，解析 HTTP body 为内部请求对象；若是 Rust 入口，sgl-router 的 server/routes/chat.rs 会先做请求预处理（preparation）与路由选择。2) 对于启用 KV 感知路由的集群，sgl-router 通过 sgl-kv-indexer 的 gRPC 接口查询请求前缀匹配（PrefixMatch），结合 worker 负载（LoadStat，由 python/sglang/srt/managers/scheduler_components/load_publisher.py 发布）与路由策略（cache_aware、session_aware、power_of_two 等）选定目标 worker。3) 请求进入调度层 python/sglang/srt/managers/Scheduler，由 continuous batching + chunked prefill 逻辑切分为 chunk，RadixAttention 树形缓存（radix_cache）检查前缀命中，命中部分跳过 prefill 计算。4) 调度后的 chunk 进入执行层 python/sglang/srt/executor/GPUModelRunner，组装 batch 并调用 python/sglang/srt/model_executor/ 的前向逻辑；前向中逐层调用 python/sglang/srt/layers/ 的算子包装（attention、moe、linear、norm、rope、quant），这些包装进一步调用 python/sgl-kernel/ 的 Triton/CuTe/CUTLASS/FlashInfer 自定义 kernel。5) 前向完成后，采样（sampling）与 logits 处理在 model_executor 层完成，生成 token；投机解码（DFlash/Spec V2）会在该阶段验证或回退。6) 生成的 token 写回 KV 缓存（paged attention + radix_cache），调度器决定是否继续 decode 或释放请求；最终 token 流通过接入层返回客户端（streaming 或完整响应）。关键数据结构包括：内部请求对象（含 input_ids、sampling_params、radix_cache 指针）、LoadStat（worker 负载）、PrefixMatch（KV 索引结果）、batch 描述符、KV cache page 表。调度点包括：Scheduler 的 chunk 切分与 batch 组装、radix_cache 的前缀查询与插入、sgl-router 的 worker 选择、sgl-kv-indexer 的前缀匹配。

关键类型与函数

扩展点

• 新模型：在 python/sglang/srt/models/ 下新增模型文件，实现对应的 nn.Module 与前向逻辑；在 python/sglang/srt/model_executor/ 或 layers 中注册；参考现有模型（如 llama.py、qwen.py、deepseek.py）与 docs/cookbook/ 中的 recipe
• 新后端（硬件）：在 python/sglang/srt/layers/ 下新增或特化算子后端（如 attention_backend、quantization）；在 docker/ 下新增对应 Dockerfile（如 rocm.Dockerfile、npu.Dockerfile、xpu.Dockerfile）；在 3rdparty/amd/ 等厂商目录下添加特化实现；参考 [AMD] 与 [NPU] 相关提交
• 新 kernel：在 python/sgl-kernel/ 下新增 Triton/CuTe/CUTLASS kernel；在 benchmark/kernels/ 下添加对应 benchmark；参考 benchmark/kernels/fused_moe_triton/tuning_fused_moe_triton.py 等现有 tuning 脚本
• 新调度策略：在 python/sglang/srt/managers/scheduler_components/ 下扩展调度逻辑（如 radix_cache、chunked_prefill、speculative）；或在 experimental/sgl-router/src/policies/ 下新增 Rust 路由策略（参考 cache_aware、session_aware、power_of_two 等现有策略）
• 新路由策略（Rust）：在 experimental/sgl-router/src/policies/ 或 policies_reorg/ 下实现新策略，通过 PolicyRegistry 注册；需实现相应的 trait（需验证具体 trait 名）
• 新 CLI/配置：在 experimental/sgl-router/src/config/cli.rs 中新增 clap Args 与 Config 字段；在 config/types.rs 中扩展配置类型
• 新监控/分析工具：在 .claude/skills/ 下新增 skill（参考 llm-torch-profiler-analysis、sglang-prod-incident-triage）；在 benchmark/ 下新增 benchmark 脚本
• 新文档/cookbook：在 docs/cookbook/ 下按现有模型 recipe 添加 .mdx 页面与 src/snippets/configs/ 下的配置；运行 mint dev 与 mint broken-links 验证

最近在动的地方

• python/sglang：提交热点第一位（45 次提交），调度、执行、模型、kernel 包装的核心，任何功能变更都涉及该目录
• rust/sglang-server：提交热点第二位（29 次提交），近期「Rust server unify datapath for mm and generate requests (#39679)」表明正在统一多模态与生成数据路径
• test/registered：提交热点第三位（23 次提交），CI 回归测试集中区，新硬件/模型支持需在此注册测试
• rust/sglang-mm：提交热点第四位（5 次提交），多模态数据面持续演进
• experimental/sgl-router：KV 感知路由、策略体系重构（policies_reorg/）、sgl-kv-indexer 均在此，是 Rust 化最活跃的模块
• python/sglang/srt/layers：算子包装层，benchmark/kernels/ 大量 benchmark 直接相关，新硬件/量化/moe 支持必改
• python/sglang/srt/managers/scheduler_components：radix_cache、chunked_prefill、load_publisher、disagg、speculative 等调度组件集中，性能与功能扩展核心
• docker：多硬件支持（cuda/rocm/npu/xpu/xeon/arm64/musa）的 Dockerfile 集中区，新硬件后端必改

建议阅读顺序

1. README.md（项目定位、特性、生态）
2. experimental/sgl-router/src/main.rs（Rust 服务器入口，理解整体组件装配）
3. experimental/sgl-router/src/config/cli.rs（CLI 与配置，理解可配置项）
4. experimental/sgl-router/src/server/app.rs 与 app_context.rs（HTTP 路由与共享状态）
5. experimental/sgl-router/sgl-kv-indexer/src/client.rs 与 src/bin/kv-indexer-server.rs（KV 索引服务）
6. experimental/sgl-router/src/state/load_monitor/engine_reported_load.rs（负载统计结构）
7. python/sglang/srt/managers/scheduler_components/load_publisher.py（Python 侧负载发布，与 Rust 对应）
8. python/sglang/srt/managers（调度层核心，Scheduler 与组件）
9. python/sglang/srt/executor（执行层，GPUModelRunner）
10. python/sglang/srt/layers 与 python/sglang/srt/model_executor（算子与模型执行）

三、本地跑起来（没有 GPU 的 Mac）

安装

1. # 1. 克隆仓库 git clone https://github.com/sgl-project/sglang.git cd sglang # 2. 创建 Python 虚拟环境（推荐 Python 3.10–3.12） python3 -m venv .venv source .venv/bin/activate # 3. 安装 CPU 专用依赖（依据 pyproject_cpu.toml） pip install -e python[cpu] # 或显式指定：pip install -e python -f python/pyproject_cpu.toml # 4. 安装 Rust 工具链（用于编译 sgl-router） curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh source $HOME/.cargo/env # 5. 编译 Rust sgl-router（可选，无 GPU 也可编译） cd experimental/sgl-router cargo build --release cd ../.. # 6. 安装测试依赖 pip install pytest pytest-asyncio # 注意：跳过以下依赖（需要 GPU）： # - sgl-kernel（CUDA kernel 包） # - flash-attn、flash-infer（NVIDIA 专用） # - torch 的 CUDA 版本（使用 CPU/MPS 版本）

哪些路径能真跑

['# 可在 CPU / Apple Silicon 上执行的路径：\n\n## 1. Rust sgl-router（完全 CPU 兼容）\n- experimental/sgl-router/：KV 感知路由器，所有逻辑在 CPU 运行\n- 编译：cargo build --release\n- 测试：cargo test（单元测试无需 GPU）\n\n## 2. Python 调度层（部分可运行）\n- python/sglang/srt/managers/scheduler_components/radix_cache.py：RadixAttention 树，纯 Python\n- python/sglang/srt/managers/scheduler.py：调度逻辑可实例化（但推理需模型）\n\n## 3. Benchmark 和测试\n- benchmark/scheduler/：调度器 benchmark（bench_token_storage.py）\n- test/registered/：部分 CPU 测试用例\n- benchmark/agentic-rollout/：纯 Python 模拟\n\n## 4. 文档和工具\n- docs/：Mintlify 文档站（mint dev）\n- .claude/skills/：性能剖析脚本（分析 trace 文件，无需实时 GPU）\n\n## 需要 Colab T4 验证的路径：\n- python/sglang/srt/layers/：所有 CUDA kernel 包装\n- python/sglang/srt/executor/GPUModelRunner：GPU 执行器\n- python/sgl-kernel/：Triton/CuTe 算子\n- 任何实际推理（launch_server、offline_batch_inference）']

最小可运行

1. # 1. Rust sgl-router 单元测试（CPU，约 30 秒） cd experimental/sgl-router cargo test --lib cd ../.. # 2. RadixCache 冒烟测试（CPU，纯 Python） python3 -c " from sglang.srt.managers.scheduler_components.radix_cache import RadixCache cache = RadixCache(max_num_tokens=1024) print('RadixCache 实例化成功') " # 3. 调度器组件测试（CPU） python3 -m pytest test/registered/test_radix_cache.py -v --timeout=60 # 4. sgl-router 端到端冒烟（需编译后的二进制） ./target/release/sgl-router --model-id Qwen/Qwen3-0.6B --worker-urls http://localhost:30001 --dry-run # 5. 文档站本地预览（验证文档完整性） cd docs npm i -g mint mint dev # 浏览器打开 http://localhost:3000 # 6. 性能剖析脚本（分析已有 trace 文件） python3 .claude/skills/llm-torch-profiler-analysis/scripts/analyze_sglang_torch_profile.py \ --trace-path /path/to/trace.json # 注意：以下命令需要 GPU，只能在 Colab T4 运行： # python3 -m sglang.launch_server --model-path Qwen/Qwen3-0.6B # python3 -m sglang.bench_serving --model Qwen/Qwen3-0.6B --dataset random

测试

{'framework': 'pytest', 'directory': 'test/', 'cpu_subset': ['# 只跑 CPU 测试子集（约 5–10 分钟）\n\n# 1. 调度器相关测试\npython3 -m pytest test/registered/test_radix_cache.py -v --timeout=120\npython3 -m pytest test/registered/test_scheduler.py -v --timeout=120\n\n# 2. Rust 测试（CPU 原生）\ncd experimental/sgl-router && cargo test\n\n# 3. 过滤掉 GPU 标记的测试\npython3 -m pytest test/ -m "not gpu" --ignore=test/registered/test_model_runner.py\n\n# 4. 运行测试套件脚本（需验证 CPU 过滤选项）\npython3 test/run_suite.py --help # 查看是否有 --cpu-only 选项\n\n# 注意：完整测试套件需要 GPU，耗时数小时\n# 主要测试目录：\n# - test/registered/：核心功能测试\n# - test/srt/：SGLang Runtime 测试（需 GPU）\n# - experimental/sgl-router/tests/：Rust 路由器测试'], 'time_estimate': 'CPU 子集约 10–15 分钟（Rust 测试 + Python 调度测试）'}

调试

• # 1. 日志开关 export SGLANG_LOG_LEVEL=DEBUG # 或 TRACE export RUST_LOG=sgl_router=debug # Rust 路由器日志 # 2. Python 断点 python3 -m pdb -m sglang.launch_server --model-path ... # 或在代码中：import pdb; pdb.set_trace() # 3. 性能剖析入口 # Python 侧： python3 -m sglang.launch-server --model-path ... --enable-profiler # 或使用 torch.profiler： python3 .claude/skills/llm-torch-profiler-analysis/scripts/probe_llm_server.py \ --framework sglang --url http://localhost:30000 # 4. Rust 路由器调试 RUST_LOG=sgl_router=trace,sgl_kv_indexer=debug cargo run -- --model-id ... # 5. 环境变量 export SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 export SGLANG_MEM_FRACTION_STATIC=0.8 # 6. 调试调度器 python3 -c " from sglang.srt.managers.scheduler import Scheduler import logging logging.basicConfig(level=logging.DEBUG) # 实例化并调试 " # 7. 分析已有 trace python3 .claude/skills/llm-torch-profiler-analysis/scripts/analyze_sglang_torch_profile.py \ --trace-path trace.json --output report.md

CI

{'system': 'GitHub Actions', 'workflows': ['.github/workflows/'], 'gpu_tests': ['# CI 主要检查项：\n\n## 1. 必需检查（PR 会被卡住）\n- pre-commit：代码格式（black、isort、flake8）\n- 文档 lint：mint broken-links\n- Python 单元测试（部分 CPU 测试）\n- Rust 编译和测试（cargo test、cargo clippy）\n\n## 2. GPU 测试（需要 NVIDIA GPU runner）\n- test/srt/ 下的模型推理测试\n- benchmark/kernels/ 性能测试\n- 多 GPU 分布式测试\n\n## 3. 硬件特定测试\n- AMD GPU：rocm 相关 workflow\n- Intel XPU：xpu 测试\n- NPU：昇腾测试\n\n## 4. 提交热点显示的高频 CI\n- test/registered/：23 次提交（核心测试）\n- python/sglang/：45 次提交（主代码）\n- rust/sglang-server：29 次提交（Rust 服务）\n\n## 5. 避免 CI 失败的注意点\n- 不要修改 .pre-commit-config.yaml 中的 hook\n- 确保 Rust 代码通过 cargo clippy -- -D warnings\n- 文档修改需通过 mint broken-links'], 'pr_blockers': ['pre-commit 格式检查', 'Rust cargo test 和 clippy', 'Python 单元测试（至少 CPU 子集）', '文档链接检查']}

坑

• # 1. 依赖混淆 - pyproject_cpu.toml 用于 CPU 安装，不要直接用 pyproject.toml - sgl-kernel 是 CUDA 专用，CPU 环境不要安装 # 2. Rust 编译问题 - sgl-router 依赖 tokio、tonic 等，首次编译可能较慢（5–10 分钟） - 确保 Rust 工具链更新：rustup update # 3. Apple Silicon 特定问题 - PyTorch MPS 后端支持有限，不要期望 MPS 加速 - 部分 Python 包可能需要 Rosetta 转译 # 4. 测试陷阱 - 默认 pytest 会尝试运行 GPU 测试，需显式过滤 - test/registered/ 中部分测试需要模型权重（需下载或跳过） # 5. 调度器实例化 - Scheduler 依赖 KVCache 等组件，单独实例化需要 mock 依赖 - 建议从 test/registered/test_scheduler.py 学习正确用法 # 6. 文档站依赖 - docs/ 需要 Node.js >= 20 和 mint CLI - 不要修改 docs.json 中的导航结构 # 7. 性能剖析 - torch.profiler 在 CPU 上功能受限 - 主要 GPU kernel 剖析必须在 Colab T4 上进行 # 8. 提交规范 - 提交信息需清晰（参考 feat:、[Bugfix]、[CI] 前缀） - 大 PR 需拆分为 mechanical_provable 提交（参考 .claude/skills/mechanical-refactor-verify）

四、维护者与社区

Release 约每两周一次：v0.5.18（2026-08-22）→ v0.5.19（2026-09-05）→ v0.5.20（2026-09-18），间隔 13–14 天。主干合并极为高频：仅 2026-09-28 一天，UTC 01:09–06:46 的不到 6 小时内就有 12 条合并落地，方向横跨 NPU（#39060、#40814）、Intel XPU（#40664、#41075）、AMD（#41387、#36903、#41137）、diffusion（#38762）、hicache（#30899）、CI（#41378、#41002）与 Rust server（Rust server unify datapath for mm and generate requests #39679）；仓库 pushed_at（2026-09-28T06:46:45Z）与最新提交一致，说明主干几乎全天候有合入。规划以季度为周期：#21788 是「Prefill Context Parallelism (2026 Q3)」roadmap。对贡献者的含义：main 移动极快，PR 要尽快 rebase，并盯紧 CI 变化（#17050 专门追踪 CI 失败修复）。

流程与 Review 风格

入口：README「Getting Started」列出 Contribution Guide（https://docs.sglang.io/developer_guide/contribution_guide.html），仓库内有 docs/CONTRIBUTING.md、.github/MAINTAINER.md 与 .github/CODEOWNERS（后两者内容需验证）。注意：证据中抓到的 contributing 文本是 docs/ 文档站（Mintlify）的贡献模板——fork → 建分支 → npm i -g mint → mint dev 本地预览 → mint broken-links 检查链接 → 提 PR，并附写作规范。Issue 流程：.github/ISSUE_TEMPLATE 存在，标题带强制前缀（[Bug]/[Feature]/[RFC]/[Roadmap]/[Tracking]/[Perf]/[Kernel]）；大改动先开 [RFC] issue（#33852、#23206、#41514 均为此惯例），跨版本工作用 [Roadmap] issue 跟踪并指派负责人（#21788、#21846、#28874）。PR 流程：.github/pull_request_template.md 存在（具体勾选项需验证）；提交信息带 scope 标签（[Bugfix]/[CI]/[AMD]/[Intel GPU]/[XPU]/[NPU]/[diffusion]/[CPU]）。质量门禁：.pre-commit-config.yaml、.isort.cfg、.codespellrc、.coveragerc；CI 由 .github/workflows、scripts/ci、test/registered（提交热点第 3 位，23 条提交）与 test/run_suite.py 承担，另有独特的 CI_PERMISSIONS.json + audit_permission.py + update_ci_permission.py 管理 CI 权限。治理：根目录 CODE_OF_CONDUCT.md，项目托管于 LMSYS 非营利组织。CLA/DCO：证据中未见，需验证。特别之处：.claude/ 目录（rules + skills，112 个文件）表明项目深度使用 AI 编码代理；README 明确「Long-term active SGLang contributors are eligible for coding agent sponsorship, such as Cursor, Claude Code, or OpenAI Codex」，长期贡献者可携代表性 commits/PRs 发邮件 sglang@lmsys.org 申请。另有 .devcontainer 支持容器化开发环境。

主要从 issue 侧推断（PR 评论内容证据缺失，需验证）：响应速度快——当天新开的 bug（如 #41494，0 评论）已被指派给 mmangkad；大量 issue 在 2026-09-28 当天仍有更新，维护者几乎全天候在线。长周期追踪 issue 活跃且信息密度高：#26340 CUDA Coredump Tracker 320 条评论、#17050 CI Test Failures 14 条、roadmap issue 普遍 20+ 条评论。社区报告的质量标杆很高：#41372 精确指出 schedule_batch.py:1846 的死代码路径、#40877 给出 8x RTX PRO 6000（PCIe 无 NVLink）的生产配置与实测吞吐、#33452 与 vLLM/marlin 做同硬件对比——讨论以数据与复现细节驱动。合并节奏快（单日 12 条），PR 命名规范严格（scope 前缀），CI 门禁重（test/registered 为提交热点第 3 位）。推测 review 风格偏工程化、重测试与基准证据，但具体措辞与平均合并时长需验证。

渠道

• https://www.sglang.io/
• https://lmsys.org/blog/
• https://docs.sglang.io/
• https://roadmap.sglang.io/
• https://slack.sglang.io/
• https://meet.sglang.io/
• https://github.com/sgl-project/sgl-learning-materials?tab=readme-ov-file#slides
• https://docs.sglang.io/developer_guide/contribution_guide.html
• https://deepwiki.com/sgl-project/sglang
• sglang@lmsys.org

这里的规矩

• 得体：按 .github/ISSUE_TEMPLATE 用前缀起标题（[Bug]/[Feature]/[RFC]/[Perf]/[Kernel]），bug 附最小复现、精确 file:line、硬件拓扑与版本信息（参照 #41372、#40877、#33452 的报告质量）
• 得体：大改动先开 [RFC] issue 对齐设计（惯例见 #33852、#23206、#41514），跨版本工作挂 [Roadmap] issue 跟踪
• 得体：认领带 good first issue / help wanted 标签的 issue（当前开放如 #2271、#2272、#8072、#9674、#27214、#18427、#6357、#13809）
• 得体：提交前跑 pre-commit（.pre-commit-config.yaml），PR 标题带 scope 前缀，保证 CI（test/registered、scripts/ci）通过
• 得体：文档贡献遵循 docs/CONTRIBUTING.md 写作规范——主动语态、直接称呼读者、一句话一个意思、术语一致、给示例；本地用 mint dev 预览、mint broken-links 检查
• 得体：遵守根目录 CODE_OF_CONDUCT.md；借鉴他人工作时明确致谢（README 致谢 vLLM/FlashInfer/LightLLM/Outlines/Guidance，是社区文化的一部分）
• 不得体：无复现步骤、无版本/硬件信息的「跑不起来」式报告
• 不得体：跳过 issue/RFC 直接丢大型 PR；在已有 320 条评论的追踪 issue（#26340）里灌水或重复提问
• 不得体：不跑 lint/测试就提交；对厂商特化路径（3rdparty/amd、NPU/XPU）在无对应 CI 证据时声称「已验证」

维护者现在最想要的帮助

• 高优先级 roadmap 落地人力：#21788 Prefill Context Parallelism（high priority，2026 Q3，已指派 5 人）、#21846 Distributed KVCache System For Agentic Workload（high priority，7 人被指派）、#28874 HiSparse 长上下文稀疏服务
• kernel/性能优化：#2271 Triton 长上下文 decode kernel（help wanted + high priority）、#2272 cuDNN attention backend（help wanted + high priority）、#13809 降低 TP 下 constrained-decoding 开销
• Rust 迁移：#23206 [RFC] Sglang non-GPU process rust migration（14 条评论），且 rust/sglang-server 是提交热点第二位（29 条提交）——对无 GPU 的贡献者是最现实的主战场
• CPU 后端与无 GPU 路径：PR #41521 [CPU] Routes all_gather_into_tensor and reduce_scatter_tensor to shm kernels 证明 CPU 路径贡献被接受；仓库提供 pyproject_cpu.toml 安装路径
• CI 稳定性与崩溃分诊：#17050 [Tracking] CI Test Failures and Fixes、#26340 CUDA Coredump Tracker（320 条评论仍在滚动）
• 新模型与新硬件 day-0 支持：#27214 支持新扩散模型、#41490 SANA-Video 2.0、#37519 T-Head PPU；日常提交显示 [NPU]/[XPU]/[AMD]/[Intel GPU] 厂商团队每天都有合入
• 文档与 benchmark 基建：#18427 清理 docs 与 cookbook 重复内容、#8072 音频输入 benchmark、#9674 embedding 模型 benchmark 脚本、#6357 修复 Prometheus 指标 avg_request_queue_latency 未采集

五、切入方案

它现在缺什么（你无 GPU 也能补）

第一批 PR

怎么知道自己站住了

• cargo test 在 main 分支全绿，PR 无 CI 失败
• PR 在 2 周内被合并，无重大 revision
• 被指派到 sgl-router 相关 Issue 或 PR review
• 在 Slack 或 dev meeting 被认可为 sgl-router 方向贡献者
• 获得 triage 或 reviewer 权限
• sgl-router 文档页被官方站点收录