vLLM部署Qwen3.6-27B-FP8实战：FlashInfer后端、Chunked Prefill、Prefix Caching与MTP投机解码配置

发表于 | 分类于 | 110 | 1 分钟

vLLM 推理框架—Qwen3.6-27B-FP8部署

启动命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
CUDA_VISIBLE_DEVICES=0,1,2,3 \
python3 -m vllm.entrypoints.openai.api_server \
  --model /data/models/Qwen3.6-27B-FP8/ \
  --served-model-name Qwen/Qwen3.6-27B \
  --dtype auto \
  --disable-custom-all-reduce \
  --host 0.0.0.0 \
  --port 8080 \
  --trust-remote-code \
  --max-model-len 204800 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.85 \
  --max-num-batched-tokens 30720 \
  --enable-chunked-prefill \
  --enable-prefix-caching \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --max-num-seqs 40 \
  --attention-backend FLASHINFER \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' \
  --api-key <YOUR_API_KEY>
本文结束 感谢您的阅读