vLLM与SGLang部署DeepSeek-V3系列实战：MoE架构、MLA注意力与671B参数模型推理部署

模型地址：deepseek-ai/DeepSeek-V3 · Hugging Face

模型介绍：DeepSeek-V3，是一个强大的混合专家 (MoE) 语言模型，总共有 671B 个参数，每个 token 激活 37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力 (MLA) 和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了彻底的验证。此外，DeepSeek-V3 开创了一种无辅助损失的负载平衡策略，并设置了多 token 预测 (MTP) 训练目标以获得更强大的性能。并在 14.8 万亿个多样化和高质量的 token 上对 DeepSeek-V3 进行了预训练，然后进行监督微调和强化学习阶段，以充分利用其功能。

模型性能对比

![模型性能对比。图源：[https://api-docs.deepseek.com/zh-cn/news/news1226](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_3b4c421579.png)](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_970d4ce8.png)

## 一、vLLM 优势：支持具有 FP8 和 BF16 模式的 DeekSeek-V3 模型，以实现张量并行和流水线并行。机器：A100（16卡，80G显存） ![各精度模式的指数位、小数位和总数位](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_8e1a46d2.png) ### DeepSeek-V3（FP8） 1、**基础镜像**：llm_management_20240910 构建镜像名称：llm_management_20250210:py311 [GitHub - vllm-project/vllm at v0.7.2](https://github.com/vllm-project/vllm/tree/v0.7.2)， vllm==0.7.2

pip install vllm --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

2、创建容器（主节点和从节点）：llm_management

sudo docker run --gpus all -it -d --network host --name llm_management --ipc=host -v /data/models:/models llm_management_20250210:py311 /bin/bash

3、建立NCCL连接（主节点107上执行）
首先修改/etc/profile来建立NCCL网络通信解决下面问题，然后使用source /etc/profile激活配置
Gloo connectFullMesh failed with [../third_party/gloo/gloo/transport/tcp/pair.cc:144] no error

# Network
export GLOO_SOCKET_IFNAME=ibs16
export TP_SOCKET_IFNAME=ibs16

# NCCL
# export NCCL_SOCKET_NTHREADS=10
export NCCL_SOCKET_IFNAME=ibs16
export NCCL_DEBUG=info
export NCCL_NET=Socket
export NCCL_IB_DISABLE=0
export NCCL_DEBUG=INFO
export NCCL_NET_GDR_LEVEL=2 # Enable GPU direct communication
export NCCL_IB_HCA=mlx5_0 # Specify IB device
export NCCL_P2P_DISABLE=0 # Enable point-to-point communication
export NCCL_SHM_DISABLE=0 # Enable shared memory

然后执行：nohup ray start –disable-usage-stats –head –num-gpus 8 &

同时在从节点111上修改/etc/profile文件，然后使用source /etc/profile激活配置

# Network
export GLOO_SOCKET_IFNAME=ibs16
export TP_SOCKET_IFNAME=ibs16

# NCCL
# export NCCL_SOCKET_NTHREADS=10
export NCCL_SOCKET_IFNAME=ibs16
export NCCL_DEBUG=info
export NCCL_NET=Socket
export NCCL_IB_DISABLE=0
export NCCL_DEBUG=INFO
export NCCL_NET_GDR_LEVEL=2 # Enable GPU direct communication
export NCCL_IB_HCA=mlx5_0 # Specify IB device
export NCCL_P2P_DISABLE=0 # Enable point-to-point communication
export NCCL_SHM_DISABLE=0 # Enable shared memory

最后执行：nohup ray start –disable-usage-stats –num-gpus 8 –address=’10.39.214.107:6379’ &

4、查看ray状态
执行：ray status

![主节点ray状态，看到16颗GPU](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_f09c4a3d.png)


![从节点ray状态，看到16颗GPU](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_730b94e8.png)

5、部署deepseek-v3服务
模型权重文件：/models/DeepSeek-V3（FP8版本）
基础镜像：llm_management_20250210:py311（基于llm_management_20240910:py311构建）
使用vllm直接执行下列命令

vllm serve /models/DeepSeek-V3/ --trust-remote-code --tensor-parallel-size 16 --served-model-name deepseek-v3 deepseek --port 8002

服务启动日志如下

6、最终结论

调用失败，失败原因AssertionError: fp8e4nv data type is not supported on CUDA arch < 89

DeepSeek-V3-AWQ（int4）

1、创建镜像：llm_management_20250210
GitHub - vllm-project/vllm at v0.7.2， vllm==0.7.2

pip install vllm --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

2、创建容器（主节点和从节点）：llm_management

sudo docker run --gpus all -it -d --network host --name llm_management --ipc=host -v /data/models:/models llm_management_20250210:py311 /bin/bash

3、部署deepseek-v3服务
使用vllm直接执行下列命令（8卡最大31440，gpu_util=0.9）
MLA is not supported with awq_marlin quantization. Disabling MLA

vllm serve /models/DeepSeek-V3-AWQ/ --trust-remote-code --tensor-parallel-size 16 --served-model-name deepseek-v3 deepseek --port 8002 --max-model-len 16384 --gpu-memory-utilization 0.8

服务启动日志如下

DeepSeek-V3-bf16（BF16）

介绍：模型权重大小为1.4T，为671B的MOE模型

开启网卡ibs16：使用source /etc/profile激活配置（否则报错 Gloo connectFullMesh failed with \[../third_party/gloo/gloo/transport/tcp/pair.cc:144\] no error）

**1. 检查网卡状态** ip addr show ibs16或者ip link set ibs16 up **2. 启用网卡** ip link set ibs16 up或者ifconfig ibs16 up **3.确认网卡状态** ip addr show ibs16

1、**启动多机多卡服务**

sudo docker run --gpus all -it -d --network host --name llm_management --ipc=host -P -p 8900-8997:8900-8997 -v /data/models:/models vllm_20250212:py311 /bin/bash

# 后台主服务ray启动（111）
nohup ray start --disable-usage-stats --head --num-gpus 8 &

# 后台主服务ray启动（107）
nohup ray start --disable-usage-stats --num-gpus 8 --address='10.39.214.111:6379' &

# 后台主服务ray启动（103）
nohup ray start --disable-usage-stats --num-gpus 8 --address='10.39.214.111:6379' &

# 后台主服务ray启动（108）
nohup ray start --disable-usage-stats --num-gpus 8 --address='10.39.214.111:6379' &

# 查看ray的状态
ray status

2、部署deepseek-v3服务
模型权重文件：/models/DeepSeek-V3-bf16
基础镜像：vllm_20250212:py311（基于llm_management_20250210:py311构建）
使用vllm直接执行下列命令

# 20250216首次部署命令
vllm serve /models/DeepSeek-V3-bf16/ --trust-remote-code --tensor-parallel-size 32 --served-model-name deepseek-v3 deepseek --port 8996 --max-model-len 8192 --gpu-memory-utilization 0.8

vllm serve /models/DeepSeek-V3-bf16/ --trust-remote-code --tensor-parallel-size 32 --served-model-name deepseek-v3 deepseek --port 8996 --max-model-len 16384 --gpu-memory-utilization 0.8 --api-key fe21b93dd0234e64a8ab44d4c49cf365

部署日志

3、最终结论
vllm 0.7.2版本，4机器集群32卡，成功部署DeepSeekv3完整版本（原生fb8转fb16），4台A100机器模型加载+通讯时间20分钟左右部署，decode速度为10~12token每秒。

二、llama.cpp

DeepSeek-V3-AWQ（GUUF）

llama.cpp版本：GitHub - ggerganov/llama.cpp at b4689
使用方法：需在llama.cpp-b4689文件夹目录下，执行

pip install requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

python convert_hf_to_gguf.py /models/DeepSeek-V3-AWQ/

DeepSeek-V3-bf16（GUUF）

使用之前的容器：0a112247a6fe
进入到llama.cpp-b4689目录下执行python convert_hf_to_gguf.py /models/DeepSeek-V3-bf16/

llamacpp环境镜像：llamacpp_4689_20250214:py311

# 基于llamacpp_4689_20250214:py311创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name llamacpp_4689_20250214 --ipc=host -v /data/models:/models llamacpp_4689_20250214:py311 /bin/bash

# 开始转换gguf
python convert_hf_to_gguf.py /models/DeepSeek-V3-bf16/

三、SGLang

优势：完全支持 BF16 和 FP8 推理模式下的 DeepSeek-V3 模型。

DeepSeek-V3-AWQ（int4）

1、创建容器
参考文档：sglang/benchmark/deepseek_v3 at main · sgl-project/sglang
安装方式：pip install “sglang[all]>=0.4.2.post4” –find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer

2、开始部署
模型权重文件：/models/DeepSeek-V3-AWQ
基础镜像：sglang_20250212:py311（基于llm_management_20250210:py311构建）
执行：python3 -m sglang.launch_server –model /models/DeepSeek-V3-AWQ/ –tp 8 –trust-remote-code
服务启动日志如下

3、最终结论
失败原因：https://github.com/sgl-project/sglang/issues/3476

四、Ktransformers

0.3.0-preview镜像*：ktransformers_v03_20250214:py311*（基于cuda:12.4.1-cudnn-runtime-ubuntu22.04）
0.2.0镜像*：ktransformers_v02_20250214:py311*（基于ktransformers_v03_20250214:py311）

DeepSeek-V2-Lite-Chat

**miniconda镜像**

基础镜像：miniconda:py311 *1、**创建容器***

sudo docker load --input /data/docker_images/miniconda_py311.tar
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers --ipc=host -v /data/models:/models miniconda:py311 /bin/bash

*2、**安装cmake等工具***
1
2
apt-get update
apt-get install gcc g++ cmake ninja-build


*3、**安装python环境***
whl下载地址：[https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl](https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl)
1
2
pip install torch packaging ninja cpufeature numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl


![安装ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_d5725ecf.png)
![ktransformers-0.3.0rc0安装成功](https://cdn.jsdelivr.net/gh/gkm0120/CDN/img/notion_1bb8685c.png)
*4、**ktransformers部署***
1
python -m ktransformers.local_chat --model_path /models/DeepSeek-V2-Lite-Chat --gguf_path /models/DeepSeek-V2-Lite-Chat-Q4_K_M-GGUF --max_new_tokens 10000 --cpu_infer 120


- `-model_path`（必填）：模型地址。
    > 注意：目录中不需要.safetensors文件。我们只需要配置文件来构建模型和 tokenizer。
- `-gguf_path`（必填）：GGUF 文件的目录路径。请注意，该目录应仅包含当前模型的 GGUF，这意味着每个模型都需要一个单独的目录。
- `-optimize_rule_path`（除 Qwen2Moe 和 DeepSeek-V2 外必需）：包含优化规则的 YAML 文件的路径。ktransformers /optimize/optimize_rules目录中预先编写了两个规则文件，用于优化 DeepSeek-V2 和 Qwen2-57B-A14 这两个 SOTA MoE 模型。
- `-max_new_tokens`：Int（默认值=1000）。要生成的新token的最大数量。
- `-cpu_infer`：Int（默认值=10）。用于推理的 CPU 数量。理想情况下应设置为（核心总数 - 2）。

**Ubuntu 22.04镜像** 基础镜像：docker.1ms.run/nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04（官方镜像） ***1、创建基础镜像（0.3.0-preview）*** docker 镜像中安装python3.11和pip

# 拉取镜像
sudo docker pull docker.1ms.run/nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04

# 创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_ubuntu --ipc=host -v /data/models:/models docker.1ms.run/nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04 /bin/bash

# 安装依赖
apt-get update && apt-get install -y \
    build-essential \
    libssl-dev \
    libncurses5-dev \
    libncursesw5-dev \
    libreadline-dev \
    libsqlite3-dev \
    libgdbm-dev \
    libbz2-dev \
    libexpat1-dev \
    liblzma-dev \
    zlib1g-dev \
    libffi-dev \
    wget
    
# 安装Python 3.11.5
wget https://www.python.org/ftp/python/3.11.5/Python-3.11.5.tgz
tar xzf Python-3.11.5.tgz
cd Python-3.11.5 && ./configure && make -j$(nproc) && make altinstall
 
# 清理不需要的包和文件
apt-get clean && \
rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* && \
strip /usr/local/bin/python3.11
 
# 设置Python 3.11.5为默认Python版本
update-alternatives --install /usr/bin/python python /usr/local/bin/python3.11 1 && \
update-alternatives --install /usr/bin/python3 python3 /usr/local/bin/python3.11 1 && \
update-alternatives --install /usr/bin/python3.11 python3.11 /usr/local/bin/python3.11 1
 
# 设置环境变量
export PYTHON_VERSION=3.11.5
export PYTHON_PIP_VERSION=22.3.1
export PATH="/usr/local/bin:${PATH}"
 
# 安装pip
wget -q https://bootstrap.pypa.io/get-pip.py && \
python3.11 get-pip.py && \
rm get-pip.py

# 查看python
python

docker 镜像解决GLIBCXX_3.4.32问题

apt-get install -y software-properties-common
add-apt-repository ppa:ubuntu-toolchain-r/test
apt update
apt-get update
apt-get install libstdc++6

strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX_3.4.32

2、ktransformers（0.3.0-preview）

# ktransformers安装
wget https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl
pip install ./ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl

# flash_attn 安装
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.4.post1/flash_attn-2.7.4.post1+cu12torch2.6cxx11abiFALSE-cp311-cp311-linux_x86_64.whl
pip install flash_attn-2.7.4.post1+cu12torch2.6cxx11abiFALSE-cp311-cp311-linux_x86_64.whl

# 镜像打包
sudo docker commit 57a014b578af ktransformers_v03_20250214:py311

3、*ktransformers部署（离线）***
模型配置文件：/models/DeepSeek-V2-Lite-Chat
模型gguf文件：/models/DeepSeek-V2-Lite-Chat-Q4_K_M-GGUF
基础镜像：ktransformers_v03_20250214:py311

sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_v03 --ipc=host -P -p 10000-10004:10000-10004 -v /data/models:/models ktransformers_v03_20250214:py311 /bin/bash

python -m ktransformers.local_chat --model_path /models/DeepSeek-V2-Lite-Chat --gguf_path /models/DeepSeek-V2-Lite-Chat-Q4_K_M-GGUF --max_new_tokens 10000 --cpu_infer 10

4、创建镜像（ktransformers=0.2.0）
指定版本：ktransformers-0.2.0+cu125torch24avx512-cp311-cp311-linux_x86_64.whl
服务地址：https://github.com/kvcache-ai/ktransformers/releases/tag/v0.2.0

# ktransformers环境安装（基于已创建的0.3.0-preview环境）
pip install ktransformers-0.2.0+cu125torch24avx512-cp311-cp311-linux_x86_64.whl

# 镜像打包（不需要更新torch和flash_attn）
sudo docker commit 57a014b578af ktransformers_v02_20250214:py311

5、*ktransformers部署（v0.2在线）***
模型配置文件：/models/DeepSeek-V2-Lite-Chat
模型gguf文件：/models/DeepSeek-V2-Lite-Chat-Q4_K_M-GGUF
基础镜像：ktransformers_v02_20250214:py311

# 基于ktransformers_v02_20250214:py311创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_v02 --ipc=host -P -p 10000-10004:10000-10004 -v /data/models:/models ktransformers_v02_20250214:py311 /bin/bash

# ktransformers restful在线推理
ktransformers --model_path /models/DeepSeek-V2-Lite-Chat --gguf_path /models/DeepSeek-V2-Lite-Chat-Q4_K_M-GGUF --port 10002 --model_name DeepSeek-V2-Lite-Chat

ktransformers部署日志如下

DeepSeek-V3-bf16

ktransformers restful部署（v0.3.0在线）
模型配置文件：/models/DeepSeek-V3-bf16
模型gguf文件：/models/DeepSeek-V3-Bf16-256x20B-F16
基础镜像：ktransformers_v03_20250214:py311

# 基于ktransformers_v03_20250214:py311创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_v03 --ipc=host -P -p 10000-10004:10000-10004 -v /data/models:/models ktransformers_v03_20250214:py311 /bin/bash

# ktransformers restful在线推理（multi-gpu-8 + 10）
ktransformers --model_path /models/DeepSeek-V3-bf16 --gguf_path /models/DeepSeek-V3-Bf16-256x20B-F16 --port 10002 --optimize_config_path /models/ktransformers-main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-8.yaml

# ktransformers restful在线推理（multi-gpu-marlin + 10）
ktransformers --model_path /models/DeepSeek-V3-bf16 --gguf_path /models/DeepSeek-V3-Bf16-256x20B-F16 --port 10002 --optimize_config_path /models/ktransformers-main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml

ktransformers 部署（v0.2.0）
基础镜像：ktransformers_v02_20250214:py311

# 创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_v02 --ipc=host -P -p 10005-10008:10005-10008 -v /data/models:/models ktransformers_v02_20250214:py311 /bin/bash

# v0.2.0在线（gpu-marlin.yaml + 65）
ktransformers --model_path /models/DeepSeek-V3-bf16 --gguf_path /models/DeepSeek-V3-Bf16-256x20B-F16 --port 10006 --optimize_config_path /models/ktransformers-0.2.0/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml --cpu_infer 65

# v0.2.0离线（gpu-marlin.yaml + 65）
python -m ktransformers.local_chat --model_path /models/DeepSeek-V3-bf16 --gguf_path /models/DeepSeek-V3-Bf16-256x20B-F16 --port 10006 --optimize_config_path /models/ktransformers-0.2.0/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml --cpu_infer 65

DeepSeek-V3-Q4_K_M

ktransformers 在线部署（v0.2.0）
基础镜像：ktransformers_v02_20250214:py311

# 创建容器
sudo docker run --gpus all -it -d --network llm-management-network --name ktransformers_v02 --ipc=host -P -p 10005-10008:10005-10008 -v /data/models:/models ktransformers_v02_20250214:py311 /bin/bash

# v0.2.0在线（gpu-marlin.yaml + 65）
ktransformers --model_path /models/DeepSeek-V3 --gguf_path /models/DeepSeek-V3-Q4_K_M --port 10006 --optimize_config_path /models/ktransformers-0.2.0/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml --cpu_infer 65

ktransformers 离线部署（v0.2.0）

# v0.2.0离线（gpu-marlin.yaml + 65）
python -m ktransformers.local_chat --model_path /models/DeepSeek-V3 --gguf_path /models/DeepSeek-V3-Q4_K_M --port 10006 --optimize_config_path /models/ktransformers-0.2.0/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml --cpu_infer 65

# v0.2.0离线（gpu-marlin.yaml + 126）
python -m ktransformers.local_chat --model_path /models/DeepSeek-V3 --gguf_path /models/DeepSeek-V3-Q4_K_M --port 10006 --optimize_config_path /models/ktransformers-0.2.0/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-marlin.yaml --cpu_infer 126

# v0.2.0离线（multi-gpu-8.yaml + 65）
python -m ktransformers.local_chat --model_path /models/DeepSeek-V3 --gguf_path /models/DeepSeek-V3-Q4_K_M --port 10006 --optimize_config_path /models/ktransformers-main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-8.yaml --cpu_infer 65

五、LMdeploy

支持单机多卡并行，不支持多机并行

8*H200（8*141GB HBM）可执行

lmdeploy serve api_server deepseek-ai/DeepSeek-V3-FP8 --tp 8 --backend pytorch

调用方式：参考Quick Start — lmdeploy

六、评测基准

### vLLM的bench测试
python3 ~/vllm/benchmarks/benchmark_serving.py --backend vllm \
  --model ~/deepseek-V3 --port 8000 \
   --dataset-name random \
   --random-input 1234 \
   --random-output 2345 \
   --random-range-ratio 0.8 \
   --dataset-path ~/ShareGPT_V3_unfiltered_cleaned_split.json \
   --max-concurrency 16 \
   --num-prompts 64

### sglang的bench测试
python3 -m sglang.bench_serving --backend vllm  \
   --model  ~/deepseek-V3  --port 8000 \
    --dataset-name=random --random-input=1234 \
    --random-output=2345 \
    --max-concurrency=64\
    --num-prompts=128 \
    --random-range-ratio 0.9 \
    --dataset-path ~/ShareGPT_V3_unfiltered_cleaned_split.json