大模型工程实践者 · 推理优化与 Agent 落地

Qwen3-235B-A22B大语言模型完整部署实践指南，覆盖vLLM与SGLang双框架启动参数、FP8量化优化、Kubernetes部署YAML、多机多卡分布式配置与推理性能调优。

Mooncake推理框架环境搭建完整指南：Ubuntu系统依赖、cmake/gcc/Python/Go版本要求、基础库安装与编译部署流程。

vLLM 推理框架开源模型部署实践汇总，包含 Qwen3-235B-A22B、gemma-3-27b-it、Qwen2.5-72B-Instruct、QwQ-32B、DeepSeek-R1 等模型的 Docker 容器创建与多卡启动命令，以及向量化/分割/重排序模型部署和模型网络结构。

分析大语言模型服务中 KV Cache 带来的显存压力：多请求、长序列与束搜索等场景都会放大缓存占用，并系统地按公式角度与特性角度梳理 KV Cache 的优化思路与代表性方案。

系统梳理注意力机制为压缩 KV 缓存所做的演进：从多头注意力 MHA 出发分析其显存瓶颈，依次推导多查询注意力 MQA、分组查询注意力 GQA，直至用低秩键值联合压缩的多头潜在注意力 MLA 及其数学形式。

顺着 vLLM 的入口函数逐层拆解推理内核：SequenceGroup 如何组织一次请求中的多条候选序列，调度器如何决定参与推理的请求并完成逻辑块到物理块的映射，以及 Worker 与 CacheEngine 的分工。

在 GB10 上使用 LM Studio 部署 Qwen3.8-27B 的完整步骤：一键安装、启动守护进程、下载 GGUF 模型、加载、启动 OpenAI 兼容 API 服务器，以及本机与远程调用测试。

MiniCPM-o 4.5 CookBook 概览入口与配套文档截图。

Qwen3.6-27B与Qwen3.8-27B大模型部署实战指南，覆盖vLLM Docker镜像启动、FP8量化配置、FlashInfer后端优化与Chunked预填充参数调优。

主机 DNS 解析排查记录（20260723）。

H20 上部署 DeepSeek-V4-Flash-0731 的完整记录：硬件层面、模型权重、vLLM/SGLang 启动脚本与调优配置（FP8 KV Cache、DSpark 投机解码、专家并行等）。

大模型推理加速三种草稿模型方案对比：DFlash（纯并行）、DSpark（半自回归）与 Eagle3（纯自回归）的核心架构、生成机制与选型建议。