跳到正文
戈孔明

大模型工程实践者 · 推理优化与 Agent 落地


  • 首页

  • 归档

  • 导航

  • 技术地图

  • 技术实践

  • 关于

  • 搜索

推理框架分类

05-23

vLLM开源模型部署实践汇总:Qwen3-235B、gemma-3-27b、Qwen2.5-72B、QwQ-32B与DeepSeek-R1多卡启动命令

05-19

vLLM API Server参数调优全解析:解码、并行、缓存、调度、调试与Tool Calling/Reasoning/推测解码配置

03-26

SGLang部署DeepSeek实战(H20):多机硬件资源、SSH连接与推理服务搭建

03-12

SGLang部署Qwen2.5-72B-Instruct实战:BF16/FP8推理、容器创建与DeepSeek-V3-AWQ部署记录

02-17

vLLM部署Qwen2.5-7B-Instruct实战:框架特性、离线推理、OpenAI兼容API与HuggingFace速度对比

01-23

vLLM并发性能测试汇总:Qwen系列与Command R多模型推理延迟对比

01-06

Qwen2.5与Command R+性能评估报告:推理速度、显存占用与TTFT/TPOT/ITL并发对比

12
戈孔明

戈孔明

戈孔明,大模型工程实践者。专注大模型推理优化、AI Agent、RAG 与企业级 AI 应用落地,沉淀 230+ 篇原创技术文章与工程实践笔记。

236 文章
36 分类
83 标签
GitHub E-Mail
近期文章
  • LM Studio部署Qwen3.8-27B实战(GB10):一键安装、GGUF模型加载与OpenAI兼容API服务
  • MiniCPM-O 4.5 CookBook概览:多模态模型配套文档与使用指南入口
  • Qwen3.6-27B与Qwen3.8-27B部署实战:vLLM Docker镜像、FP8量化与单卡推理
  • 主机DNS解析排查记录:网络连通性与域名解析故障定位(20260723)
  • H20部署DeepSeek-V4-Flash-0731实战:FP8 KV Cache、DSpark投机解码与专家并行调优
热门标签
  • 模型部署
  • Qwen
  • vLLM
  • MoE
  • 注意力机制
  • 多模态
  • GPU
  • DeepSeek
  • 强化学习
  • 智能体
  • 推理框架
  • 预训练
  • 推理优化
  • 论文解读
  • 分布式训练
  • 量化
  • 长上下文
  • KV Cache
  • 大模型
  • 位置编码
© 2020 — 2026 戈孔明 | 658.3k 赣ICP备20004005号
0%