跳到正文
戈孔明

大模型工程实践者 · 推理优化与 Agent 落地


  • 首页

  • 归档

  • 导航

  • 技术地图

  • 技术实践

  • 关于

  • 搜索

动态批量处理标签

06-04

SGLang推理框架参数调优全解析：温度非确定性根源、动态批量处理与前缀缓存对输出一致性的影响

戈孔明

戈孔明

戈孔明，大模型工程实践者。专注大模型推理优化、AI Agent、RAG 与企业级 AI 应用落地，沉淀 180+ 篇原创技术文章与工程实践笔记。

236 文章
36 分类
83 标签
GitHub E-Mail
近期文章
  • LM Studio部署Qwen3.8-27B实战（GB10）：一键安装、GGUF模型加载与OpenAI兼容API服务
  • MiniCPM-O 4.5 CookBook概览：多模态模型配套文档与使用指南入口
  • Qwen3.6-27B与Qwen3.8-27B部署实战：vLLM Docker镜像、FP8量化与单卡推理
  • 主机DNS解析排查记录：网络连通性与域名解析故障定位（20260723）
  • H20部署DeepSeek-V4-Flash-0731实战：FP8 KV Cache、DSpark投机解码与专家并行调优
热门标签
  • 模型部署
  • Qwen
  • vLLM
  • MoE
  • 注意力机制
  • 多模态
  • GPU
  • DeepSeek
  • 强化学习
  • 智能体
  • 推理框架
  • 预训练
  • 推理优化
  • 论文解读
  • 分布式训练
  • 量化
  • 长上下文
  • KV Cache
  • 大模型
  • 位置编码
© 2020 — 2026 戈孔明 | 658.2k 赣ICP备20004005号
0%