跳到正文
孔明の博客
AI 大模型研发与应用
Home
Archives
Search
输入搜索关键词
大模型推理优化
Category
07-23
LLM 推理过程详解：Prefill 与 Decode 两阶段的差异与优化
04-23
PD 分离架构详解：预填充与解码解耦的工程权衡
04-22
模型压缩三剑客：量化、蒸馏与剪枝的原理对比
04-21
SnapKV 详解：基于注意力一致性的 KV Cache 稀疏化
04-21
FlashMLA 详解：面向 Hopper 架构的 MLA 高效解码内核
03-27
FlashInfer 详解：LLM 注意力内核库与负载均衡调度
03-21
LLM 推理优化技术纵览：子图融合、模型压缩与量化蒸馏
02-20
从 MHA、MQA、GQA 到 MLA：注意力机制的 KV Cache 演进
11-22
LLM 推理框架运行时优化：CUDA Graph、分块预填充与投机解码
06-03
AWQ 激活感知权重量化详解：4-Bit 量化与 vLLM 部署
06-03
GPTQ 量化详解：基于近似二阶信息的一次性权重量化
06-03
LLM.int8() 量化详解：混合精度分解的 8-Bit 矩阵乘法
1
2
0
%