Flash Attention 加速详解:分块计算、重计算与算子融合 Posted on 2024-04-16 | In 大模型推理优化 , 显存与 GPU 利用率优化 | 1.3k | 4 分钟讲解 FlashAttention 如何突破注意力的显存访问瓶颈:用 Tiling 分块把计算搬到 SRAM 中完成、反向传播以重计算换显存、通过 kernel 融合减少显存读写,并延伸到块稀疏 FlashAttention。Read more »
vLLM 与 PagedAttention 详解:显存分页的高吞吐推理框架 Posted on 2024-04-16 | In 大模型推理优化 , 推理框架与系统架构 | 1.3k | 5 分钟介绍 vLLM 这一开源大模型推理加速框架:以 PagedAttention 高效管理注意力缓存,把吞吐量做到 HuggingFace Transformers 的 14 到 24 倍,并给出基于 Qwen1.5-7B-Chat 的推理代码示例。Read more »
DeepSpeed 指南:ZeRO 显存优化与分布式训练实践 Posted on 2024-04-16 | In 大模型训练与微调 , 分布式训练与系统架构 | 7.7k | 30 分钟系统讲解为什么需要 DeepSpeed、分布式训练的通信策略与显存构成,逐层拆解 ZeRO 三个级别的参数切分方式、混合精度训练与显存占用分析,并对比 Accelerate 等方案给出适用场景。Read more »
图网络开放数据集汇总:GNN 性能评测数据 Posted on 2021-04-06 | In 深度学习 | 1.6k | 6 分钟本文汇总常用于图神经网络(GNN)性能评测的开放数据集,便于图相关任务与算法对比实验的选型参考。Read more »
TeX Live 2021 从卸载到安装指南(WIN10) Posted on 2021-04-06 | In 排版 | 399 | 1 分钟本文记录在WIN10下TeX Live 2021的卸载、下载安装以及TeXstudio配置全过程,适合LaTeX写作环境搭建。Read more »
MATLAB 常用命令记录:图形绘制与可视化 Posted on 2021-04-05 | In MATLAB | 1.3k | 5 分钟本文记录MATLAB中基本图形的绘制方法,涵盖子图、二维三维绘图与可视化技巧,作为日常查阅笔记。Read more »
MATLAB 常用命令记录:函数用法入门 Posted on 2021-04-05 | In MATLAB | 1.1k | 5 分钟本文记录MATLAB中常用函数的用法,涵盖匿名函数、函数定义与基本编程技巧,作为日常查阅笔记。Read more »
Git 教程:版本控制、远程仓库与分支标签全流程 Posted on 2021-04-03 | In 版本控制 | 3k | 12 分钟本文系统介绍Git版本控制,涵盖配置、远程仓库、分支创建与切换、标签等核心用法,适合入门与日常参考。Read more »
ResNet V1 深度残差网络详解:残差学习缓解深层网络退化论文解读 Posted on 2021-01-18 | In 深度学习 , 计算机视觉 | 11k | 39 分钟ResNet提出残差学习框架,通过捷径连接(skip connection)缓解深层网络退化问题,使网络可达上百层并显著提升图像分类精度。本文含论文解读与结构分析。Read more »
GoogLeNet Inception V3 详解:卷积分解与Inception结构优化论文解读 Posted on 2021-01-16 | In 深度学习 , 计算机视觉 | 8.6k | 30 分钟Inception V3提出Inception结构优化四原则,采用分解卷积核、辅助分类器与特征图缩小结构,进一步提升分类精度与计算效率。本文含论文解读与设计原则分析。Read more »
GoogLeNet Inception V2 详解:Batch Normalization 批量归一化论文解读 Posted on 2021-01-13 | In 深度学习 , 计算机视觉 | 9.3k | 34 分钟Inception V2引入Batch Normalization(BN)缓解深度网络训练困难,减少对参数初始化的依赖、加速收敛并增强泛化,可替代部分dropout。本文含论文解读与原理分析。Read more »
NiN(Network in Network)详解:MLP卷积层与全局平均池化论文解读 Posted on 2020-12-18 | In 深度学习 , 计算机视觉 | 6.5k | 22 分钟NiN在每个局部感受野引入MLP卷积层增强非线性表达能力,并以全局平均池化替代全连接层,减少参数与过拟合。本文含论文解读与结构分析。Read more »