Arganzheng's Blog

stay hungry, stay foolish

PyTorch 深度实践(04):nn.Module 与训练系统

nn.Module and Training Systems in PyTorch

《自动求导与动态计算图》讨论了 Autograd:Tensor 运算如何形成动态计算图,backward() 如何沿图传播梯度,以及梯度状态和计算图生命周期之间有什么关系。 但一个真实的模型不会只是几个散落的 Tensor 运算。它通常包含: 多层嵌套的网络结构; 需要训练的参数; 不参与梯度更新但属于模型状态的 Buffer; 优化器和优化器状态; 训练、验证和推理三种不同阶段; 数据集、采样器和 DataLoader; CPU 到 GPU 的数据搬运; checkpoint、恢复训练和混合精度。 PyTorch 用 nn.Module 把这些对象组织起来,再通过 Optimizer、Dataset 和 DataLoade...

PyTorch 深度实践(03):自动求导与动态计算图

Autograd and Dynamic Computation Graphs in PyTorch

《Tensor 与内存布局》介绍了 Tensor 的核心模型:它不是一组孤立的数字,而是由 Storage、Shape、Stride、Storage Offset、dtype、device 和 layout 共同描述的一种数据抽象。 但 Tensor 只有数据和布局,还不能完成模型训练。训练还需要回答一个问题: 模型输出发生变化时,参数应该沿着什么方向、以多大的幅度变化?1 这需要计算梯度。PyTorch 通过 Autograd 把数学上的求导过程变成了一个可以执行的运行时系统: Tensor 运算 动态记录运算关系 形成计算图 从结果反向遍历 计算并累积梯度 Optimizer 更新参数 初学者通常只需要记住: lo...

PyTorch 深度实践(02):Tensor 与内存布局

Tensor Abstraction and Memory Layout in PyTorch

《PyTorch 整体介绍》从整体上介绍了 PyTorch:它不是只有 Python API 的库,而是连接模型代码、Tensor 编程模型、算子运行时、设备后端、Kernel 和硬件的一套计算平台。 这一次进入这张地图的核心数据抽象: Tensor 到底是什么?1 初学 PyTorch 时,Tensor 很容易被理解成“支持 GPU 的 NumPy 数组”。这个理解可以帮助开始使用,但不足以解释真实工程中的许多现象: 为什么 transpose() 通常不会复制数据?2 为什么 view() 有时成功,有时会报错?3 为什么 reshape() 有时是零拷贝,有时会产生一份新数据?4 为什么一个 Tensor 的 shape 相同...

PyTorch 深度实践(01):PyTorch 整体介绍

PyTorch Overall Introduction

PyTorch 经常被介绍成一个“深度学习框架”,也经常被使用成一个 Python 库:导入 torch,创建 Tensor,定义 nn.Module,然后训练模型。 这种理解对于开始使用 PyTorch 已经足够,但对于训练平台、推理引擎、算子开发和 AI-Infra 来说还不够。真正需要理解的是: PyTorch 如何把 Python 中表达的张量计算,转化为可以自动求导、跨设备执行、编译优化和分布式协作的运行时系统?1 一行看起来很普通的代码: z = torch.add(x, y) 背后可能涉及: Python API Python Binding Operator Schema Dispatcher ATen O...

PyTorch 深度实践:从 Tensor 到深度学习运行时(总纲)

Deep Dive into PyTorch, from Tensor to Deep Learning Runtime

总览:PyTorch 在系统里负责哪一段 《PyTorch 深度实践:从 Tensor 到深度学习运行时》是一组共十篇的系列文章,面向有后端工程经验、尤其是 Java 背景、准备进入 AI-Infra 方向的工程师,系统梳理 PyTorch 从 Python API 到 C++、CUDA、编译器、性能分析和分布式运行时的主要机制。 一次训练调用,看起来只有四行: output = model(inputs) loss = criterion(output, targets) loss.backward() optimizer.step() 这四行在 PyTorch 内部经过下面这些部件,每个部件由一篇文章展开: %%{init: {"flowchart"...

C++ 在 AI-Infra(09):系列总结与通关自测

C++ for AI-Infra: Series Recap and Final Self-Test

八篇正文回答了一个问题:PyTorch 和 vLLM 的 C++ 源码里,这段代码为什么这样写。每一篇各答其中一段: 《编译模型》与《工程布局》:一个 .cpp 怎么变成 .so、import torch 拉起哪几个库 《值、引用与所有权》:at::Tensor 为什么是一个 8 字节的句柄、数据什么时候释放 《模板与泛型编程》:AT_DISPATCH 里的 scalar_t 从哪里来 《多态与类型擦除》:Dispatcher 用什么机制调到 kernel 《宏、静态注册与代码生成》:算子怎么在没有任何显式调用的情况下登记进 torch.ops 《并发、内存模型、TLS 与守卫》:no_grad 为什么对其他线程不生效 《与 Pyth...

C++ 在 AI-Infra(08):构建、调试与测试工具链

Build, Debug and Test Toolchain

PyTorch 的 CI 测试脚本 .ci/pytorch/test.sh 里有一段很奇怪的代码。在 ASan 构建下,它先设置一堆环境变量,然后故意让 Python 进程崩溃(echo 里说四次,其中 _crash_if_csrc_ubsan 一行被注释掉,实际执行三次): if [[ "$BUILD_ENVIRONMENT" == *asan* ]]; then export ASAN_OPTIONS=detect_leaks=0:symbolize=1:detect_stack_use_after_return=true:strict_init_order=true:detect_odr_violation=1:detect_container_ov...

C++ 在 AI-Infra(07):与 Python 之间——pybind11、Python C API 与 ABI

pybind11, the Python C API and ABI

torch.Tensor 在 Python 里是一个再普通不过的对象:能 isinstance、能子类化、能 t.foo = 1 挂属性、能被 gc 收集。但它在 C++ 里的定义,在 torch/csrc/autograd/python_variable.h 开头: // Python object that backs torch.autograd.Variable struct THPVariable { PyObject_HEAD // Payload at::Tensor cdata; // Hooks to be run on backwards pass (corresponds to Python attr // '_backw...

C++ 在 AI-Infra(06):并发、内存模型、TLS 与守卫

Concurrency, Memory Model, TLS and Guards

with torch.no_grad(): 大概是 PyTorch 用户最早学会的几个写法之一。它在 Python 侧是一个上下文管理器,__enter__ 调 torch.set_grad_enabled(False),__exit__ 把旧值设回去。顺着 torch._C._set_grad_enabled 往下追,会落到 torch/csrc/autograd/init.cpp 里的这段 C++: static PyObject* set_grad_enabled( PyObject* _unused, PyObject* args, PyObject* kwargs) { HANDLE_TH_ERRORS static Py...

C++ 在 AI-Infra(05):宏、静态注册与代码生成

Macros, Static Registration and Code Generation

vLLM 的 CPU 后端把所有自定义算子登记到 PyTorch 的代码在 csrc/cpu/torch_bindings.cpp 里,形状是这样的: #include "cache.h" #include "ops.h" #include "core/registration.h" #include <torch/library.h> // ... TORCH_LIBRARY_EXPAND(TORCH_EXTENSION_NAME, ops) { // vLLM custom ops // ... // Activation ops // Activation function used in SwiGLU. ops.d...

×