Torchlet 实现说明

Torchlet 将一条精简的 LLM 推理路径保存为一系列具名实现版本。每个页面都会说明发生了什么变化、为什么需要这项变化、它体现了什么原则，以及哪些文件值得对比。

读者基础

• 了解 Python 和基础 PyTorch。
• 接触过 Transformer 注意力，但不一定熟悉推理服务内部机制。
• 更愿意对比小型代码版本，而不是直接阅读一个庞大的最终实现。

文档结构

• 先查看版本路线，理解整体演进顺序。
• 每次阅读一个版本页面。
• 当页面提到具体文件时，打开代码对比页。
• 先对比相邻版本，再对比早期和后期版本，观察设计压力如何累积。

页面约定

每个版本页面遵循相同的说明结构：

• 本版本引入什么。
• 为什么上一个版本需要它。
• 核心原则。
• 建议对比的重要文件。
• 有意保留的主要权衡。

构建与部署

站点由 tools/build_docs.py 仅使用 Python 标准库生成。生成结果写入 docs/_site，GitHub Pages 工作流会上传该目录。