# minimind-learning

**Repository Path**: alienity/minimind-learning

## Basic Information

- **Project Name**: minimind-learning
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-09-18
- **Last Updated**: 2026-09-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# minimind-learning

从零训练大语言模型的个人学习仓库。按用途分四个区:

```
minimind-learning/
├── README.md            ← 本导航
├── 教程/                 ← 学什么、怎么学
│   ├── 学习手册.md              (主入口:动手练习册,12 章×15 个实测实验)
│   ├── 从零训练LLM复现教程.md   (深理论:全覆盖·本机实测,13 章+附录)
│   ├── 学习路线图.md            (8 阶段理论计划 + 自测检查点)
│   └── 融合教程/                (三方对照讲义:导读 + 13 章)
│       ├── 00-导读.md           (章节地图/来源对照/实验索引)
│       ├── 01-分词与数据.md     02-嵌入与位置编码.md   03-注意力机制.md
│       ├── 04-Transformer架构.md  05-预训练.md          06-生成与解码.md
│       ├── 07-微调-SFT与分类.md   08-参数高效微调.md    09-DPO偏好优化家族.md
│       ├── 10-奖励模型.md         11-PPO.md             12-GRPO.md
│       └── 13-工程部署与毕业审计.md
├── 复现实验室/           ← 动手:可直接运行的复现环境
└── 参考资料/             ← 查阅:按来源项目分三家
    ├── train-llm-from-scratch/要点全解.md
    ├── LLMs-from-scratch/要点全解.md + 源码/(rasbt 仓库快照)
    └── MiniMind/学习材料·全量合并本.md
```

## 教程/

- **[学习手册.md](教程/学习手册.md)** —— **主入口:你的动手练习册**。12 章 × 15 个实验,每个实验 = 目标 → 前置阅读 → 可复制的命令 → 本机实测输出 → 结果解读 → 自测题 → 完成标准。全部实验已于 2026-09-20 在 RTX 4070 上真实跑通,输出逐字收录;
- **[从零训练LLM复现教程.md](教程/从零训练LLM复现教程.md)** —— 深理论版:train-llm-from-scratch 全部技术要点(理论/公式/代码导读/工程体系)按流水线编入 13 章,手册某章想深挖原理时查;
- **[学习路线图.md](教程/学习路线图.md)** —— 8 阶段长期计划:规划整体进度、串起三份参考材料;
- **[融合教程/](教程/融合教程/)** —— 三方对照版:[导读](教程/融合教程/00-导读.md) + 13 章(01 分词 → 13 工程与毕业审计)。同一主题把 rasbt / tlfs / MiniMind 三家讲法糅合一章,逐段标注本地出处,配 exp20~31 实测输出;缺源的章节如实标注两来源。

## 复现实验室/

[FareedKhan-dev/train-llm-from-scratch](https://github.com/FareedKhan-dev/train-llm-from-scratch) 完整源码(main 分支快照)+ **可直接运行的复现环境**:

- 已配好的 `.venv`(Python 3.12 + torch 2.14.0+cu126);
- `make_toy_data.py`(玩具数据生成器)与 `run_smoke_pipeline.sh`(一键跑通 8 阶段,实测约 66 秒)——均为本仓库新增;
- `experiments/`(exp00~31 实验脚本 + `out/` 实测日志):exp00~14 对应《学习手册》,exp20~31 对应《融合教程》,结果汇总见 `experiments/RESULTS.md`;
- 已跑通的 `data/`、`ckpts/`(6 个 checkpoint)、`logs/` 产物;
- 运行方式:见复现教程第 0~2 章。

`.gitignore` 已排除 `.venv/`、`ckpts/`、`logs/`、`data/`、`hf_cache/` 等重物——**物理保留在本地即开即用,git 不跟踪**(随时可用上述两个脚本重新生成)。唯一在仓库外的东西:`E:\ephemeral\data\` 下两个小文件(上游 3 个脚本写死 `/ephemeral` 路径所致,消除方法见复现教程第 2 章)。

## 参考资料/

| 位置 | 内容 |
|---|---|
| [train-llm-from-scratch/要点全解.md](参考资料/train-llm-from-scratch/要点全解.md) | train-llm-from-scratch 全部技术要点编译:全流程 + RL 深入(SFT → 奖励模型 → DPO/PPO/GRPO 从零实现),主教程的查阅版 |
| [LLMs-from-scratch/要点全解.md](参考资料/LLMs-from-scratch/要点全解.md) | [rasbt/LLMs-from-scratch](https://github.com/rasbt/LLMs-from-scratch)(Raschka《Build a LLM (From Scratch)》配套仓库)要点编译:GPT-2 教科书式逐章实现 + 预训练/微调/DPO + Llama3/Qwen3 现代架构扩展 |
| [LLMs-from-scratch/源码/](参考资料/LLMs-from-scratch/源码) | rasbt 仓库完整源码快照(358 个文件:ch02~ch07 全部 notebook、独立训练脚本、pkg 现代架构包、附录 A~E) |
| [MiniMind/学习材料·全量合并本.md](参考资料/MiniMind/学习材料·全量合并本.md) | MiniMind-3(768 维 / 63.9M)学习材料全量合并本:源码逐层拆解 + 训练脚本 + 进阶专题 |

两份要点全解均编译于 2026-09-19(对应两仓库 main 分支当日内容),为中文技术要点编译而非翻译;复现教程于 2026-09-20 在本机实测验证。