rasbt/
LLMs-from-scratch
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
99k15k forksJupyter Notebook· 分析于 3w ago
一句话定位
一个纯教学性质的 PyTorch 项目，通过 Jupyter Notebook 手把手教你从零实现类似 GPT 的 LLM，包括数据预处理、Tokenizer、注意力机制、模型训练和微调全流程。
判断
必看近 10 万星的教学项目，学习价值确实高，能帮助你彻底理解 GPT 底层机制。但它是纯教育代码，不是生产级工具，实际项目直接用 Hugging Face Transformers 即可，没必要自己从零造轮子。
我们认为这个 repo 在你接下来 1-3 个月的工作里几乎一定会接触到。
30 秒上手
基于语言推断的标准命令$ git clone https://github.com/rasbt/LLMs-from-scratch克隆后参考仓库 README
最适合的 3 个场景
- 1系统学习 LLM 底层原理，理解 Transformer、注意力机制、词元化的具体实现细节
- 2作为教学材料，配合书籍《Build a Large Language Model from Scratch》深入理解大模型训练流程
- 3快速验证 LLM 相关的想法或魔改模型结构（学术研究用途）
同类对比
vsHugging Face Transformers
vsPyTorch Lightning
vsLLaMA-Factory
完整对比报告（含矩阵评分）即将上线，订阅后第一时间收到。
值得追的健康信号
每周 LLM 自动巡检总 Star
99k→
Forks
15k→
语言
Jupyter Notebook→
分析时间
3w ago→
x
作者短评
如果你做的事跟「ai / artificial-intelligence」相关，这周抽 1 小时把它装上，跑一遍 README 例子。我打赌你会回来加 watch。
— xaikey · 基于 LLM 分析 + 个人判断
Topics
aiartificial-intelligenceattention-mechanismdeep-learningfinetuningfrom-scratchgenerative-aigptinstruction-tuninglanguage-modellarge-language-modelsllmmachine-learningnatural-language-processingpretrainingpythonpytorchtokenizertransformers
其他 Jupyter Notebook 趋势仓库
microsoft/
generative-ai-for-beginners
微软官方的生成式AI入门教程，通过21节Jupyter Notebook课程教开发者如何调用OpenAI/Azure OpenAI API构建AI应用。
anthropics/
anthropic-cookbook
Anthropic 官方维护的 Claude 实战 notebook 集。Tool Use / RAG / 视觉 / Agent 全有，且随 SDK 一起升级。
raiyanyahya/
how-to-train-your-gpt
Jupyter Notebook形式的教程，从零实现GPT架构，每行代码都有详细注释，适合初学者理解LLM原理
本页 LLM 分析由 MiniMax-M2.7 / Claude Haiku 4.5 等模型生成 · 不构成生产环境技术选型建议