LLM Primer – 系统学习大语言模型

LLM Primer

系统学习大语言模型：从原理到实践

一个双语、分层次、社区驱动的 LLM 学习知识库，涵盖基础概念、工程实践、前沿论文与可交互演示。

这是什么 / 给谁 / 要多久

• 30 分钟：通过直觉版建立心智模型，理解 LLM 核心概念
• 3 小时：完成工程档，掌握落地实践与性能优化
• 按需深入：在研究档追踪论文脉络、开放问题与前沿进展

三档学习模式（Tier）

💡直觉档 Intro

用类比、可视化和交互演示建立直觉理解，快速建立心智模型。

⚙️工程档 Engineer

关注实现细节、性能优化、成本权衡与工程最佳实践。

🔬研究档 Research

深挖论文细节、理论假设、实验证据与开放问题，连接学术前沿。

四大模块与学习路径

🧠基础 Foundations

Tokenization、Attention、Transformer、采样与解码、位置编码、Embeddings、涌现能力

7 篇文章 · ~56 分钟⚡训练 Training

预训练与 Scaling Law、微调与对齐（SFT、RLHF、DPO）

4 篇文章 · ~32 分钟🚀推理 Inference

KV Cache 与量化、FlashAttention 与高效注意力、长上下文

3 篇文章 · ~24 分钟🎯应用 Applications

RAG 与检索增强、Agent 与工具使用、Prompt Engineering

2 篇文章 · ~16 分钟

从这里开始

🌱 我是新手从基础模块总览开始，按推荐顺序阅读⚙️ 我是工程师直达推理与优化模块，解决实际工程问题🔬 我是研究者浏览论文库，查看分类与引用关系🗺️ 我想看地图可视化学习路径，鸟瞰全站结构

最近更新

• 集群网络与通信：GPU 之间的对话 2026-10-19

  NVLink 与 InfiniBand、RDMA 与集合通信、scale-up 与 scale-out，以及万卡集群的网络工程。

• 微调与对齐：让模型听指令、守规矩 2026-10-19

  解释 SFT、RLHF、DPO 与偏好优化方法。

• 并行策略与性能优化：把 GPU 榨干 2026-10-19

  数据/张量/流水线三维并行、ZeRO 与 FSDP、激活重计算、FlashAttention、MFU 与流水线气泡。

• 预训练与 Scaling Law：模型怎么学 2026-10-19

  解释预训练目标、数据工程、Scaling Law 与计算最优训练。

• 权重更新与优化器：参数如何动起来 2026-10-19

  从 AdamW 到 Muon：一阶/二阶动量、学习率调度、混合精度、梯度裁剪与训练稳定性工程。

• Agent 与工具使用：模型不只是聊天 2026-09-13

  解释 LLM Agent、工具调用、规划与多 Agent 协作。

---

订阅 RSS

订阅博客更新，第一时间获取新文章