跳转到内容

新增训练、推理与应用模块

LLM Primer 最初从基础概念出发,覆盖了 Tokenization、Attention、Transformer 等核心主题。随着内容沉淀,我们将知识库扩展到三个新模块:

  • 预训练与 Scaling Law:从数据工程到计算最优训练,理解模型如何”学会猜下一个词”。
  • 微调与对齐:SFT、RLHF、DPO 等方法如何让模型从”通才”变成”听话的助手”。
  • KV Cache 与量化:推理优化的两大支柱——缓存已计算结果和降低精度以节省资源。
  • 高效注意力:FlashAttention、稀疏注意力与线性复杂度的前沿探索。

每篇文章都延续 LLM Primer 的三档阅读设计:直觉版先建立概念,工程版讨论实现取舍,研究版追踪开放问题。欢迎通过 PR 补充内容、修正错误或认领 inbox 中的候选论文。