新增训练、推理与应用模块
新增训练、推理与应用模块
Section titled “新增训练、推理与应用模块”LLM Primer 最初从基础概念出发,覆盖了 Tokenization、Attention、Transformer 等核心主题。随着内容沉淀,我们将知识库扩展到三个新模块:
训练 / Training
Section titled “训练 / Training”- 预训练与 Scaling Law:从数据工程到计算最优训练,理解模型如何”学会猜下一个词”。
- 微调与对齐:SFT、RLHF、DPO 等方法如何让模型从”通才”变成”听话的助手”。
推理 / Inference
Section titled “推理 / Inference”- KV Cache 与量化:推理优化的两大支柱——缓存已计算结果和降低精度以节省资源。
- 高效注意力:FlashAttention、稀疏注意力与线性复杂度的前沿探索。
应用 / Applications
Section titled “应用 / Applications”- RAG 与检索增强:让模型拥有可更新的外部记忆,减少幻觉、增强可溯源性。
- Agent 与工具使用:从聊天到行动,模型如何通过工具作用于真实世界。
每篇文章都延续 LLM Primer 的三档阅读设计:直觉版先建立概念,工程版讨论实现取舍,研究版追踪开放问题。欢迎通过 PR 补充内容、修正错误或认领 inbox 中的候选论文。