术语表

基础概念

Token：模型处理文本的最小编号单元；参见 Tokenization。
Tokenizer：把文本映射到 token ID 的组件。
Vocabulary：token 到 ID 的固定表。
Embedding：把离散符号映射到连续向量；参见 Embeddings。
Context window：模型一次能读取的最大 token 数。
Attention：动态选择相关上下文的机制；参见 Attention。
Self-attention：同一序列内部 token 彼此关注。
Cross-attention：一个序列的 token 关注另一个序列的 token。
Q/K/V：注意力中的 Query、Key、Value 投影。
Transformer block：注意力、MLP、残差和归一化组成的层。
MLP：逐 token 的前馈网络，提供非线性变换。
Residual connection：把输入加回输出，帮助深层训练。
LayerNorm / RMSNorm：稳定激活分布的归一化方法。
Positional encoding：向模型注入顺序信息；参见位置编码。
RoPE：用旋转方式编码相对位置的方案。
ALiBi：通过注意力偏置编码相对位置的方案。

训练

Pretraining：在大规模数据上学习通用语言模式；参见预训练。
Fine-tuning：用特定数据继续训练以适配任务；参见微调。
SFT（Supervised Fine-Tuning）：监督微调，用指令-回答对训练。
RLHF：用人类偏好训练奖励模型并优化输出。
DPO：直接偏好优化，无需显式奖励模型。
PPO：近端策略优化，RLHF 中常用的强化学习算法。
LoRA：低秩适应，参数高效微调方法。
QLoRA：量化后的 LoRA，可在消费级 GPU 上微调大模型。
Alignment：让模型输出符合人类价值观的过程。
Scaling Law：模型性能随规模、数据、计算量可预测提升的经验规律。
Compute-optimal training：在固定计算预算下平衡模型大小与训练数据量。
Loss spike：训练过程中损失突然急剧上升的现象。
Gradient clipping：限制梯度范数以防止爆炸。
Mixed precision：混合使用 FP16/BF16 与 FP32 加速训练。
AdamW：带解耦权重衰减的 Adam，LLM 预训练默认优化器；参见权重更新与优化器。
学习率（Learning rate）：每次参数更新的步长，通常随训练逐渐衰减。
Warmup：训练初期线性爬升学习率的预热阶段，防早期大步长掀翻训练。
WSD（Warmup-Stable-Decay）：恒定学习率平台 + 末尾短程衰减的调度，便于随时分叉续训。
梯度累积（Gradient accumulation）：多个 micro-batch 累计一次更新，等效扩大 batch size。
Muon：对动量做正交化的优化器，隐藏层矩阵的新选择；参见权重更新与优化器。
Activation checkpointing：用重计算换显存的技术。

训练系统

数据并行（DP）：多卡各持完整模型、切分数据，梯度 all-reduce 同步；参见并行策略与性能优化。
张量并行（TP）：单层矩阵乘切到多卡，通信最密，必须绑 NVLink 域。
流水线并行（PP）：按层切段流水执行，靠 micro-batch 摊薄气泡。
ZeRO / FSDP：把优化器状态、梯度、参数切到数据并行组，显存随卡数近似线性下降。
序列并行（SP）：沿序列维切分逐 token 激活，与张量并行互补。
上下文并行（CP）：超长上下文按 block 分布到多卡（如 Ring Attention）。
MFU：Model FLOPs Utilization，实际吞吐占硬件峰值算力的比例。
NVLink / NVSwitch：GPU 间超高速互联及其交换芯片，构成 scale-up 域；参见集群网络与通信。
NVL72：72 张 GPU 共享一个 NVLink 域的机柜级系统。
InfiniBand（IB）：原生无损 RDMA 网络，超算主流 scale-out 方案。
RoCE：以太网上的 RDMA，成本更低但需精细调优无损性。
RDMA：绕过 CPU 的远程直接内存访问。
NCCL：NVIDIA 集合通信库，训练通信的事实标准。
All-reduce / All-to-all：两种集合通信原语，前者全员梯度求和，后者两两全交换（MoE dispatch/combine 用）。
DualPipe：DeepSeek-V3 的双向流水线调度，让通信与计算几乎完全重叠。

推理

KV cache：推理时缓存历史 Key/Value 以加速生成；参见 KV Cache。
GQA（Grouped-Query Attention）：分组查询注意力，多头共享 KV。
MQA（Multi-Query Attention）：多查询注意力，所有头共享单一 KV。
Quantization：用更低精度表示权重或激活以降低成本；参见量化。
PTQ（Post-Training Quantization）：训练后量化。
QAT（Quantization-Aware Training）：量化感知训练。
FlashAttention：通过分块和重计算减少显存流量的高效注意力算法；参见高效注意力。
Speculative decoding：用小模型生成候选、大模型验证的加速方法。
Greedy decoding：每步选概率最高 token 的解码策略。
Beam search：保留多个候选序列的解码策略。
Temperature：控制采样分布尖锐程度的参数。
Top-k：只在概率最高的 k 个候选中采样。
Top-p（Nucleus sampling）：保留累计概率达到 p 的候选集合。
Decoding：从概率分布生成文本的策略；参见采样与解码。

应用

Prompt：给模型的输入指令、上下文和示例。
Few-shot：在 prompt 中给少量示例来引导任务。
Chain-of-thought：诱导模型写出中间推理步骤的方法。
RAG：检索外部资料并放入上下文来回答；参见 RAG。
Embedding model：把文本变成向量的专用模型。
Vector database：存储和检索向量的数据库。
Reranker：对检索结果进行精确排序的模型。
Agent：能使用工具、执行多步任务的 LLM 系统；参见 Agent。
Tool calling / Function calling：模型调用外部工具/函数的机制。
MCP（Model Context Protocol）：Anthropic 提出的工具调用标准协议。
ReAct：推理与行动交替的 Agent 框架。
Reflection：Agent 自我反思并调整策略的能力。
Multi-agent：多个 Agent 协作完成任务的系统。
Hallucination：模型生成看似合理但不可靠的信息。
Jailbreak：绕过模型安全限制的攻击手段。
Prompt injection：通过恶意输入操控模型行为的攻击。

架构与模型

Encoder：双向处理输入的模型部分，如 BERT。
Decoder：自回归生成输出的模型部分，如 GPT。
Encoder-decoder：同时包含编码器和解码器的架构，如 T5。
Causal mask：防止模型看到未来 token 的掩码。
MoE（Mixture of Experts）： mixture of experts，用稀疏激活增加模型容量。
SSM（State Space Model）：状态空间模型，如 Mamba，线性复杂度序列建模。
RoPE（Rotary Positional Embedding）：旋转位置编码。