高效推理与优化技术
解释 KV Cache 原理、量化方法与推理成本优化。
解释 FlashAttention、稀疏注意力与长上下文推理优化。
解释上下文窗口扩展、位置编码外推与长文本评测。
移动设备、嵌入式系统和边缘计算上的 LLM 推理技术与优化。