大模型核心论文精读
学习路线

一切的起点。读懂 Q/K/V、多头注意力与位置编码，是后面 42 篇的共同地基。

双向编码器 + MLM 预训练的代表作，理解 encoder-only 路线与「预训练→微调」范式。

「语言模型是无监督多任务学习者」：zero-shot 范式与 Decoder-only 路线的源头。

模型/数据/算力的幂律关系，「规模信仰」的理论出处。

修正 Kaplan：tokens:params ≈ 20:1，compute-optimal 的训练配比黄金法则。

过训练小模型 + 全公开数据：开源大模型生态的起点，RoPE/RMSNorm/SwiGLU 实战。

「BERT 训少了而非架构差」：数据量/步数/batch 的训练配方如何反超一众新架构。

指令微调开山：自然语言指令模板让 zero-shot 泛化成为可能。

RLHF 三步法（SFT→RM→PPO），ChatGPT 的直接技术前身。

把「训 RM + 跑 RL」坍缩成一个二分类损失，对齐方法的简化里程碑。

RLAIF 源头：AI 反馈替代人类标注无害性，人类只写「宪法」。

不需要成对偏好数据的对齐：点赞/点踩这类单边信号也能训练。

「Let's think step by step」：prompting 激活推理能力，2022 年最有影响力的发现之一。

采样多条推理路径 + 多数投票：零训练、纯推理期提升准确率。

把推理组织成树搜索（BFS/DFS + 评估回溯），test-time compute 的蓝图。

想—做—看—再想的交替循环：Agent 骨架的出处，兼有阶段八重定位小节。

自举式推理：生成→按对错筛选→再训练，self-training 路线的经典闭环。

低秩适配：冻结大模型只训小矩阵，PEFT 的事实标准，微调民主化的功臣。

不改数学改搬运：IO-aware 分块计算，长上下文时代的隐形功臣。

4-bit 冻结基座 + LoRA：单张 48GB 卡微调 65B，消费级微调的起点。

8-bit 推理与「系统性 outlier」的发现：量化的坑在哪、怎么绕。

数据并行显存优化三阶段 + Offload：训练基础设施的标配。

张量并行的开山之作：超大模型训练工程的地基。

旋转位置编码：用旋转把绝对位置写进 Q/K、内积只依赖相对距离，主流 LLM 标配。

KV block 环传 + 计算通信重叠：上下文容量随设备数近似线性扩展。

S²-Attn 训练省算力、推理保全注意力：拉长上下文的便宜方案。

NTK-aware 插值扩展 RoPE：10 倍 token 效率扩窗，社区实践升格为系统方法。

U 形注意力：开头结尾记得住、中间找不到——RAG 重排与截断的实证依据。

检索增强开山：文档当潜变量做 marginalize，可更新、可溯源的知识接入。

把检索做进预训练本身：MLM 信号端到端地训练检索器。

反思令牌：按需检索 + 自批判 + 可控解码，Agentic RAG 的先声。

检索质检层：评估→纠错→web 兜底→精炼，今天生产 RAG 的流水线雏形。

模型自监督学会调 API：6.7B 零样本超 175B，「外挂能力 > 参数堆砌」的第一次证明。

RLHF 进 Agent 场景：浏览器问答 + 引用，best-of-n 采样与 test-time compute 的祖先。

零训练的 Agent 模板：Thought→Action→Observation 循环，LangChain 骨架的来源。

工业收束：JSON Schema + 开发者可控的工具调用，把学术 hack 变成工程标准。

对比学习 + 4 亿图文对：zero-shot 视觉分类，「视觉侧的 GPT-2 时刻」。

视觉指令微调：一个线性层连接 CLIP 与 LLM，data-centric 范式的多模态版本。

Q-Former 桥接冻结双塔：32 个 query 压缩视觉信息，重架构路线的代表。

闭源完全体的安全视角：红队、拒绝策略、多模态越狱与部署边界。

57 学科四选一：大模型知识评测的 ImageNet，评测范式的奠基之作。

对抗式造数据：让模型出题考模型自己，专挑盲区的常识推理基准。

204 任务社区共建：涌现能力、校准与脆弱性的规模研究。

数学应用题 + 验证器：生成-验证范式的起点，过程奖励模型（PRM）与 o1/R1 的前传。