AI 技术演进

以低秩联合压缩减少注意力中的 KV 缓存需求。

用组内相对奖励估计优势，减少强化学习训练对独立价值模型的依赖。

把结构化生成程序与运行时结合，复用前缀计算与缓存。

以选择性状态空间模型处理序列，探索注意力之外的建模方式。

通过分页管理 KV 缓存，改善语言模型推理服务的内存利用率。

直接利用偏好数据优化语言模型，简化偏好对齐流程。

将低比特量化与低秩适配结合，降低大模型微调的显存需求。

引入 torch.compile，在保留现有开发方式的同时增加编译加速。

用 C/C++ 在本地设备运行 LLaMA，并支持量化推理。

由小模型起草、目标模型验证，在保持目标分布的同时加速生成。

通过学习条件概率路径的向量场，训练连续流生成模型。

交替生成推理步骤和工具动作，让语言模型根据环境反馈调整任务计划。

减少高带宽显存与片上存储之间的数据搬运，加速精确注意力计算。

在固定训练计算预算下，重新评估模型参数与训练数据的比例。

在示例中加入中间推理步骤，改善语言模型的多步任务表现。

在压缩后的潜在空间执行扩散，降低高分辨率图像生成的成本。

用接近 Python 的语言编写 GPU 内核，并由编译器处理底层优化。

冻结基础权重，只训练低秩适配矩阵，降低模型微调成本。

通过旋转变换将位置信息编码到注意力计算中。

通过图文对比预训练学习视觉概念，利用文字描述进行零样本图像分类。

把图像切分为 patch 序列，直接使用 Transformer 进行视觉学习。

通过逐步去噪训练生成模型，推动扩散模型的图像生成研究。

把外部文档检索与文本生成结合，用检索结果补充模型知识。

通过分片优化器状态等方式，降低分布式训练的显存占用。

系统研究语言模型性能与参数量、数据量及计算预算的关系。

用统一接口提供 Transformer 架构和预训练模型，支持研究与应用开发。

通过层内模型并行，将大型 Transformer 的训练分布到多块 GPU。

从人类比较反馈中学习奖励信号，再用强化学习优化行为。

Google 团队在《Attention Is All You Need》中提出 Transformer，以注意力机制构建序列模型。

用稀疏路由选择少数专家，扩大模型容量并控制每次计算量。

以动态图和 Python 工作流支持深度学习研究。

在单个样本的层内计算归一化统计量，减少对批次大小的依赖。

通过残差连接改善深层网络的优化与训练。

Google 开源机器学习框架，将内部研究工具开放给开发者。

将字节对编码用于子词切分，缓解固定词表的未登录词问题。

利用教师模型的输出分布训练更小的学生模型。

结合梯度的一阶与二阶矩估计，自适应调整优化步长。

用编码器与解码器把变长输入序列映射为变长输出序列。

GPU 深度学习基础算子库，为框架提供优化后的计算实现。

让翻译模型在生成每个词时动态关注不同的输入位置。

通过生成器与判别器的对抗训练学习数据分布。

结合变分推断与重参数化技巧，学习可采样的潜在表示。

高效学习词向量，以连续空间表示词语关系。

利用 GPU 训练深层卷积网络，在 ImageNet 图像分类中取得显著进展。

CUDA 工具包与 SDK 公开测试，让开发者用 C 语言编写 GPU 计算程序。