Gemini 4 Argon
面向复杂编程、知识工作与网络防御的新一代多模态模型，先向受邀团队开放。
资料来源探索
大模型、智能体、算力与技术的同期进展。
20072026327 条记录
大模型154智能体50算力硬件54技术69
2026 年 9 月17 条记录
GPT-6.1 Sol
升级编程、计算机操作与专业任务能力，并支持在单次请求中分派子任务。
资料来源
Claude Sonnet 5.5
Claude 5.5 家族的第二个型号，面向编程、文档处理和办公任务。
资料来源3 条记录
Claude Opus 5.5
新一代 Opus 面向复杂知识工作、编程与需要审慎判断的任务。
资料来源GPT-6 Sol / Luna
GPT-6 系列的两个型号，分别面向不同速度与成本需求。
资料来源
MiMo-V2.6 Pro / Flash
结合全模态理解与大规模强化学习，升级长程任务能力。
资料来源
Step 5 Preview
面向长程软件工程、知识工作与金融研究的旗舰预览模型。
资料来源
Qwen3.8-Omni-Flash
统一处理文本、图像、音频和视频，扩展多模态工作流程。
资料来源Claude / Cowork
把 Cowork 与对话整合到同一 Claude 体验中，衔接文档、任务和持续执行。
资料来源
Kimi K2.8 Preview
升级 Kimi Code 中的编程与智能体能力，支持长上下文。
资料来源
DeepSeek-V4.1-Flash
新架构加入原生视觉理解，同时改进推理效率与智能体任务能力。
资料来源GPT-6 Astra
将推理、计算机使用和专业工作能力结合，面向更完整的复杂任务。
资料来源3 条记录
Gemini 3.8 Flash
提升长程编程与专业推理，同期发布受限提供的 Cyber 版本。
资料来源
Muse Spark 1.3
改善长程智能体任务与编程，增强同一会话中的持续协作。
资料来源Qwen3.8-Max-0902
改进工程项目开发、多工具编排，以及图表推理和文档解析。
资料来源Claude Fable 5.1 / Mythos 5.1
继续强化编码、知识工作和研究能力，Fable 与 Mythos 保持不同开放范围。
资料来源2026 年 8 月10 条记录
混元 Hy4 Preview
开放新一代旗舰预览模型，扩展长上下文与复杂工作任务能力。
资料来源2 条记录
GLM-5.3-Flash
结合原生视觉与线性、稀疏注意力，面向代码、浏览器和图形界面任务。
资料来源Qwen3.8-Flash
面向高并发多模态应用，兼顾长上下文、编程与智能体处理。
资料来源3 条记录
DeepSeek Harness
用插件组合模型、工具、会话、沙箱与执行循环，并记录完整任务轨迹。
资料来源DeepSeek-V4-Pro 正式版
V4 Pro 转为正式版本，强化智能体任务并原生支持 Responses API。
资料来源Gemini 3.7 Flash
继续增强编程、知识工作与网页开发中的多步骤任务处理。
资料来源2 条记录
Grok 4.6
加强长程智能体、互动应用和视觉工作中的持续执行能力。
资料来源Qwen3.8 开放权重系列
开放 2.4T-A95B 模型，并随后补充 27B 版本。
资料来源Qwen3.8-Max
推出原生视觉语言旗舰，支持百万 token 上下文。
资料来源2026 年 7 月9 条记录
Claude Opus 5
升级软件工程、知识工作与计算机操作，强化复杂任务的执行能力。
资料来源
AMD Instinct MI400 / Helios
MI400 GPU 与 Helios 机架系统共同推进大规模 AI 基础设施。
资料来源Gemini 3.6 Flash / 3.5 Flash-Lite
Flash 系列继续提升推理效率，并补充更轻量的 Flash-Lite。
资料来源
Atlas 950 SuperPoD
1024 卡超节点公开展示，以统一内存编址和高速互连扩展算力。
资料来源2 条记录
GPT-5.6
以 Sol、Terra、Luna 等型号覆盖不同任务，聚焦知识工作、设计与编码。
资料来源Muse Spark 1.1
加强编程、计算机操作和多模态理解，并配合 Meta Model API 预览。
资料来源2026 年 6 月5 条记录
Claude Sonnet 5
让 Sonnet 更完整地规划任务、使用浏览器和终端，并持续执行。
资料来源Kimi K2.7 Code
专注长程编程、工具调用与更高效的思考。
资料来源Claude Fable 5 / Mythos 5
推出面向高难度编码和知识工作的模型，两个型号采取不同访问范围。
资料来源
MiniMax-M3
引入稀疏注意力与原生图像、视频理解，扩展长上下文任务。
资料来源2026 年 5 月5 条记录
Step 3.7 Flash
继续增强高效推理和真实任务中的智能体执行能力。
资料来源Claude Opus 4.8
继续改进工具使用、复杂任务判断和协作体验。
资料来源
Mistral Medium 3.5
推出面向长程编程和远程智能体任务的模型公开预览。
资料来源Qwen3.7-Max
继续升级智能体编程、办公任务与长程执行能力。
资料来源Gemini 3.5 Flash
在 Google I/O 推出，将响应速度与智能体任务能力作为重点。
资料来源2026 年 4 月9 条记录
DeepSeek-V4 Preview
推出 Pro 与 Flash 两条路线，支持百万 token 上下文并开放模型权重。
资料来源2 条记录
GPT-5.5
增强跨软件、跨工具的任务完成能力，围绕编程和知识工作迭代。
资料来源MiMo-V2.5 / Pro
升级复杂任务处理，兼顾智能体能力与推理效率。
资料来源
Google TPU 8t / 8i
第八代 TPU 分为面向训练的 8t 与面向推理的 8i。
资料来源Qwen3.6-Max Preview
旗舰预览版本加强编程与复杂任务执行。
资料来源Claude Opus 4.7
改善高难度软件工程与视觉理解，加强长任务中的自我检查。
资料来源Muse Spark
Meta 推出 Muse 家族首个模型，结合原生多模态、推理与工具使用。
资料来源
2026 年 3 月8 条记录
昇腾 950PR · Atlas 350
950PR 随 Atlas 350 加速卡上市，面向推荐与大模型推理。
资料来源2 条记录
MiMo-V2-Pro / Omni
MiMo 家族扩展旗舰推理和全模态能力。
资料来源MiniMax-M2.7
增强软件工程、专业工作与多智能体协作，探索模型参与自身迭代。
资料来源Mistral Small 4
在同一模型中整合推理、视觉和编程，并允许调节思考力度。
资料来源
Nemotron 3 Super
采用混合专家架构与长上下文，面向多智能体协作和复杂任务。
资料来源2 条记录
GPT-5.4
融合推理、编程与原生计算机操作，面向复杂专业工作。
资料来源
FlashAttention-4
联合设计算法与内核流水线，适配 Blackwell 的计算和带宽特征。
资料来源
2026 年 2 月12 条记录
Hermes Agent
在本地或服务器持续运行，结合记忆、可复用技能与工具执行多步骤任务。
资料来源Gemini 3.1 Pro
升级核心推理能力，面向需要深入分析的科学、工程与复杂任务。
资料来源Claude Sonnet 4.6
升级编程、视觉交互、规划与知识工作，扩展 Sonnet 的上下文能力。
资料来源
3 条记录
GLM-5
面向复杂系统工程和长时间智能体任务，继续扩展模型规模与训练。
资料来源GPT-5.3-Codex-Spark
面向快速交互编程的小型模型，以研究预览形式提供。
资料来源MiniMax-M2.5
围绕实际编程、搜索、办公与工具调用任务加强强化学习。
资料来源2 条记录
Claude Opus 4.6
加强复杂代码库分析与长程智能体任务，预览百万 token 上下文。
资料来源GPT-5.3-Codex
将编程和通用推理进一步结合，处理研究、工具调用与复杂执行任务。
资料来源2 条记录
Codex app
在桌面集中管理多个编程 Agent，组织并行工作与代码审阅。
资料来源Step 3.5 Flash
以稀疏混合专家架构兼顾推理速度与智能体能力。
资料来源2026 年 1 月5 条记录
GLM-4.7-Flash
补充 GLM-4.7 系列的轻量版本。
资料来源Claude Cowork
将 Claude Code 的任务执行能力扩展到文件整理、文档和办公工作。
资料来源NVIDIA Vera Rubin
Rubin GPU、Vera CPU 与新一代互连共同构成下一代 AI 计算平台。
资料来源2025 年 12 月11 条记录
MiniMax-M2.1
加强多种编程语言、办公场景与真实复杂任务中的能力。
资料来源Gemini 3 Flash
将 Gemini 3 的推理能力扩展到更快、更高效的 Flash 档位。
资料来源MiMo-V2-Flash
小米开放面向推理、编程与智能体任务的高效语言模型。
资料来源Nemotron 3 Nano
NVIDIA 发布 Nemotron 3 家族，并率先开放 Nano 模型。
资料来源4 条记录
Kiro autonomous agent
在隔离环境中异步处理开发任务，并从代码审阅与项目历史中保留工作上下文。
资料来源
AWS Trainium3 · Trn3
第三代 Trainium 通过 Trn3 UltraServer 正式供应，支持训练与模型服务。
资料来源Mistral 3
发布 Mistral Large 3 和多种小型模型，扩大开放多模态模型选择。
资料来源
Amazon Nova 2 Lite
引入可调节的扩展思考，面向日常推理、代码和智能体任务。
资料来源DeepSeek-V3.2
继续迭代思考和非思考模式，同时提供侧重高强度推理的 Speciale 版本。
资料来源2025 年 11 月7 条记录
Pi coding agent
以精简工具、上下文控制和会话管理构建可定制的编程 Harness。
资料来源Claude Opus 4.5
强化编程、计算机操作和长程任务，扩展 Opus 的日常工作能力。
资料来源2 条记录
Google Antigravity
让 Agent 在编辑器、终端与浏览器中执行开发任务，并用产物呈现进度和验证结果。
资料来源Gemini 3 Pro
新一代 Gemini 聚焦推理、多模态理解与智能体开发。
资料来源Kiro CLI / IDE GA
Kiro IDE 正式可用，同时推出命令行版本，延续规格文档与任务执行流程。
资料来源Kimi K2 Thinking
边思考、边使用工具，推进长链路搜索、编码与复杂问题求解。
资料来源2025 年 10 月8 条记录
OpenCode 1.0
开源编程 Agent，可连接不同模型，在项目中读取文件、修改代码和执行工具。
资料来源MiniMax-M2
开放面向编程与智能体的模型，重点优化工具调用和长链任务。
资料来源
CrewAI 1.0
以角色、任务和流程组织多 Agent 协作，开源核心进入正式可用版本。
资料来源2 条记录
Agent Skills
把指令、脚本与资源打包，让 Agent 按需加载专业能力。
资料来源
Manus 1.5
处理研究、数据分析、演示文稿和网站开发等任务，扩展到完整 Web 应用的构建。
资料来源Claude Haiku 4.5
面向低延迟场景的小型模型，加强编程与计算机操作能力。
资料来源NVIDIA DGX Spark
GB10 与统一内存进入桌面设备，面向本地模型开发。
资料来源2025 年 9 月4 条记录
2 条记录
Claude Agent SDK
Claude Code SDK 更名为 Claude Agent SDK，将开发范围扩展到通用智能体。
资料来源Claude Sonnet 4.5
进一步强化编程与长任务执行，面向真实软件工程工作流。
资料来源Qwen3-Next
采用混合注意力和高稀疏度设计，探索更高效的长上下文推理。
资料来源2025 年 8 月5 条记录
2 条记录
Qoder
在代码库上下文中规划与执行开发任务，Quest 模式支持委托较长的编码工作。
资料来源DeepSeek-V3.1
统一思考与非思考模式，并优化代码、搜索和工具调用任务。
资料来源2 条记录
Claude Opus 4.1
改进编程、真实任务中的推理与智能体表现。
资料来源gpt-oss-120b / 20b
OpenAI 开放两种规模的推理模型权重，支持本地部署与工具使用。
资料来源2025 年 7 月9 条记录
Deep Agents
将规划、文件系统与子 Agent 组合成可复用的长任务 Harness。
资料来源2 条记录
Qwen Code
随 Qwen3-Coder 开源的命令行 Agent，用于理解代码库、编辑文件与执行任务。
资料来源Qwen3-Coder
开放面向智能体编程的混合专家模型，强化工具调用与长程任务。
资料来源2 条记录
ChatGPT agent
将研究与行动结合，在虚拟计算机中使用浏览器和终端完成任务。
资料来源
TRAE SOLO
把需求整理、代码编写、浏览器验证和部署放在连续的开发任务中。
资料来源2025 年 6 月5 条记录
Gemini CLI
Google 开源终端 Agent，支持编程、问题排查与工具调用。
资料来源
MiniMax-M1
以混合注意力探索高效推理与长上下文，公开 M1 技术研究。
资料来源2 条记录
AMD Instinct MI350 Series
CDNA 4 扩展低精度计算与 HBM3e 容量，面向生成式 AI。
资料来源ROCm 7
AMD 公布 ROCm 7 预览，更新面向 Instinct 加速器的软件支持。
资料来源2025 年 5 月7 条记录
DeepSeek-R1-0528
更新 R1 的推理能力，改进前端编程并支持结构化输出与工具调用。
资料来源Claude Opus 4 / Sonnet 4
强化编程、复杂推理和持续执行任务的能力，Claude Code 同期正式可用。
资料来源
GitHub Copilot coding agent
接收 GitHub Issue，在后台修改代码、运行检查并提交 Pull Request。
资料来源2 条记录
Codex Cloud
把软件工程任务交给云端沙盒，支持并行执行与代码审阅。
资料来源Strands Agents
通过模型、提示词与工具定义 Agent，让模型决定任务步骤和工具调用。
资料来源Mistral Medium 3
面向企业多模态和编程应用，兼顾能力、成本与部署选择。
资料来源2025 年 4 月9 条记录
2 条记录
Codex CLI
开源终端编程 Agent，在本地代码环境中读取、修改并执行任务。
资料来源OpenAI o3 / o4-mini
将推理与工具调用连接起来，模型可以在思考过程中使用搜索、代码和图像。
资料来源昇腾 910C · CloudMatrix 384
384 颗昇腾 910C 通过高速互连组成统一计算系统。
资料来源3 条记录
Agent2Agent · A2A
开放跨厂商智能体协作协议，支持能力发现、任务委派与状态同步。
资料来源Google Agent Development Kit
提供 Agent 开发、编排、评估与部署所需的工具，支持多 Agent 应用。
资料来源Google TPU · Ironwood
第七代 TPU 面向大规模 AI 服务，进一步扩展芯片与系统协同。
资料来源2025 年 3 月7 条记录
Gemini 2.5 Pro
将思考能力融入模型，推进复杂推理、编程和多模态理解。
资料来源2 条记录
NVIDIA Blackwell Ultra
B300 与 GB300 平台扩展显存和推理计算，面向更长推理任务。
资料来源NVIDIA Dynamo
面向多 GPU 推理的开源框架，协调分布式模型服务。
资料来源OpenAI Agents SDK
提供 Agent 编排、交接、护栏与追踪，连接模型和执行工具。
资料来源
Apple M3 Ultra
更大的统一内存配置为本地运行大型模型提供容量空间。
资料来源2025 年 2 月5 条记录
2 条记录
Claude Code
把代码阅读、修改、测试与命令行操作放进终端中的 Agent 工作流。
资料来源Claude 3.7 Sonnet
在同一模型中结合快速回答与延伸思考，并同步预览 Claude Code。
资料来源Grok 3 Beta
xAI 发布技术介绍，将思考能力与 DeepSearch 等搜索体验结合。
资料来源ChatGPT deep research
自主执行多步网络研究，分析来源并形成带引用的报告。
资料来源2025 年 1 月6 条记录
OpenAI o3-mini
推出面向数学、科学和编程的高效推理模型，支持可调思考力度。
资料来源
DeepSeek-R1
发布推理模型与多个蒸馏版本，并提供可下载的模型权重。
资料来源GeForce RTX 5090
Blackwell 消费级旗舰扩展到 32 GB GDDR7，面向本地 AI 与图形工作负载。
资料来源2024 年 12 月9 条记录
smolagents
让模型用代码表达行动，通过工具和执行环境完成多步骤任务。
资料来源DeepSeek-V3
671B 参数的混合专家模型开放权重，以每次激活部分参数提高计算效率。
资料来源Jetson Orin Nano Super
开发套件通过软件升级与价格调整，扩展边缘端生成式 AI 的使用范围。
资料来源Gemini 2.0 Flash
发布实验版本，将多模态能力与原生工具使用结合，面向智能体场景。
资料来源2 条记录
AWS Trainium2 · Trn2
Trainium2 通过 Trn2 正式供应，扩展训练与推理的专用算力。
资料来源Amazon Nova
亚马逊发布 Nova 家族，覆盖文本与多模态理解的不同成本档位。
资料来源2024 年 11 月3 条记录
Model Context Protocol
开放连接模型、数据与工具的协议，减少重复集成。
资料来源
Cursor Agent
Composer 加入早期 Agent，可自行获取上下文并使用终端。
资料来源
Windsurf / Cascade
把 Agent 与代码编辑器结合，持续理解项目上下文并执行多步修改。
资料来源2024 年 10 月2 条记录
AMD Instinct MI325X
MI300 系列扩展到 HBM3e，提高生成式 AI 的内存容量与带宽。
资料来源
Cline 2.0 / Claude Dev
Claude Dev 更名为 Cline，支持流式编辑、任务中途反馈与更多模型。
资料来源2024 年 9 月4 条记录
Replit Agent
通过自然语言构建应用，将环境设置、编码和运行整合进工作流。
资料来源OpenAI o1-preview
在给出答案前花更多时间思考，推理时计算成为新的能力增长方向。
资料来源2024 年 7 月5 条记录
Mistral Large 2
扩展编程、多语言与长上下文能力，提供大规模模型权重。
资料来源2 条记录
OpenHands / OpenDevin
为软件开发 Agent 提供执行平台，连接代码、命令行与浏览器。
资料来源Llama 3.1
加入 405B 大型版本，将开放模型拓展到更长上下文、多语言与工具使用。
资料来源GPT-4o mini
提供成本更低的文本与视觉模型，扩展轻量应用的能力。
资料来源FlashAttention-3
围绕 Hopper GPU 的异步执行与低精度能力优化注意力内核。
资料来源2024 年 6 月3 条记录
2024 年 5 月6 条记录
Google TPU · Trillium
第六代 TPU 增加计算、HBM 和互连能力，面向生成式模型。
资料来源MLA · DeepSeek-V2
以低秩联合压缩减少注意力中的 KV 缓存需求。
资料来源3 条记录
SWE-agent
围绕模型设计专用计算机接口，让 Agent 浏览代码、修改文件并运行测试。
资料来源DeepSeek-V2
结合混合专家与 MLA 注意力架构，围绕训练和推理效率推进模型设计。
资料来源
E2B Code Interpreter SDK
将隔离代码执行封装为 SDK，供智能体运行生成的程序并读取执行结果。
资料来源2024 年 4 月4 条记录
Meta MTIA · 第二代
面向推荐与排序推理的自研加速器，在 Meta 数据中心运行生产模型。
资料来源
Intel Gaudi 3
Gaudi 3 结合矩阵计算、HBM 与以太网互连，面向大模型训练和推理。
资料来源2024 年 3 月4 条记录
NVIDIA Blackwell · B200 / GB200
Blackwell 将新一代 GPU、Grace CPU 与 NVLink 系统结合，扩展模型训练与推理规模。
资料来源
Cerebras WSE-3 / CS-3
第三代晶圆级引擎将大量计算核心与片上存储整合到单片晶圆。
资料来源
2024 年 2 月3 条记录
Gemini 1.5
长上下文成为焦点，Gemini 1.5 Pro 展示百万 token 级上下文处理。
资料来源GRPO · DeepSeekMath
用组内相对奖励估计优势，减少强化学习训练对独立价值模型的依赖。
资料来源2024 年 1 月1 条记录
2023 年 12 月7 条记录
Mixtral 8×7B
Mistral 正式介绍稀疏混合专家模型，推动开放模型的效率与能力。
资料来源3 条记录
AMD Instinct MI300X
CDNA 3 与 192 GB HBM3 扩展单加速器的大模型容量。
资料来源Google TPU v5p
侧重大规模模型训练的第五代 TPU，与 AI Hypercomputer 同时公布。
资料来源Gemini 1.0
Google 推出原生多模态模型家族，以 Ultra、Pro、Nano 覆盖不同场景。
资料来源2023 年 11 月3 条记录
NVIDIA H200
Hopper 平台升级到 HBM3e，增加大模型推理所需的显存与带宽。
资料来源GPT-4 Turbo
扩展至 128K 上下文，并以开发者预览推进视觉与工具能力。
资料来源2023 年 10 月1 条记录
TensorRT-LLM
面向 NVIDIA GPU 的大模型推理库向所有开发者公开。
资料来源2023 年 9 月2 条记录
Mistral 7B
高效的 7B 模型以 Apache 2.0 许可发布，展示小型模型的实用潜力。
资料来源2023 年 8 月3 条记录
2023 年 7 月3 条记录
2023 年 6 月2 条记录
vLLM · PagedAttention
通过分页管理 KV 缓存，改善语言模型推理服务的内存利用率。
资料来源2023 年 5 月4 条记录
2023 年 4 月3 条记录
Auto-GPT 0.2
通过连续的模型调用与工具执行处理任务，早期版本加入基于 Selenium 的网页浏览。
资料来源AWS Inferentia2 · Inf2
第二代推理芯片通过 EC2 Inf2 支持生成式 AI 部署。
资料来源2023 年 3 月6 条记录
2023 年 2 月1 条记录
2022 年 11 月2 条记录
2 条记录
ChatGPT
基于 GPT-3.5 系列的对话产品开放研究预览，支持多轮问答。
资料来源Speculative Decoding
由小模型起草、目标模型验证，在保持目标分布的同时加速生成。
资料来源2022 年 10 月4 条记录
AWS Trainium · Trn1
首代 Trainium 通过 EC2 Trn1 正式提供训练算力。
资料来源2 条记录
Flow Matching
通过学习条件概率路径的向量场，训练连续流生成模型。
资料来源ReAct
交替生成推理步骤和工具动作，让语言模型根据环境反馈调整任务计划。
资料来源2022 年 9 月1 条记录
GeForce RTX 4090
Ada 架构与 24 GB 显存支持本地推理、生成式图像和模型开发。
资料来源2022 年 7 月1 条记录
2022 年 5 月2 条记录
FlashAttention
减少高带宽显存与片上存储之间的数据搬运，加速精确注意力计算。
资料来源Intel Habana Gaudi 2
Gaudi 第二代转向 7 nm 工艺，继续采用以太网扩展训练系统。
资料来源2022 年 4 月1 条记录
2022 年 3 月4 条记录
Chinchilla · Compute-optimal Training
在固定训练计算预算下，重新评估模型参数与训练数据的比例。
资料来源NVIDIA H100
Hopper 引入 Transformer Engine 与 FP8，加速大模型训练和推理。
资料来源Self-Consistency
采样多条推理路径，再聚合答案以提高推理稳定性。
资料来源
Graphcore Bow IPU / Bow-2000
通过三维晶圆键合改善供电，延续 IPU 的分布式计算与片上存储架构。
资料来源2022 年 1 月2 条记录
Chain-of-Thought Prompting
在示例中加入中间推理步骤，改善语言模型的多步任务表现。
资料来源InstructGPT
通过人类反馈强化学习改进指令遵循，使语言模型更好地响应用户意图。
资料来源2021 年 12 月1 条记录
Latent Diffusion
在压缩后的潜在空间执行扩散，降低高分辨率图像生成的成本。
资料来源2021 年 11 月1 条记录
AMD Instinct MI250X
CDNA 2 采用多芯片设计，扩展训练和科学计算的内存容量。
资料来源2021 年 8 月1 条记录
2021 年 7 月1 条记录
Triton 1.0
用接近 Python 的语言编写 GPU 内核，并由编译器处理底层优化。
资料来源2021 年 6 月1 条记录
2021 年 5 月1 条记录
Google TPU v4
第四代 TPU 以更大规模的 Pod 支持模型训练。
资料来源2021 年 4 月2 条记录
2 条记录
Cerebras WSE-2 / CS-2
第二代晶圆级引擎采用 7 nm 工艺，扩展计算阵列与片上存储。
资料来源
RoPE · RoFormer
通过旋转变换将位置信息编码到注意力计算中。
资料来源2021 年 1 月1 条记录
2020 年 11 月2 条记录
AMD Instinct MI100
首代 CDNA 架构面向计算，结合 ROCm 支持 AI 与高性能计算。
资料来源2020 年 10 月1 条记录
Vision Transformer
把图像切分为 patch 序列，直接使用 Transformer 进行视觉学习。
资料来源2020 年 9 月1 条记录
GeForce RTX 3090
24 GB 显存与 Ampere Tensor Core 为本地模型实验提供更大空间。
资料来源2020 年 8 月1 条记录
2020 年 7 月1 条记录
Graphcore GC200 / IPU-M2000
第二代 IPU 以分布式片上存储与并行执行支持机器学习。
资料来源2020 年 6 月1 条记录
2020 年 5 月3 条记录
2020 年 2 月1 条记录
DeepSpeed · ZeRO
通过分片优化器状态等方式，降低分布式训练的显存占用。
资料来源2020 年 1 月1 条记录
Neural Scaling Laws
系统研究语言模型性能与参数量、数据量及计算预算的关系。
资料来源2019 年 12 月1 条记录
AWS Inferentia · Inf1
首代 Inferentia 通过 EC2 Inf1 提供机器学习推理服务。
资料来源2019 年 10 月2 条记录
Hugging Face Transformers
用统一接口提供 Transformer 架构和预训练模型，支持研究与应用开发。
资料来源2019 年 9 月1 条记录
Megatron-LM
通过层内模型并行，将大型 Transformer 的训练分布到多块 GPU。
资料来源2019 年 8 月2 条记录
Cerebras WSE
首代晶圆级引擎将计算核心、存储和互连放到同一片大型芯片上。
资料来源2019 年 7 月1 条记录
Cloud Hypervisor v0.1.0
以 Rust 构建面向云工作负载的轻量虚拟机监控器。
资料来源2019 年 6 月1 条记录
Habana Gaudi
以太网互连与专用计算架构结合，面向可扩展的神经网络训练。
资料来源2019 年 2 月1 条记录
2018 年 12 月2 条记录
ONNX Runtime
跨平台推理运行时将模型格式与底层执行后端衔接起来。
资料来源2018 年 11 月2 条记录
Firecracker
AWS 公开轻量 microVM 技术，以独立内核隔离短时、多租户工作负载。
资料来源AMD Radeon Instinct MI60 / MI50
7 nm Vega 加速器引入 PCIe 4.0，扩展深度学习与高性能计算。
资料来源2018 年 10 月2 条记录
昇腾 310 / 910
华为公布昇腾芯片系列与达芬奇架构，覆盖推理和训练场景。
资料来源2018 年 9 月1 条记录
NVIDIA Tesla T4
Turing Tensor Core 将低精度计算带入数据中心推理。
资料来源2018 年 8 月1 条记录
SentencePiece
直接从原始文本训练子词模型，减少对语言专用分词的依赖。
资料来源2018 年 6 月1 条记录
2018 年 5 月3 条记录
Kata Containers 1.0
将轻量虚拟机隔离接入容器工作流，为容器或 Pod 提供独立的客户机内核。
资料来源Google TPU v3
第三代 TPU 扩展训练计算规模，并引入液冷 Pod。
资料来源2017 年 9 月1 条记录
2017 年 7 月1 条记录
2017 年 6 月2 条记录
2 条记录
Deep RL from Human Preferences
从人类比较反馈中学习奖励信号，再用强化学习优化行为。
资料来源Transformer
Google 团队在《Attention Is All You Need》中提出 Transformer，以注意力机制构建序列模型。
资料来源2017 年 5 月2 条记录
Cloud TPU · v2
第二代 TPU 扩展到训练，并通过 Cloud TPU 向外部开发者提供算力。
资料来源Tesla V100
Volta 引入 Tensor Core，将矩阵计算加速直接用于深度学习。
资料来源2017 年 1 月2 条记录
Sparsely-Gated MoE
用稀疏路由选择少数专家，扩大模型容量并控制每次计算量。
资料来源2016 年 7 月1 条记录
Layer Normalization
在单个样本的层内计算归一化统计量，减少对批次大小的依赖。
资料来源2016 年 5 月1 条记录
Google TPU
Google 公开介绍自研张量处理器，为神经网络推理提供专用硬件。
资料来源2016 年 4 月1 条记录
Tesla P100
Pascal 架构结合 HBM2 与 NVLink，支持深度学习训练和多 GPU 计算。
资料来源2015 年 12 月1 条记录
2015 年 11 月1 条记录
TensorFlow
Google 开源机器学习框架，将内部研究工具开放给开发者。
资料来源2015 年 8 月1 条记录
BPE · Subword Tokenization
将字节对编码用于子词切分，缓解固定词表的未登录词问题。
资料来源2015 年 3 月1 条记录
Knowledge Distillation
利用教师模型的输出分布训练更小的学生模型。
资料来源2014 年 12 月1 条记录
2014 年 11 月1 条记录
2014 年 9 月3 条记录
2014 年 6 月1 条记录
2013 年 12 月1 条记录
Variational Autoencoder · VAE
结合变分推断与重参数化技巧，学习可采样的潜在表示。
资料来源