定义#

在语言模型中，潜空间指模型隐藏状态、连续向量表示、内部记忆或其他非人类可读中间状态构成的计算空间。它不同于显式空间（Explicit Space）：显式空间依赖 token、自然语言推理链和可读文本；潜空间则允许模型在连续表示中压缩、组合和转换语义。

为什么重要#

The Latent Space 这篇综述认为，显式 token 级计算存在四类限制：

• 语言冗余：自然语言中间步骤往往比必要计算更长。
• 离散化瓶颈：复杂连续语义被迫投影成离散 token。
• 顺序低效：token-by-token 生成限制并行与压缩计算。
• 语义损失：内部丰富状态在转写成人类语言时可能丢失信息。

与显式推理的关系#

潜空间计算不一定要取代 Chain-of-Thought（CoT）等显式推理方法。两者可以互补：

• 显式空间适合解释、审计、与人类沟通。
• 潜空间适合压缩信息，并在连续表示中完成内部计算。
• 混合系统可能在潜空间中完成大部分搜索 / 表示变换，再把关键节点投影到显式空间供人类检查。

研究维度#

可以从两个方向整理潜空间研究：

• 机制：架构、表示、计算、优化。
• 能力：推理、规划、建模、感知、记忆、协作、具身交互。

开放问题#

• 可解释性：隐式思考如何被观察、验证和调试？
• 可控性：潜空间操作是否会产生更难约束的内部行为？
• 评估：如何区分「真正更强的 latent computation」与「只是更少 token 的表面压缩」？
• 系统设计：什么时候应该使用显式 token，什么时候应该保留在 latent state？

关联#

• The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook：主要来源。