从 2024 年底的对于潜在空间的早期探索，再到 2025 年底和 2026 年头的联系规划爆发，潜空间范式正在透彻重塑大模子 (LLMs， VLMs， VLAs 等延长模子) 的底层联想逻辑。

当大部分大模子还在依靠显式空间 (Explicit Space) 或者说说话空间 (Verbal Space) 完成时，一场底层的范式改革照旧悄然发生：大模子的中枢机较和操作，正在从东说念主类可读的交集标志空间，转向机器原生的连气儿潜在空间 (Latent Space) 。

这种转机是由显式空间计较的结构性局限性驱动的，包括说话冗余、交集化瓶颈、序列效能低下和语义耗费等问题。越来越多的规划指出，很多弊端的里面过程在 Latent Space 中实施比在东说念主类可读的词元中实施更为当然且有用。关联词，现有文件在机制、智力等方面仍然散布，缺少对潜在空间的界说、分类和规划的合股视角，这阻止了该边界的进一步发展和跨越。

基于此，来悔改加坡国立大学、复旦大学、清华大学、浙江大学等国表里顶级学术机构系统性地梳理了大模子潜空间规划的重磅综述《The Latent Space: Foundation， Evolution， Mechanism， Ability， and Outlook》，尝试通过 “基础 — 演进 — 机制 — 智力 — 瞻望” 五大中枢视角，构建起深远的规划框架，为社区和后续的规划者提供了潜在空间的全景视角。

论文标题：The Latent Space: Foundation， Evolution， Mechanism， Ability， and Outlook

Github 地址: https://github.com/YU-deep/Awesome-Latent-Space

综述当先指出，面前针对潜在空间的综述规划仍存在显然局限：一方面，现有综述要么仅聚焦潜在推理 (Latent Reasoning) 这一细分分支伸开商量，要么仅将潜在空间看成附庸末节俭略发扬，未酿成系统性的规划梳理；另一方面，多数综述对潜在空间的时间已毕仅开展碎屑化、不圆善的分类，其分类框架已难以适配面前日益丰富的时间范式与多元化的应用场景。

基于此，该综述当先冷漠了五大中枢问题:

Foundation: What is Latent Space? (基础) ———— 什么是潜在空间？

Evolution: How Did Latent Space Develop? (演进) ———— 对潜在空间的规划是如何发展？

Mechanism: How Does Latent Space Work? (机制) ———— 潜在空间是如何作用的？

Ability: What Does Latent Space Enable? (智力) ———— 潜在空间能已毕什么智力？

Outlook: What is Next? (瞻望) ———— 潜在空间的将来可能是什么样的？

基础：什么是大模子的潜在空间？

想法:

大模子的潜在空间，是模子里面通过学习酿成的连气儿非交集的表征空间：在其中编码、处理翰墨背后的语义、语法、高下文关联等莫得径直用翰墨 (token) 显式抒发的隐含信息；这个空间还能拓展为合股的空间，用来处理多模态信息。

与显式空间的区别:

综述从两个角度进行对比，四大表征属性 (Representational Properties) :

可读性 (human-readable v.s. machine-native): 显式空间是东说念主类能径直看懂的翰墨、分词标志；潜在空间是模子原生的高维向量，东说念主类无法径直贯通但包含更丰富表征。

存在神气 (discretesybolic v.s. Continuousflexible): 显式空间是交集、固定的说话标志，有多半语法、衔尾类冗余信息；潜在空间是连气儿、天果真向量，只保留中枢语义，剔除了说话冗余。

效能 (inefficient v.s. efficient): 显式空间需要逐词生成、反复转码，计较冗余高、速率慢；潜在空间径直在里面作念向量运算，无寥落退换支出，效能更高。

语义保留程度 (semantically lossy v.s. high fidelity): 显式空间把里面信息转成翰墨时，会丢失细粒度语义、微辞细节；潜在空间能圆善保留高保真信息，还能承载翰墨无法抒发的内容。

四大功能智力 (Functional Capabilities) :

可操作性 (Operability): 显式空间非连气儿弗成微分，依赖词元级计较；潜在空间连气儿可微分，支抓向量运算、语义精确操控等复杂操作。

抒发智力 (Expressiveness): 显式空间仅能抒发翰墨可形容的内容；潜在空间可处理高维 / 非说话信息，不受词汇语法限制，抒发更全面。

可推广性 (Scalability): 显式空间受翰墨序列限制，推广性差；潜在空间依托向量特色，易适配长推理、多交互并拓展操作。

泛化智力 (Generalization): 显式空间受说话神气顾问，泛化智力较弱；潜在空间捕捉详细语义国法，跨边界泛化性强。

演进：对潜在空间的规划是如何发展？

大模子潜在空间的规划发展，随大说话模子智力缓助分为四个递进阶段，举座从 “考据方针” 徐徐走向 “进修落地、全面爆发”:

原型阶段 (2025 年 3 月前): 初次考据推理无须依赖当然说话，可改用模子里面连气儿向量完成。降生了初代潜在推理框架，诠释潜在空间能压缩冗余推理信息，但无系统表面、无合股评估圭臬，仅停留在想法考据。

酿成阶段 (2025 年 4-7 月): 搭建表面根基，用数学诠释潜在空间的抒发与计较上风，优化时间有缠绵；同期脱手初步试水多模态边界，包括视觉、机器东说念主具身等多模态场所，但仍以文本推理为主，应用场景单一、跨边界整合智力弱。

拓展阶段 (2025 年 8-11 月): 从纯文本全面拓展到多模态、多边界：视觉潜在推理、多智能体潜在通讯、机器东说念主行动贪图全面铺开，时间走向进修；跟着规划的种种化，不同场所、边界、范式和应用不停拓展。

爆发阶段 (2025 年 12 月于今): 脱手全面爆发，出现潜在模子专属模子架构，优化计策等方法，文本、视觉、行动、多智能体已毕合股交融；潜在空间成为中枢机较范式，各式潜在空间的时间范式和应用场景脱手爆发。

机制：潜在空间是如何作用的？

潜空间的机制 (Mechanism) 是大模子将潜空间从表面想法落地为骨子功能的底层时间框架，它围绕架构、表征、计较、优化四个互相协同的中枢维度，圆善拆解了潜空间在大模子中的全经过运作逻辑，分手处治潜空间如何镶嵌模子结构、以何种神气承载信息、若何开展信息运算、如何通过调优缓助效能四大弊端问题，是集合潜空间基础界说与骨子智力的中枢时间纽带，亦然大模子已毕潜空间高效运作、说明各种进阶智力的底层时间维持。

架构 (Architecture):

架构是潜空间在大模子中的结构集成有缠绵，中枢处治 “潜空间如何镶嵌模子” 的问题，决定了潜计较的底层载体。它不改变模子中枢逻辑，而是通过三种形式将潜空间融入结构：径直矫正模子骨干已毕原生潜计较、加装插件模块已毕潜功能推广、借助外部辅助模子提供潜信号支抓，最终让模子具备原生的潜空间运算基础，是潜空间落地的结构根基。

骨干内置 (Backbone) : 径直矫正模子骨干，用参数分享、轮回迭代、增强结构，让模子原生支抓潜空间计较；

插件组件 (Component) : 不调动骨干，加装生成、投影、对皆、约束、存储插件模块，已毕潜空间功能；

辅助模子 (Auxiliary Model) : 用外部孤苦模子，给主模子提供监督信号 / 中间特征，辅助潜空间生成。

表征 (Representation):

表征是潜空间的信息承载神气，中枢处治 “潜空间用何种载体处理信息” 的问题，界说了潜信息的抒发范式。它依托模子里面激活、外部模块、可学习模块或搀杂形式生成潜载体，将交集的文本 token 回荡为连气儿高维向量，既能复用模子原生隐气象、也能自界说可学习潜暗示，是潜空间已毕高保真、高效能信息抒发的中枢载体。

里面表征 (Internal) : 径直应用基础模子前向过程中产生的里面激活，包括隐气象、词镶嵌、KV 缓存等，无需引入寥落参数；

外部表征 (External) : 由预推行的外部模子生成潜信息，再注入基础模子，okoooapp过程中外部模子保抓冻结；

可学习表征 (Learnable) : 由镶嵌的可推行模块 (如可学习 token、轻量适配器等) 生成潜信息，与基础模子端到端优化；

搀杂表征 (Hybrid) : 先由可学习模块构造潜信息，再看成外部信号注入基础模子，兼顾天真与巩固。

计较 (Computation):

计较是潜空间的信息处理逻辑，中枢处治 “潜空间如何运算和处理信息” 的问题，决定了潜计较的效能与智力上限。它通过压缩、推广、自符合、交叉四种模式处理信息：压缩冗余信息裁汰算力、推广算力缓助抒发、动态分派算力均衡效能、交错信息交融上风，让潜空间开脱交集 token 的限制，已毕天真、高效、高带宽的里面运算。

压缩计较 (Compressed) : 压缩推理轨迹、缓存、多模态特征，减少信息，保留中枢语义；

推广计较 (Expanded) : 通过深度轮回、宽度并行、结构拓展，加多潜空间算力，缓助抒发智力；

自符以为较 (Adaptive) : 按输入难度动态分派算力和计较程度，均衡效能和性能；

交错计较 (Interleaved) : 让显式 token 与潜信拒却错、多模态交错、任务模块交错运算，搀杂说明上风。

优化 (Optimization):

优化是潜空间的效能调优技能，中枢处治 “如何优化潜空间运算” 的问题，袒护模子全人命周期。它在预推行阶段让模子习得潜计较智力、后推行阶段精调潜空间适配任务、推理阶段及时修正潜气象，通过监督学习、蒸馏、强化学习等形式模范潜空间的几何结构与运算逻辑，抓续缓助潜空间的可靠性、可控性与泛化性。

预推行阶段 (Pre-training) : 模子就地运行化重新训，用自总结、辅助监督、强化学习，让模子天生具备潜计较智力；

后推行阶段 (Post-training) : 在预推行模子基础上，用显式输出监督、隐式蒸馏监督、强化学习，精调潜空间效能；

推理阶段 (Inference) : 在推理阶段径直缩放、调优、调换潜气象，及时优化潜在空间效能。

智力：潜在空间能已毕什么智力？

潜在空间看成大模子机器原生的连气儿表征载体，冲突了传统交集文本 token 的抒发局限与计较瓶颈，不再局限于单一的文本推理，而是从智力 (Ability) 上全面解锁了袒护推理、贪图、建模、感知、挂念、伙同、具身的七大中枢智能智力，让模子在逻辑想考、多步决策、多模态贯通、常识存储、智能体协同与实体交互等全场景中，已毕效能、抒发力与泛化性的全场所升级。

推聪敏力 (Reasoning):

潜在空间推理是指大型模子偶然通过里面连气儿的表征，而非通过一一词元的显式说话抒发，来进行逻辑演绎、关系计较和论断生成。从显式 CoT 推理到潜在推理的转机代表着一种根人性的范式转机：模子不再需要用当然说话抒发每一个中间关节，而是学习在一个连气儿的高维潜在流形中想考。

这种范式在推理的智力方面具有显赫上风，该综述将其归纳为六种智力：无需总共说话抒发的隐式推理 (Implicit Inference)、将长链压缩成紧凑气象的紧凑轨迹 (Compact Trace)、以潜在神气保管和修正想维的连气儿迭代 (Continuous Refinement)、跨多个候选旅途的分岔旅途 (Branching Path)，以及突出纯文本设立的模态泛化 (Modal Generalization)。

贪图智力 (Planning):

贪图关爱的是在解空间中寻找最优轨迹，其中潜在流形的连气儿性和可微性允许基于梯度的计策优化和迭代轨迹改进。

与侧重于在给定高下文中进行逻辑推理的推理不同，贪图强调计较的前瞻性组织，细则资源的分派位置、探索解空间的形式以及何时隔绝搜索。

基于潜在空间的方法从四个方面优化了潜在贪图：对里面解旅途的可控探索 (Controllable Exploration)、在潜在流形中导航的高效搜索 (Efficient Search)、字据难度匹配计较资源的自符划算力 (Adaptive Budget)，以及不才游交互式任务中的范例决策 (Sequential Decision)。

建模智力 (Modeling):

建模涵盖了对大型说话模子中潜在表征进行刻画、搜检和塑造的智力。推理和贪图关爱的是模子在潜在空间入网算的内容，而建模则侧重于潜在表征如何匡助咱们贯通和约束计较本人。

该综述将这一维度构建为四种智力的缓助：用于编码复杂计较的丰富抒发 (Rich Expression)、使里面气象可分析的自我检视 (Self Inspection)、针对风险或不巩固行动的鲁棒约束 (Robust Control)，以及通过潜在递归推广容量的可推广计较 (Scalable Computation)。

感知智力 (Perception):

潜在空间感知旨在处治视觉说话模子的贯通、暗示和处理连气儿、高保真潜在空间中的视觉信息的根柢挑战。面前的视觉说话模子仍然面对一个弊端瓶颈：将丰富的视觉内容退换为交集的文本标志弗成幸免地会丢失空间结构、精良细节和关系几何信息。潜在感知通过保留交集标志化势必会禁闭的密集空间结构信息来克服这一限制，使模子偶然像东说念主类感知相通，以丰富而精巧的形式对视觉内容进行推理。

潜在空间赋予了感知三个逐步深入的高等智力：基于里面视觉表征的多模态推理 (Multimodal Inference)、用于生成式操作和三维贯通的启发式想象 (Heuristic Imagination)，以及通过表征层面的烦闷来提高输出保真度的针织定位 (Faithful Grounding)。

挂念智力 (Memory):

挂念已成为大模子的必要补充，无气象架构需要外部机制来跨推理关节保留常识。关联词，基于标志的挂念也存在自身的瓶颈：将蓄积的高下文暗示为交集序列会加多辅导长度，裁汰检索保真度，并阻止自符合挂念巩固所需的基于梯度的优化。潜在挂念通过将抓久常识编码为连气儿向量来处治这一问题，从汉典毕紧凑的跨高下文保留，并具有更高的保真度和符合性。

在挂念层面，潜在空间的三种推广智力有劲地维持了其成为挂念的序论：用于缓存烦闷的责任挂念留存 (Working Retention)、用于自我演化常识存储的抓久挂念演化 (Persistent Mind)，以及跨视觉和具身模态的多模态挂念调取 (Multimodal Recall)。

伙同智力 (Collaboration):

传统上，多智能体系统中的集体智能是通过当然说话来传递的。关联词，说话本人即是一个固有的瓶颈：将里面表征压缩成交集的词元会丢失语义幽微隔离，加多通讯延迟，并禁闭合股优化所需的梯度旅途。潜在伙同通过使智能体偶然交换连气儿表征来处治这些限制，从而保留更丰富的里面气象并支抓更具知道力的集体伙同神气。

潜在空间伙同组织成三个递加的智力：用于通过潜在通说念已毕智能体间的无损气象传输的语义保真 (Semantic Fidelity)，用于识别和演化跨智能体的分享想维结构的分享说明 (Shared Cognition)，以及用于将伙同推广到不同的模子族和模态的异构互通 (Heterogeneous Interoperability)。

具身智力 (Embodiment):

具身智能体面对着一种数据瓶颈，这是任何隧说念说话边界都无法比较的：物理种种性的每一次加多，举例新的硬件形态、视角和任务环境，都会使现有的标志演示失效，并迫使用户进行平台特定的从新推行，而这种模式无法径直迁徙。潜在表征不错同期摒除这些失效模式，使行动语义偶然从未标志的视频中领会，并使空间先验信息偶然径直提取成计策骨架，而无需寥落的用具或从新标注。

潜在空间在具身边界的后劲不错归纳为五种递进的智力：用于从无标签视频中导出可迁徙的动作暗示无需具身化特定标签的无监督落地 (Unsupervised Grounding)，用于将多关节贪图内化为连气儿的潜在计较而无需显式生成想维链的内隐想考 (Implicit Thinking)，用于模拟将来气象以生成密集的推行信号并带领及时决策的预测前瞻 (Predictive Foresight)，用于从 2D 不雅察重建 3D/4D 几何结构的空间说明 (Spatial Cognition)，以及用于通过分享的与躯壳无关的基质来集合异构硬件形态的泛化迁徙 (Generalized Transfer)。

瞻望：潜在空间的将来可能是什么样的？

中枢定位：

潜空间是大模子的原生中枢机较空间，并非附庸功能，已从文本推理拓展到多模态、挂念、伙同、具身智能等全场景，是下一代通用 AI 的中枢范式。

现有挑战：

潜空间存在三大短板：难评估（中间计较过程弗成见，无法考据推理合感性）、难约束（无法精确操控里面连气儿表征）、庞大释（高维向量无直不雅语义，模子行动弗成记念）。

将来场所:

搭建合股表面：明确潜空间计较旨趣、与显式空间的伙同章程，建设圭臬评估体系；

深耕多模态：打造文本、视觉、动作合股的原生潜计较空间；

落地下流任务：用潜空间维持推理、贪图、机器东说念主约束等下流场景；

已毕可控治理：让潜空间可不雅测、可管控，处治信得过性与安全性问题。

结语

综上，该综述系统性填补了大模子潜在空间规划的碎屑化空缺澳客app，以 “基础 — 演进 — 机制 — 智力 — 瞻望” 五大视角构建圆善规划框架，深远瓦解了潜空间从想法考据到全面爆发的演进旅途与底层逻辑。看成大模子从显式标志向机器原生连气儿表征跨越的中枢范式，潜空间已解锁多维度智能智力，虽仍面对挑战，但仍然具有极大后劲，该综述为后续规划奠定坚实基础。

• 最新
• 澳客app
• 最全
• 模子
• Latent