30秒快速回答
JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）是 Yann LeCun 于 2022 年在论文《A Path Towards Autonomous Machine Intelligence》中提出的自监督学习框架：不预测下一个 Token 或像素，而是预测缺失信息的抽象表示（Embedding）。
它的核心价值一句话：用「压缩后再预测」取代「逐像素重建」，让 AI 在更少计算下学到物理世界的因果结构——这是 LeCun 认为通往世界模型和真正自主智能的关键路径。2026 年 LeCun 离开 Meta 创办 AMI Labs 专攻此方向，JEPA 已从学术概念变成 AI 圈最受关注的新架构赌注。
一、为什么 LeCun 说「生成式 AI 走错了方向」？
所有主流生成模型都共享一个训练目标：重建输入。GPT 被要求预测下一个词，扩散模型被要求还原被噪声破坏的图像。LeCun 的批评很直接：预测每一个像素是浪费算力。
想象一个人从卡车后面走过。像素级模型要预测未来每一帧的精确颜色、阴影、衣物质感——这些细节对理解世界毫无帮助，却消耗大量模型容量。JEPA 只预测高层表示：「这个人继续移动，即将从卡车另一侧出现」。
| 范式 | 预测什么 | 浪费在哪 | 代表模型 |
|---|---|---|---|
| 生成式 | 下一个 Token / 像素 | 重建无关细节 | GPT、Sora、MAE |
| 对比学习 | 两视图是否匹配 | 依赖数据增强、易坍缩 | CLIP、SimCLR |
| JEPA | 缺失信息的抽象表示 | 几乎不浪费 | I-JEPA、V-JEPA |
二、JEPA 的核心原理：三个组件 + 表示空间预测
JEPA 由三个网络组成，分别负责「看」、「记」、「猜」：
- Context Encoder（上下文编码器）：把可见部分（图像区域、视频前几秒）压缩成语义向量；
- Target Encoder（目标编码器）：把被掩码/未来的部分编码成目标表示，作为预测的「标准答案」；
- Predictor（预测器）：从上下文表示直接预测目标表示，训练信号是两者的距离（如 L2 损失）。
关键在于只在表示空间比较，永不解码回像素。这带来两个工程后果：
- 无需数据增强：I-JEPA 在 ImageNet 上仅用 12 张标注图片/类就达到 SOTA 低样本分类，比同类方法省 2-10 倍算力；
- 防表示坍缩：目标编码器不接收梯度，权重通过指数移动平均（EMA）跟随上下文编码器，避免模型「偷懒」输出常数向量骗过损失函数。
三、进化路线：从图像到机器人的世界模型
| 版本 | 年份 | 模态 | 关键成果 |
|---|---|---|---|
| I-JEPA | 2023 | 图像 | 掩码补丁预测，ViT 编码器，CIFAR-10 线性探针 91% |
| V-JEPA | 2024 | 视频 | 掩码时空块预测，Kinetics-400 达 81.9%，无需文本标签 |
| V-JEPA 2 | 2025.6 | 视频+动作 | 12 亿参数世界模型，100 万+小时视频训练，零样本机器人规划 |
| LeJEPA | 2025 底 | 通用 | 用 SIGReg 正则化去掉 EMA/stop-gradient，约 50 行代码实现 |
V-JEPA 2 是里程碑：先用海量网络视频自监督预训练，再用少量真实机器人数据做动作条件训练。机器人规划时，它在表示空间里搜索「最能让当前状态逼近目标状态」的动作序列，只执行第一步、重新观测再规划——不渲染一帧想象的画面，却能完成多步物理任务。
四、对开发者意味着什么？
JEPA 目前不是「装个库就能用」的框架，但理解它有三个实际价值：
- 架构风向标：JEPA 是 LeCun「自主智能蓝图」中的世界模型组件，与感知、推理并列；2026 年 AMI Labs 的进展可能重塑基础模型格局；
- 决策类任务的思路迁移：事务监控、实体消歧等场景与 JEPA 同理——建模「预测风险的抽象结构」，让噪声留在噪声里；
- 与 LLM 互补而非替代：JEPA 不输出语言，擅长物理世界理解与规划；LLM 擅长语言推理。两者未来大概率以「LLM 当大脑、JEPA 当世界模型」的方式协同。
若想亲手体验，可直接用 Meta 开源的 V-JEPA 2 代码（GitHub: facebookresearch/v-jepa），或参考 LeJEPA 的 50 行最小实现理解训练机制。
总结与延伸阅读
要点回顾：① JEPA 预测抽象表示而非原始数据，省算力、抓因果；② 三组件架构（上下文编码器/目标编码器/预测器）配合 EMA 防坍缩；③ I-JEPA→V-JEPA→V-JEPA 2 已完成从图像到机器人世界模型的跨越；④ 它是 LeCun 通往自主智能的关键赌注，2026 年 AMI Labs 将加速推进。
延伸阅读：LeCun 2022 论文《A Path Towards Autonomous Machine Intelligence》｜Meta AI 博客 V-JEPA 2 技术解读｜本站《什么是世界模型？》了解 JEPA 在其中的定位。