# π0: A Vision-Language-Action Flow Model for General Robot Control

<!-- -->
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">作者:</span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"> Kevin Black; Noah Brown; Danny Driess; Adnan Esmail; Michael Equi; Chelsea Finn; Niccolo Fusai; Lachy Groom; Karol Hausman; Brian Ichter; et al.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">期刊: </span></span><span style="color: rgb(255, 0, 0);"><span style="background-color: rgb(243, 250, 244);">,</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">期刊分区:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">本地链接: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);"><a href="zotero://open-pdf/0_ZEK3NANU" rel="noopener noreferrer nofollow">Black 等 - π0 A Vision-Language-Action Flow Model for General Robot Control.pdf</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">URL:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">摘要:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">标签:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">笔记日期: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026/3/22 19:42:44</span></span>

# 📜 研究核心

Tips: 做了什么，解决了什么问题，创新点与不足？

# 提出三大挑战

海量数据需求：为了实现广泛适应性，模型需要在多任务、多机器人类型的大规模数据集上进行训练。

合适的网络架构：设计能够对齐多模态数据（图像、文本和动作）的架构，充分挖掘预训练与微调的潜力。

精确的训练策略：精心设计的训练流程，合理分配预训练和微调的数据，以确保模型具备泛化能力，并能够高效执行任务。三大挑战：大规模数据、架构、训练策略/方法→提出pi0模型：一种基于 预训练视觉语言模型（VLM） 和 流匹配模型（Flow Mathing） 的新型架构。

1、整合多样的数据源：

首先利用一个预训练的视觉-语言模型(VLM)来导入互联网规模的经验。基于VLM构建他们的模型，使其继承了语言模型和视觉-语言模型的通用知识、语义推理和问题解决能力。其次，进一步训练模型以整合机器人动作，使其成为一个视觉-语言-动作(VLA)模型。

为了能够利用多种不同的机器人数据源，作者采用跨体态训练，即将多种类型机器人的数据合并到同一个模型中。 这些不同类型的机器人具有不同的构型空间和动作表示，包括单臂和双臂系统，以及移动操作机器人。

2、在模型的架构上

为了能够执行高度灵巧和复杂的物理任务，作者使用带有流匹配的动作分块架构（即动作分块算法ACT）来表示复杂的连续动作分布

相当于通过流匹配微调VLM以生成动作(且是多时间步的动作块)

那为何要这么做呢？原因很简单，VLM 可以有效地从网络上传输语义知识，但它们经过训练只能输出离散语言token。灵巧的机器人操作需要π0以高频率(比如高达每秒 50 次)输出运动命令。为了提供这种级别的灵活性，他们通过流匹配为预训练的 VLM 提供连续动作输出

且为了将流匹配与VLM结合，他们使用了一种新颖的动作专家，它通过流式输出(flow-based outputs)增强了标准VLM

3、在训练策略/方法上：

预训练+微调 模式的概念：首先在高度多样化的机器人数据上进行预训练，然后再针对所需任务进行微调或prompt会更加有效

# ⚙️ 内容

# 一、模型架构：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/XJGNXH7J.png|1599]]

# 1.预训练数据集：

包括团队自有的灵巧操作数据集(第V-C节)与OXE（Open X-Embodiment）数据集的加权组合组成，该数据集涵盖7种不同的机器人配置，涉及68项不同任务，而OXE数据集包含包含22种机器人的数据

补充：

1.预训练阶段还使用了多样化的语言标签，结合了任务名称和片段标注(对子轨迹的细粒度标签，通常长度约为2秒) 预训练阶段的目的是训练一个基础模型，使其具备广泛的能力和泛化能力，但不必针对任何单一任务达到高性能。该基础模型能够根据语言指令执行多种任务，具备初步的熟练度

2.对于复杂且需要灵巧操作的任务，随后采用后训练流程，利用高质量的精心策划数据将模型适配到特定的下游任务

3.他们研究了数据量较小至中等的高效后训练，以及针对如折叠衣物和移动操作等复杂任务，采用较大规模数据集的高质量后训练——即微调

# 2.输入：

图像 → ViT → image tokens
语言 → text tokens
状态 q_t → state embedding

# 3.pi0模型（改造 PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）：

做了以下三点改造：

为机器人特定的token增加了额外的输入和输出投影，包括状态向量qt和动作向量At
增加了一个用于 “融合流匹配时间步” 的MLP信息
以及动作专家(比如gemma_300m)的一组较小的权重

设计类似于专家混合模型，其中有两大模块：

第一大模块用于图像和文本(比如人类指令)输入
第二大模块用于机器人特定的输入(比如机器人的状态)，和输出(比如预测的机器人动作)，该第二组权重称为动作专家

VLM Backbone：π0模型主要由一个语言模型transformer骨干组成。

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/7GGDIK2H.png|3898]]

图像编码器 将机器人的 图像观测数据 嵌入到与 语言标记 相同的嵌入空间：[image tokens + language tokens]

再进一步通过机器人专用输入输出——即**本体感觉状态（proprioceptive state）与机器人动作（robot actions）**来对主干进行增强

Action Expert、Flow Matching：

action expert 根据文本指令去噪生成具体的连续的动作——而无需像RT-2那样对其进行离散化或token化(discretize or tokenize)。

π0使用条件流匹配[28,32]来建模动作的连续分布。流匹配为他们的模型提供了高精度和多模态建模能力，使其特别适合高频率的灵巧操作任务；

该架构灵感来自Transfusion [59]，该方法通过多目标训练单一transformer，其token对应的连续输出(比如机器人的动作)通过流匹配(扩散风格)损失进行监督，离散输出的token通过交叉熵损失进行监督（在Transfusion的基础上，他们还发现，为机器人特定的(动作和状态)token使用一套单独的权重能够提升性能）

数学建模 $p(A_t|o_t)$

1、未来动作序列 $A_t$ (作者在任务中使用H=50，即一次性预测未来的50个连续动作块)：

$A_t = [a_t, a_{t+1}, ..., a_{t+H−1}]$

对于动作块 $A_t$ 中的每个动作 $a_t$ ，都有一个相应的动作token，将其输入动作专家action expert(转化而来)

$ A_t$ 表示的是输出的预测动作——相当于是不带有噪声的动作

$A_t^τ$ 表示的是输入噪声动作——相当于是带有噪声的动作

（动作输入用的绿色字体，动作输出用的红色字体 ）

$A^τ_t = τA_t + (1 −τ)ϵ$

其中下标t表述机器人时间步，上标τ∈[0,1]表述流匹配时间步，而ε代表纯噪声

2、观测值$ o_t$

由多张RGB图像、一个语言指令和机器人的本体状态组成，即：

$o_t[I_{1t},... ,I{nt},l_t ,q_t]$

图像 $ I_t$ 和关节角向$ q_t$ 通过各自的编码器进行编码，然后通过线性投影层：投影到与语言token相同的嵌入空间中。

在训练过程中，使用条件流匹配损失Conditional Flow Matching[28,32]，来监督这些动作token

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/RF57NLGF.png|444]]

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/VZDXPKEV.png|957]]

整体含义： 训练阶段的目的，是用均方误差MSE去迫使神经网络预测的“速度方向”，无限逼近那个绝对正确的“真实速度方向”

具体训练流程

第一步，构建中间状态(加噪操作)

网络先通过随机采样符合正太分布的噪声τ，进行训练，计算“带噪声的动作”：

$A^τ_t = τA_t + (1 −τ)ϵ$

噪声 $ϵ ∈N（0,1）$

原始流匹配的论文时间变量 $τ ∈ u(0,1)$

在此，作者设计了一个强调低时间步(高噪声水平)的时间步采样分布![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/ZHK9FRWF.png|204]]

第二步：训练

训练网络输出  $v_θ(A^τ_t,o_t)$ 去匹配 去噪向量场 $u(A^τ_t,A_t)$

$v_θ$ 代表预测的向量场，或预测的速度 (预测的是中间状态(下一步以什么样的速度往哪走))

$u$ 代表从纯噪声直接指向干净动作的真实向量场，或真实速度(是终点向量 - 起点向量)

$u(A^τ_t|A_t)=A_t-ϵ$

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/CK4EUJU9.png|235]]

即：目标速度向量 = 终点向量(干净动作) - 起点向量(纯噪声)

做loss：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/PPI3EGCH.png|444]]

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/64DGCD7L.png|963]]

动作专家使用完全双向注意力掩码，使得所有动作token都能够相互关注
关于注意力掩码

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/XEETZV3C.png|1296]]

# 4.输出：

动作序列：连续值、高频

# 二、代码：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/LDT66W2Q.png|1764]]

# 💡 创新点

1.多样数据集（机械臂多样）；

2.多样训练策略（复杂场景，机械臂预训练）。

3.加强了预训练+微调模式的概念：首先在高度多样化的机器人数据上进行预训练，然后再针对所需任务进行微调或prompt会更加有效（可以解决数据稀缺的问题，因为通用模型可以利用更多的数据来源——包括其他任务、其他机器人，甚至非机器人领域的数据）

4.模型架构：VLM+action expert（transformer， flow-matching）

openvla问题：低赫兹频率运动，

diffusion policy：看未来很多步，一种生成方法，最初被用在图像生成领域。图像生成技术，如stable diffusion和midjourney。思想核心：逐步地对图像进行调整和改善，从而生成高质量图像

流匹配的工作方式和扩散模型有些类似，核心思想都是通过逐步添加噪声来简化数据分布，然后逐步去噪得到隐私数据「Google deepmind团队专门有一篇文章阐述流匹配其实与扩散模型是等价的，详见：<a href="https://diffusionflow.github.io/" title="diffusionflow.github.io/" rel="noopener noreferrer nofollow">diffusionflow.github.io/</a>」

具体而言

训练时，随机对动作施加高斯噪声，并训练模型输出去噪向量场 推理时，从高斯噪声开始，通过数值积分向量场生成动作序列
不同之处在于 流匹配直接对数据和噪声分布之间的映射场(vector field)进行建模，训练目标是匹配这一映射场

# 🧩 不足

# 🔁 研究内容

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# 🤔 个人总结

Tips: 你对哪些内容产生了疑问，你认为可以如何改进？

openvla：图片先经视觉模型处理，在融合语言指令到语义大模型；

π0--A-Vision-Language-Action-Flow--9C6Y3H3P

# <span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(238, 249, 253);"> π0: A Vision-Language-Action Flow Model for General Robot Control</span></span>

# <span style="color: rgb(224, 255, 255);"><span style="background-color: rgb(102, 205, 170);">📜 研究核心</span></span>

# 提出三大挑战

# ⚙️ 内容

# 一、模型架构：

# 1.预训练数据集：

# 2.输入：

# 3.pi0模型（改造 <span style="color: rgb(79, 79, 79);"><span style="background-color: rgb(255, 255, 255);">PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）</span></span>：

# 4.输出：

# 二、代码：

# 💡 创新点

# 🧩 不足

# <span style="color: rgb(32, 178, 170);"><span style="background-color: rgb(175, 238, 238);">🔁 研究内容</span></span>

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# <span style="color: rgb(0, 77, 153);"><span style="background-color: rgb(135, 206, 250);">🤔 个人总结</span></span>

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

# <span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(238, 249, 253);"> π0: A Vision-Language-Action Flow Model for General Robot Control</span></span>

# <span style="color: rgb(224, 255, 255);"><span style="background-color: rgb(102, 205, 170);">📜 研究核心</span></span>

# 提出三大挑战

# ⚙️ 内容

# 一、模型架构：

# 1.预训练数据集：

# 2.输入：

# 3.pi0模型**（改造 <span style="color: rgb(79, 79, 79);"><span style="background-color: rgb(255, 255, 255);">PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）</span></span>**：

# 4.输出：

# 二、代码：

# 💡 创新点

# 🧩 不足

# <span style="color: rgb(32, 178, 170);"><span style="background-color: rgb(175, 238, 238);">🔁 研究内容</span></span>

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# <span style="color: rgb(0, 77, 153);"><span style="background-color: rgb(135, 206, 250);">🤔 个人总结</span></span>

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

Afford-VLA--Action-Aligned-Visual-Planning-via-Internalized-Affordance-4TU55GGU

# 3.pi0模型（改造 <span style="color: rgb(79, 79, 79);"><span style="background-color: rgb(255, 255, 255);">PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）</span></span>：