终南山下，活死人墓

π0--A-Vision-Language-Action-Flow--9C6Y3H3P

2026-06-08T05:28:00.000Z

# π0: A Vision-Language-Action Flow Model for General Robot Control

<!-- -->
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">作者:</span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"> Kevin Black; Noah Brown; Danny Driess; Adnan Esmail; Michael Equi; Chelsea Finn; Niccolo Fusai; Lachy Groom; Karol Hausman; Brian Ichter; et al.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">期刊: </span></span><span style="color: rgb(255, 0, 0);"><span style="background-color: rgb(243, 250, 244);">,</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">期刊分区:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">本地链接: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);"><a href="zotero://open-pdf/0_ZEK3NANU" rel="noopener noreferrer nofollow">Black 等 - π0 A Vision-Language-Action Flow Model for General Robot Control.pdf</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">URL:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">摘要:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">标签:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">笔记日期: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026/3/22 19:42:44</span></span>

# 📜 研究核心

Tips: 做了什么，解决了什么问题，创新点与不足？

# 提出三大挑战

海量数据需求：为了实现广泛适应性，模型需要在多任务、多机器人类型的大规模数据集上进行训练。

合适的网络架构：设计能够对齐多模态数据（图像、文本和动作）的架构，充分挖掘预训练与微调的潜力。

精确的训练策略：精心设计的训练流程，合理分配预训练和微调的数据，以确保模型具备泛化能力，并能够高效执行任务。三大挑战：大规模数据、架构、训练策略/方法→提出pi0模型：一种基于 预训练视觉语言模型（VLM） 和 流匹配模型（Flow Mathing） 的新型架构。

1、整合多样的数据源：

首先利用一个预训练的视觉-语言模型(VLM)来导入互联网规模的经验。基于VLM构建他们的模型，使其继承了语言模型和视觉-语言模型的通用知识、语义推理和问题解决能力。其次，进一步训练模型以整合机器人动作，使其成为一个视觉-语言-动作(VLA)模型。

为了能够利用多种不同的机器人数据源，作者采用跨体态训练，即将多种类型机器人的数据合并到同一个模型中。 这些不同类型的机器人具有不同的构型空间和动作表示，包括单臂和双臂系统，以及移动操作机器人。

2、在模型的架构上

为了能够执行高度灵巧和复杂的物理任务，作者使用带有流匹配的动作分块架构（即动作分块算法ACT）来表示复杂的连续动作分布

相当于通过流匹配微调VLM以生成动作(且是多时间步的动作块)

那为何要这么做呢？原因很简单，VLM 可以有效地从网络上传输语义知识，但它们经过训练只能输出离散语言token。灵巧的机器人操作需要π0以高频率(比如高达每秒 50 次)输出运动命令。为了提供这种级别的灵活性，他们通过流匹配为预训练的 VLM 提供连续动作输出

且为了将流匹配与VLM结合，他们使用了一种新颖的动作专家，它通过流式输出(flow-based outputs)增强了标准VLM

3、在训练策略/方法上：

预训练+微调 模式的概念：首先在高度多样化的机器人数据上进行预训练，然后再针对所需任务进行微调或prompt会更加有效

# ⚙️ 内容

# 一、模型架构：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/XJGNXH7J.png|1599]]

# 1.预训练数据集：

包括团队自有的灵巧操作数据集(第V-C节)与OXE（Open X-Embodiment）数据集的加权组合组成，该数据集涵盖7种不同的机器人配置，涉及68项不同任务，而OXE数据集包含包含22种机器人的数据

补充：

1.预训练阶段还使用了多样化的语言标签，结合了任务名称和片段标注(对子轨迹的细粒度标签，通常长度约为2秒) 预训练阶段的目的是训练一个基础模型，使其具备广泛的能力和泛化能力，但不必针对任何单一任务达到高性能。该基础模型能够根据语言指令执行多种任务，具备初步的熟练度

2.对于复杂且需要灵巧操作的任务，随后采用后训练流程，利用高质量的精心策划数据将模型适配到特定的下游任务

3.他们研究了数据量较小至中等的高效后训练，以及针对如折叠衣物和移动操作等复杂任务，采用较大规模数据集的高质量后训练——即微调

# 2.输入：

图像 → ViT → image tokens
语言 → text tokens
状态 q_t → state embedding

# 3.pi0模型（改造 PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）：

做了以下三点改造：

为机器人特定的token增加了额外的输入和输出投影，包括状态向量qt和动作向量At
增加了一个用于 “融合流匹配时间步” 的MLP信息
以及动作专家(比如gemma_300m)的一组较小的权重

设计类似于专家混合模型，其中有两大模块：

第一大模块用于图像和文本(比如人类指令)输入
第二大模块用于机器人特定的输入(比如机器人的状态)，和输出(比如预测的机器人动作)，该第二组权重称为动作专家

VLM Backbone：π0模型主要由一个语言模型transformer骨干组成。

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/7GGDIK2H.png|3898]]

图像编码器 将机器人的 图像观测数据 嵌入到与 语言标记 相同的嵌入空间：[image tokens + language tokens]

再进一步通过机器人专用输入输出——即**本体感觉状态（proprioceptive state）与机器人动作（robot actions）**来对主干进行增强

Action Expert、Flow Matching：

action expert 根据文本指令去噪生成具体的连续的动作——而无需像RT-2那样对其进行离散化或token化(discretize or tokenize)。

π0使用条件流匹配[28,32]来建模动作的连续分布。流匹配为他们的模型提供了高精度和多模态建模能力，使其特别适合高频率的灵巧操作任务；

该架构灵感来自Transfusion [59]，该方法通过多目标训练单一transformer，其token对应的连续输出(比如机器人的动作)通过流匹配(扩散风格)损失进行监督，离散输出的token通过交叉熵损失进行监督（在Transfusion的基础上，他们还发现，为机器人特定的(动作和状态)token使用一套单独的权重能够提升性能）

数学建模 $p(A_t|o_t)$

1、未来动作序列 $A_t$ (作者在任务中使用H=50，即一次性预测未来的50个连续动作块)：

$A_t = [a_t, a_{t+1}, ..., a_{t+H−1}]$

对于动作块 $A_t$ 中的每个动作 $a_t$ ，都有一个相应的动作token，将其输入动作专家action expert(转化而来)

$ A_t$ 表示的是输出的预测动作——相当于是不带有噪声的动作

$A_t^τ$ 表示的是输入噪声动作——相当于是带有噪声的动作

（动作输入用的绿色字体，动作输出用的红色字体 ）

$A^τ_t = τA_t + (1 −τ)ϵ$

其中下标t表述机器人时间步，上标τ∈[0,1]表述流匹配时间步，而ε代表纯噪声

2、观测值$ o_t$

由多张RGB图像、一个语言指令和机器人的本体状态组成，即：

$o_t[I_{1t},... ,I{nt},l_t ,q_t]$

图像 $ I_t$ 和关节角向$ q_t$ 通过各自的编码器进行编码，然后通过线性投影层：投影到与语言token相同的嵌入空间中。

在训练过程中，使用条件流匹配损失Conditional Flow Matching[28,32]，来监督这些动作token

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/RF57NLGF.png|444]]

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/VZDXPKEV.png|957]]

整体含义： 训练阶段的目的，是用均方误差MSE去迫使神经网络预测的“速度方向”，无限逼近那个绝对正确的“真实速度方向”

具体训练流程

第一步，构建中间状态(加噪操作)

网络先通过随机采样符合正太分布的噪声τ，进行训练，计算“带噪声的动作”：

$A^τ_t = τA_t + (1 −τ)ϵ$

噪声 $ϵ ∈N（0,1）$

原始流匹配的论文时间变量 $τ ∈ u(0,1)$

在此，作者设计了一个强调低时间步(高噪声水平)的时间步采样分布![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/ZHK9FRWF.png|204]]

第二步：训练

训练网络输出  $v_θ(A^τ_t,o_t)$ 去匹配 去噪向量场 $u(A^τ_t,A_t)$

$v_θ$ 代表预测的向量场，或预测的速度 (预测的是中间状态(下一步以什么样的速度往哪走))

$u$ 代表从纯噪声直接指向干净动作的真实向量场，或真实速度(是终点向量 - 起点向量)

$u(A^τ_t|A_t)=A_t-ϵ$

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/CK4EUJU9.png|235]]

即：目标速度向量 = 终点向量(干净动作) - 起点向量(纯噪声)

做loss：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/PPI3EGCH.png|444]]

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/64DGCD7L.png|963]]

动作专家使用完全双向注意力掩码，使得所有动作token都能够相互关注
关于注意力掩码

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/XEETZV3C.png|1296]]

# 4.输出：

动作序列：连续值、高频

# 二、代码：

![[π0--A-Vision-Language-Action-Flow--9C6Y3H3P.assets/LDT66W2Q.png|1764]]

# 💡 创新点

1.多样数据集（机械臂多样）；

2.多样训练策略（复杂场景，机械臂预训练）。

3.加强了预训练+微调模式的概念：首先在高度多样化的机器人数据上进行预训练，然后再针对所需任务进行微调或prompt会更加有效（可以解决数据稀缺的问题，因为通用模型可以利用更多的数据来源——包括其他任务、其他机器人，甚至非机器人领域的数据）

4.模型架构：VLM+action expert（transformer， flow-matching）

openvla问题：低赫兹频率运动，

diffusion policy：看未来很多步，一种生成方法，最初被用在图像生成领域。图像生成技术，如stable diffusion和midjourney。思想核心：逐步地对图像进行调整和改善，从而生成高质量图像

流匹配的工作方式和扩散模型有些类似，核心思想都是通过逐步添加噪声来简化数据分布，然后逐步去噪得到隐私数据「Google deepmind团队专门有一篇文章阐述流匹配其实与扩散模型是等价的，详见：<a href="https://diffusionflow.github.io/" title="diffusionflow.github.io/" rel="noopener noreferrer nofollow">diffusionflow.github.io/</a>」

具体而言

训练时，随机对动作施加高斯噪声，并训练模型输出去噪向量场 推理时，从高斯噪声开始，通过数值积分向量场生成动作序列
不同之处在于 流匹配直接对数据和噪声分布之间的映射场(vector field)进行建模，训练目标是匹配这一映射场

# 🧩 不足

# 🔁 研究内容

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# 🤔 个人总结

Tips: 你对哪些内容产生了疑问，你认为可以如何改进？

openvla：图片先经视觉模型处理，在融合语言指令到语义大模型；

pi0：图片和语言指令组合到 VLM（多模态大模型）

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

Afford-VLA--Action-Aligned-Visual-Planning-via-Internalized-Affordance-4TU55GGU

2026-06-06T06:07:31.000Z

# (2026) Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance

<!-- -->
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">作者:</span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"> Runze Wang; Yuqian Fu; Yu Li; Tao Lin; Tianwen Qian; Mohamed Elhoseiny; Bo Zhao; Yanwei Fu; Yu-Gang Jiang; Xiangyang Xue;</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">期刊: </span></span><span style="color: rgb(255, 0, 0);"><span style="background-color: rgb(243, 250, 244);">, </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">期刊分区:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">本地链接: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);"><a href="zotero://open-pdf/0_RBZ9L22W" rel="noopener noreferrer nofollow">Wang 等 - 2026 - Afford-VLA Action-Aligned Visual Planning via Internalized Affordance.pdf</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">DOI: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"><a href="https://doi.org/10.48550/ARXIV.2605.24203" rel="noopener noreferrer nofollow">10.48550/ARXIV.2605.24203</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">摘要: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">Vision-language-action (VLA) models have shown strong potential for generalist robot manipulation, yet they remain limited by insufficient spatial reasoning, particularly in determining where to interact in complex visual scenes. While recent efforts introduce various forms of visual planning to address this issue, existing approaches either rely on global geometric cues, symbolic intermediate representations, or externally generated visual signals, which are often weakly coupled with downstream action prediction. In this work, we revisit visual planning in VLA systems and argue that effective planning should be local, visually grounded, internally generated, and directly aligned with action. Based on this insight, we propose Afford-VLA, a unified framework that internalizes task-conditioned affordance as an explicit visual planning interface within VLA models. Concretely, we introduce learnable tokens to query task-relevant interaction regions, decode affordance masks from multimodal features, and convert them into compact embeddings that directly condition action generation. This design enables affordance to be both generated and utilized within the VLA, forming a tightly coupled perception–action pathway. To further support this integration, we adopt a training strategy that allows the affordance pathway to be jointly optimized with action prediction, improving its effectiveness for downstream control. We evaluate our method on multiple simulation benchmarks, including LIBERO, LIBERO-Plus, and SimplerEnv, achieving consistent state-of-the-art performance, along with strong real-world results. These findings demonstrate that internalizing affordance as action-aligned visual planning provides a powerful paradigm for improving VLA systems. Codes and Models will be released at Afford-VLA.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">标签:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">笔记日期: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026/6/4 13:01:45</span></span>

# 📜 研究核心

Tips: 做了什么，解决了什么问题，创新点与不足？

问题：

VLA（视觉-语言-动作）模型在通用机器人操作任务中展现出很强的潜力，但它们仍然受到空间推理能力不足的限制，尤其是在复杂视觉场景中判断“应该在哪里进行交互”这一点上表现不够好。
虽然近期已有一些工作通过不同形式的视觉规划来解决这一问题，但现有方法往往依赖全局几何线索、符号化的中间表示，或者外部生成的视觉信号。这些信息通常和后续的动作预测结合得不够紧密。

架构：

在本文中，作者重新审视了 VLA 系统中的视觉规划问题，并认为有效的规划应该具备四个特点：
局部的、视觉 grounded 的、模型内部生成的、并且与动作直接对齐的。

基于这一观点，作者提出了 Afford-VLA，这是一个统一框架，它把任务条件下的 affordance 作为一种显式的视觉规划接口，内化到 VLA 模型内部。

具体来说，作者引入了可学习的 <AFF> tokens，用来查询与当前任务相关的交互区域；
然后从多模态特征中解码出 affordance mask；
再把这些 mask 转换成紧凑的 embedding，用来直接指导动作生成。
这种设计使 affordance 既能在 VLA 内部生成，又能被 VLA 内部使用，从而形成紧密耦合的“感知—动作”路径。

训练策略：
为了进一步支持这种结合，作者采用了一种训练策略，使 affordance 分支可以和动作预测一起联合优化，从而提升它对下游控制任务的有效性。

作者在多个仿真 benchmark 上评估了该方法，包括 LIBERO、LIBERO-Plus 和 SimplerEnv，并取得了持续的 SOTA 表现，同时在真实机器人实验中也获得了较强结果。

结论：
这些发现表明：把 affordance 作为一种与动作对齐的内部视觉规划机制，是提升 VLA 系统能力的一种有效范式。代码和模型将会在 Afford-VLA 中发布。

# ⚙️ 内容

# introduce

# 1.背景

VLA 模型需要根据图像观察和语言指令生成机器人动作，但一个核心难点是：

模型如何判断应该在视觉场景中的哪个位置进行交互？
空间推理能力

论文把这个能力称为 visual planning，即：

引导模型决定在视觉空间中应该与哪里交互。

例如指令是：

Pick up the mug.
模型不仅要理解“拿起杯子”，还要知道：

杯子在哪里；
哪个区域是可交互区域；
机械臂应该朝哪里移动；
哪些视觉区域真正影响后续动作。

# 2.现有视觉规划方法

论文将已有方法分成三类：

方法类型	核心思想	优点	局限
Geometry-based	使用 3D 几何信息	提升空间感知	Scene-Level<br>偏全局，缺少任务相关局部交互区域
Symbolic-based	使用文字、坐标、结构化 token 等中间表示	空间提示更明确	Indirect Guidance<br>间接引导，和视觉动作空间存在转换
Visually grounded	使用 mask、点、框等视觉提示	能直接指出图像区域	Externally Generated ，Weakly-Coupled with Action<br>常依赖外部模型，和动作预测耦合弱
Afford-VLA	在 VLA 内部生成 affordance，并直接指导动作	局部、视觉 grounded、内部生成、动作对齐	Local, Visually Grounded，Action-Aligned，Internally Genera<br>需要 affordance 监督和较高训练成本

# 2.1 Geometry-based methods：基于几何的方法

这类方法使用显式或隐式的 3D 信息（Explicit / Implicit 3D cues）来增强空间理解，例如：

深度图；
点云；
多视角几何；
3D 坐标；
场景结构信息。

但问题是：

它通常提供的是全局场景级别（provide global, scene-level context）的信息，而不是精确的任务相关交互区域（precise, task-conditioned interaction regions）。

它能让模型知道整体空间结构，但不一定能准确告诉模型：
当前任务应该抓杯子的哪一块。

因此论文用 Scene-Level 来概括这类方法的局限。

# 2.2 Symbolic-based methods：基于符号的方法

这类方法会先把视觉信息转换成中间符号表示，再交给 VLA 模型。
常见形式包括：

图中例子类似：

<area><frame1>  
(90,71),(90,70)  
</area>

它的优点是比纯几何方法更聚焦，能够提供更明确的空间提示。

但问题是：

它不是直接在图像空间中引导动作，而是先转成符号，再由模型理解这些符号。
所以它属于 Indirect Guidance，间接引导。

例如它可能告诉模型：

杯子区域坐标是某个范围。
但动作模型还需要再把这个符号信息转回视觉和动作空间，因此中间存在信息损失。

# 2.3 Visually grounded methods：视觉 grounded 方法

这类方法直接在图像空间中标出任务相关区域，例如：在图像上预测 mask / heatmap / box / keypoint

但论文指出，已有 visually grounded 方法仍有两个问题：

问题 1：通常依赖外部感知模型

图中显示了：

External Perception Model
交互区域可能不是 VLA 自己生成的，而是由外部模块提前预测出来。

问题 2：与动作预测耦合不紧

图中写了：

Gradient Blocked
动作预测的损失无法有效反向影响外部感知模块。
所以即使外部模块能生成 mask，这个 mask 也不一定是“对动作最有用”的 mask。

# 3. Afford-VLA 的核心区别

# 3.1 Local：局部的

Afford-VLA 关注任务相关的局部区域，而不是整张图像或全局场景。

例如拿杯子时，模型应该重点关注杯子及其可抓取区域。

# 3.2 Visually Grounded：视觉 grounded 的

它直接在图像空间中预测 affordance mask。

规划信息要直接对应到图像中的具体区域。
也就是说，它不是只生成文字描述或坐标，而是直接指出图像中可交互的区域。

# 3.3 Internally Generated：内部生成的

Affordance mask 由 VLA 模型内部生成。
图中流程是：

<AFF> token (通过 attention 读取图像和语言信息)→ Affordance Head → Affordance Mask

这里的 <AFF> token 是可学习的查询 token，用来从图像和语言特征中查询任务相关交互区域。

# 3.4 Action-Aligned：与动作对齐的

Afford-VLA 不只是预测 mask 给人看，而是把 mask 对应的视觉区域转成 affordance embedding，再送入动作生成模块。

应该与动作对齐，使其能够被动作模型直接使用，并影响下游决策。

图中对应：

Affordance Mask → 
选择重要图像 patch →
对这些 patch 的视觉特征做 pooling →
提取 affordance embedding →
输入 action head

并且动作 loss 的梯度可以反向传回 affordance 分支。
这意味着 affordance mask 会被训练成：

不只是视觉上合理，而且对动作生成真正有用。

# 4.Afford-VLA

affordance-style reasoning 可以理解成：

模型在生成动作前，先推理“当前任务下，图像中哪些区域可以被操作、应该被操作、怎样被操作”

这篇文章的 affordance 有三个特点：

task-conditioned
affordance 由任务决定。同一张图，不同指令对应不同区域。
internalized
affordance 不是外部模型单独生成的，而是在 VLA 内部由 <AFF> token 和 affordance head 预测。
action-aligned
affordance mask 不只是可视化结果，而是会通过 mask pooling 变成 $r_t$ ，直接送入动作头影响动作生成。

The core idea of our approach is to treat task-conditioned affordance as an internal interface that bridges perception and action.
将任务导向的affordance视作衔接感知与行动的内在交互接口。

task-conditioned affordance 指的是 affordance 不是固定的，而是随任务变化。

同一张图里有杯子、盘子、叉子
任务：

pick up the cupaffordance 关注杯子任务

put the cup on the plateaffordance 关注盘子放置区域任务

pick up the forkaffordance 关注叉子

所以 affordance 是由任务指令决定的。

# 💡 创新点

# 1. 指出了当前 VLA 系统中的关键缺失问题。

作者认为：

当前 VLA 最大的问题之一是缺少准确的 where-to-interact（在哪里交互） 能力。

并首次明确提出：

好的视觉规划需要满足四个属性：

Locality（局部性）：关注任务相关的局部交互区域；
Visual Grounding（视觉 grounded）：规划结果直接对应图像证据；
Internal Generation（内部生成）：由 VLA 模型内部学习生成，而非外部模块提供；
Action Alignment（动作对齐）：能够直接影响动作生成。

这相当于给 VLA 中的视觉规划定义了一套设计原则。
这个创新偏 问题 formulation（问题建模）。

# 2. 提出了 Afford-VLA 框架。

以往 affordance 方法通常是：

外部分割模型 → affordance mask → VLA

或者：

affordance 只是辅助 supervision

Afford-VLA 做的是：

VLA 内部生成 affordanceVLA 内部使用 affordance

具体实现是：

<AFF> token
      ↓
Affordance Head
      ↓
Affordance Mask
      ↓
Mask Pooling
      ↓
Affordance Embedding
      ↓
Action Head

所以它真正把：

“应该操作哪里”变成了动作生成链路中的一部分。

这个创新偏 模型结构设计（architecture innovation）。

# 3. 提出了一种有效的训练与集成策略。

普通 affordance 方法的问题：

affordance 和动作预测耦合不紧。

因为很多方法：

mask loss 单独优化
action loss 单独优化

Afford-VLA 使用：

straight-through gradient estimator
(一种让“不可导操作”也能传播梯度的技巧。)

# 前向传播（forward）

仍然使用：

硬 Top-K

真的只选最重要的 patch。

例如：

mask = [0,1,0,1]

这样保持局部性，不会变成全图平均。

# 反向传播（backward）

作者不用真正的 Top-K 求梯度。

改成：

soft approximation

类似 softmax 权重：

$wi=exp⁡(gi/τ)∑jexp⁡(gj/τ)w_i = \frac{\exp(g_i / \tau)} {\sum_j \exp(g_j / \tau)}wi=∑jexp(gj/τ)exp(gi/τ)$

这样梯度就能传回：

action loss      
↓
affordance logits      
↓
<AFF> token      
↓
affordance head

这个创新偏 训练策略 / optimization design。

# 🧩 不足

# 🔁 研究内容

# 💧 数据

# 👩🏻‍💻 方法

# 1、Formulating Affordance as Action-Aligned Visual Planning

将Affordancee 定义为动作对齐视觉规划
本节定义 Affordance 在 Afford-VLA 中的作用。

定位任务相关交互区域
        ↓
转换成动作模型可使用的紧凑特征
        ↓
直接指导动作预测

# 1. 普通 VLA 的建模方式

标准 VLA 预测未来动作片段：

$p(a_{t+H} \mid I_t, x, s_t)$

其中：

$I_t$ ：当前时刻的视觉输入；
$x$ ：任务语言指令；
$s_t$ ：机器人自身状态，如关节角、末端位姿、夹爪状态；
$a_{t+H}$ ：从当前时刻 $t$ 到未来 $t+H$ 的动作序列，也叫 action chunk。

普通 VLA 的问题是：

动作头需要从全局视觉语言特征中隐式推断：
目标在哪里？
该抓哪里？
该放哪里？
哪些区域和动作有关？

# 2. Afford-VLA 的改动

Afford-VLA 引入任务条件视觉关注变量：

$M_t \in [0,1]^{H_I \times W_I}$

其中：

$M_t$ ：当前任务下的 affordance mask；
$H_I$ ：图像高度；
$W_I$ ：图像宽度；
$[0,1]$ ：每个位置的 affordance 分数。

$M_t$ 可以理解成一张热力图：

接近 1：当前任务相关交互区域
接近 0：无关区域

例如：

指令：Pick up the cup
M_t：关注杯子的可抓取区域

指令：Put the cup on the plate
M_t：关注盘子的放置区域

# 3. Afford-VLA 的策略公式

加入 affordance 后，动作预测变成：

$p(a_{t+H} \mid I_t, x, s_t, M_t)$

相比普通 VLA，多了 $M_t$ 。
这表示动作模型不仅依赖图像、语言和机器人状态，还显式依赖当前任务相关的交互区域。

$M_t$ 不是单独输出给人看的 mask，而是连接空间视觉 grounding 和机器人控制的内部中间表示。

# 4. 技术细节重点

# 6.1 action chunk

$a_{t+H}$ 表示未来一段动作，而不是单步动作。
例如：

$a_{t+H} = {a_t, a_{t+1}, \dots, a_{t+H}}$

这样可以让机器人动作更连续、更平滑。

# 6.2 task-conditioned affordance

Affordance 是由任务决定的。
同一张图像中可能有杯子、盘子、叉子，但不同任务对应不同 affordance 区域。

拿杯子：关注杯子可抓取区域
放杯子：关注目标放置区域
拿叉子：关注叉子区域

# 6.3 compact features

Mask 本身是二维区域图，动作头更适合处理向量特征。
所以模型会将 affordance mask 对应的视觉区域压缩成 embedding：

affordance mask
        ↓
筛选相关视觉区域
        ↓
聚合视觉特征
        ↓
affordance embedding
        ↓
输入 action head

这个 embedding 会直接影响动作预测。

# 2、affordance mask 如何生成

# 1. 输入表示

给定：

图像观测： $I_t$
语言指令： $x$

VLM 会将它们转换成：

图像 token： $Q_{img}$
语言 token： $Q_{text}$

Afford-VLA 额外加入：

$<AFF> token$ ： $Q_{aff}$

# 2. `<AFF>` token

<AFF> token 是可学习的 affordance query token，数学表示是：

$Q_{aff} \in \mathbb{R}^{K_{aff} \times C_{llm}}$

其中：

$K_{aff}$ ：affordance query 的数量；
$C_{llm}$ ：VLM 的隐藏层维度。

可以理解为：

<AFF> token 是专门用来查询“当前任务应该关注哪里”的 token
训练前，它只是随机向量，没有明确含义。
训练后，它学会通过 attention 从图像和语言中提取 affordance 信息

例如指令是：

Pick up the cup

<AFF> token 要从图像和语言中聚合信息，判断和“拿杯子”相关的交互区域。

# 3. VLM backbone 处理过程

加入 <AFF> token 后，序列输入同一个 VLM backbone：

$[H_t, A_t] = f_{VLM}([Q_{img}, Q_{text}, Q_{aff}])$

其中：

$H_t$ ：图像 token 和语言 token 的上下文化隐藏状态；
$A_t$ ： $A_{t} \in \mathbb{R}^{K_{aff} \times C_{llm}}$ <AFF> token 对应的隐藏状态；
$f_{VLM}$ ：VLM backbone，大致包括：

Self-Attention
Feed Forward Network
LayerNorm
残差连接
多层 Transformer 堆叠

由于 <AFF> token 和图像 token、语言 token 一起参与相同的 self-attention 层，所以它们最终的状态同时受到当前视觉和语言指令的条件约束。

# 4. 为什么 `<AFF>` token 能表示任务相关区域

Self-attention 会让 <AFF> token 读取图像和语言中的相关信息。

例如：

图像中有杯子、盘子、叉子
指令是 Pick up the cup

<AFF> token 会倾向于聚合与“cup”和“pick up”相关的信息。

所以 $A_t$ 可以理解成：

当前任务下应该寻找什么交互证据

# 5. 视觉 patch 特征 $P_t$

为了把 affordance 状态落到图像空间，需要使用图像 patch 特征：

$P_t \in \mathbb{R}^{N \times C_{vis}}$

其中：

$N = H_p W_p$

$P_t$ ：图像编码器提取出的 patch 特征；
$N$ ：patch 总数；
$C_{vis}$ ：视觉特征维度，取决于视觉编码器，不是固定值。常见可能是：768、1024、1152、1408、1536 ...
$(H_p, W_p)$ ：patch 网格个数。

例如:

输入图像是 $224 \times 224$ ，patch grid 是 $16 \times 16$ ，则：

$N=16×16=256$

也就是整张图被分成 256 个 patch。

每个 patch 对应一个特征向量，比如假设：

$C_{vis} = 1024$

那么：

$P_t \in \mathbb{R}^{256 \times 1024}$

名称	用途	是否直接训练	维度
视觉 patch 特征 $P_t$	affordance head 解码，mask pooling	来自 encoder，encoder 可训练	$C_{vis}$	是将图像 patch 特征映射到 VLM 输入维度后形成的 token，用于送入 VLM / LLM backbone。
视觉 token $Q_{img}$	送入 VLM self-attention	通过 VLM backbone 参数参与训练	$C_{llm}$	是通过视觉编码器（Vision Encoder）从图像 patch 提取的高维特征向量。

# 6. Affordance Head $D_{aff}$

Affordance head 记作 $D_{aff}$ 。

它的输入是：

<AFF> token 的上下文特征： $A_t$
图像 patch 特征： $P_t$

输出是 affordance logits对数几率：

$G_t = D_{aff}(A_t, P_t), \quad G_t \in \mathbb{R}^{H_p \times W_p}$

其中：

$G_t$ affordance logits（应该也就是affordance mask）：每个 patch 的 affordance 分数；

分数越高，说明该 patch 越可能是当前任务相关交互区域。

$D_{aff}$ 是一个轻量级 query-patch grounding decoder。

<AFF> 状态编码了在当前指令下应该寻找什么交互证据；

patch 特征保留了这些证据在图像中的位置；

Decoder 将这两类信息结合起来，并为每个图像 patch 分配一个 affordance logit。

普通 VLA 的 action head 主要看全局隐藏特征 $H_t$ ，需要自己判断哪里重要。
Afford-VLA 额外把“任务相关区域”的局部特征送进去，减少action head的空间推理压力。

例如：

指令：Pick up the cup
A_t：编码“找杯子的可抓取区域”
P_t：保留每个图像 patch 的视觉信息
D_aff：判断哪些 patch 是杯子的可抓取区域
G_t：输出 patch-level affordance logits

# 3、affordance 如何条件化动作预测

$G_t$ 本身是一张 patch 级别的分数图，表示每个图像 patch 与当前任务的相关程度。
action head 不能直接高效使用这张二维分数图，所以需要mask pooling，把它压缩成一个向量特征，也就是后面的 $r_t$ 。

$G_t \in \mathbb{R}^{H_p \times W_p}$

# 1. 降维 $G_t$

将 $G_t$ 展平成

$g_t \in \mathbb{R}^{N}$

然后选择 $G_t$ 最高的 top-k 个 patch

$m_{t,i} = \mathbb{I}[i \in \mathrm{TopK}(g_t, k)], \quad i = 1,\dots,N$

其中：

$\mathrm{TopK}(g_t,k)$ ：选出 $g_t$ 中分数最高的 $k$ 个位置；
$\mathbb{I}[\cdot]$ ：指示函数；
$m_{t,i}=1$ ：第 $i$ 个 patch 被选中；
$m_{t,i}=0$ ：第 $i$ 个 patch 未被选中；

作用：
主要应该是为了和 $P_t$ 的形式对齐
$P_t$ 通常是 patch 序列：
P_t \in \mathbb{R}^{N \times C_{vis}}$$ 所以要变成：

g_t \in \mathbbR}({N)

$例如：$

g_t = [0.1, 0.9, 0.2, 0.8]

如果 $k=2$，top-k 位置是第 2 个和第 4 个 patch，那么：

m_t = [0,1,0,1]

##### 2. Mask pooling 有了二值 mask $m_t$ 后，作者用它聚合视觉 patch 特征 $P_t$：

\frac1}{k} \sum_{i=1}({N) m_{t,i}P_

> 只对被选中的 top-k patch 特征求平均 > 动作头希望看到一个紧凑向量 $r_t \in \mathbb{R}^{C_{llm}}$，而不是 k 个分散向量。 - 视觉 patch 特征 $P_t$ 的维度是视觉编码器维度，通常记作 $C_{vis}$。 - VLM hidden state 的维度是 $C_{llm}$。 - 二者维度可能不同，所以需要一个投影矩阵 $W_{aff}$：

r_t = W_aff} \left( \frac{1}{k} \sum_{i=1}({N) m_{t,i}P_{t,i}
\right)

> 将视觉特征维度 $C_{vis}$ 映射到 VLM hidden dimension $C_{llm}$ > 这样 $r_t$ 才能和 $H_t$ 拼接，作为 action head 的输入。 ##### 3. $r_t$ **affordance embedding**。它的维度是：

r_t \in \mathbbR}({C_{llm)}

> 当前任务相关局部交互区域的压缩视觉特征例如任务是拿杯子，$r_t$ 就主要包含杯子可抓取区域的视觉信息。它不是二维 mask，而是一个动作头可以直接处理的向量特征。 ##### 4. 将 affordance embedding 拼接到原始 VLM hidden states 将 affordance embedding 拼接到原始 VLM hidden states 后面：

Z_t = [H_t; r_t]

其中： - $H_t$：原始图像-语言 token 的上下文化特征； - $r_t$：任务相关局部交互区域特征； - $Z_t$：动作头最终使用的条件序列。普通 VLA 的 action head 输入主要来自： ``` 全局图像-语言特征 H_t ``` Afford-VLA 的 action head 输入变成： ``` 全局图像-语言特征 H_t + 局部 affordance 特征 r_t ``` ##### 5. 动作预测公式动作头根据 $Z_t$ 和机器人状态 $s_t$ 预测未来动作片段：

\hat{a}{t+H} = f(Z_t, s_t)

其中： - $\hat{a}_{t+H}$：预测的未来动作 chunk； - $f_{act}$：动作头； - $Z_t$：融合了 affordance embedding 的条件序列； - $s_t$：机器人本体状态。在具体实现中，$f_{act}$ 采用 Isaac-GR00T 中使用的 flow-matching action head。==它通过学习动作轨迹上的条件向量场来预测连续动作片段。== Flow matching 的目标是学习一个条件向量场，使模型可以从噪声或初始轨迹逐步生成目标动作轨迹。在这篇文章里，作者没有修改 action head 的主体结构，只是在它的输入条件中加入了 $r_t$。 #### 4、Action-Aligned Training 动作对齐训练前面 2 和 3 已经说明： - 先预测 affordance logits $G_t$ - 再通过 mask pooling 得到 affordance embedding $r_t$ - 最后用 $r_t$ 辅助 action head 预测动作本节进一步解决训练问题： > affordance 不只是学会预测 mask，还要学会预测对动作有用的 mask。 ==**解决：**== 训练信号来自两部分：

$让 affordance 区域在视觉上接近监督 mask。$

$让 affordance 区域对动作预测有帮助。最终目标是：$

G_t
\rightarrow
r_t
\rightarrow
\hat{a}_

这条路径能够被联合训练，使 affordance prediction 和 action learning 紧密联系起来。 ##### 1. 为什么需要 Action-Aligned Training 普通 affordance 监督只要求模型预测的区域和标签相似，例如：

G_t \approx Y_t

但这只能说明 mask 在视觉上合理，不能保证它对动作生成有用。 Afford-VLA 希望 affordance 满足两点： - 视觉上正确：能定位任务相关区域； - 动作上有用：选出的区域能提升 action prediction。所以训练时同时使用： - affordance grounding loss：监督 mask； - action prediction loss：监督动作。 ##### 2. Top-K 选择的问题在 3.3 节中，模型会从 $G_t$ 中选择 affordance 分数最高的 top-k patch，然后做 mask pooling：

r_t = \Phi_{TopK}(P_t, G_t)

问题是： > hard top-k selection 是不可导的。结果是： > action loss 无法反向更新 affordance logits $G_t$ 和 affordance head。 > ![500](Afford-VLA--Action-Aligned-Visual-Planning-via-Internalized-Affordance-4TU55GGU.assets/image-2026_06_08_01.png) ##### 3. Straight-Through Mask Pooling 为了解决 top-k 不可导的问题，作者使用 straight-through 版本的 mask pooling：

r_t = \Phi_{ST}(P_t, G_t)

它的核心机制是： ###### 前向传播前向传播仍然使用 hard top-k mask pooling。也就是： - 只选择 affordance 分数最高的 top-k patch； - 保持稀疏、局部的视觉选择； - 得到 affordance embedding $r_t$。 ###### 反向传播反向传播时，用 ==soft surrogate== 替代不可导的 top-k 选择。 >**Soft surrogate** 指的是： >用一个连续、可导的“软近似函数”来替代 hard top-k 这种不可导的离散选择，在反向传播时传梯度。 ##### 5. Affordance Grounding Loss Afford-VLA 使用 ground-truth affordance mask $Y_t$ 监督预测 logits $G_t$。损失函数为：

L_aff} = \mathrm{BCEWithLogits}(G_t, Y_t) =-\frac{1}{N} \sum_{i=1}({N)
\left[
y_i \log(\sigma(g_i))
+
(1-y_i)\log(1-\sigma(g_i))
\right]

\sigma(g)=\frac1}{1+e({-g)}

其中： - $G_t$：模型预测的 patch-level affordance logits； - $Y_t$：监督用的 affordance mask，告诉是否是任务相关的交互区域； - $L_{aff}$：约束预测区域与监督 mask 对齐。 ###### BCEWithLogits 二分类交叉熵 > 适合做二分类 mask 监督，可以理解为==判断每个 patch 是否属于 affordance 区域== > 只有是、不是两种情况普通 BCE 的输入是概率 $p$：

L_{BCE} = - \left[ y\log(p)+(1-y)\log(1-p) \right]

其中： - $y=1$：希望预测概率 $p$ 越接近 1 越好； - $y=0$：希望预测概率 $p$ 越接近 0 越好。但是 $G_t$ 是 logit，不是概率。所以 **BCEWithLogits** 做的是：先对 Gt 做 sigmoid，再计算 BCE 也就是：

L_{aff} = \mathrm{BCE}(\sigma(G_t), Y_t)

$它写成：$

Laff=BCEWithLogits(Gt,Yt)

$是因为这样数值更稳定 **梯度下降路径：**$

L_{aff}
\rightarrow
G_t
\rightarrow
D_{aff}
\rightarrow
A_t
\rightarrow
Q_

**可更新参数：** - $D_{aff}$ affordance head 参数 $\theta_{aff}$； - `` token 参数 $Q_{aff}$； - 若 VLM / vision encoder 未冻结，也可以更新相关 backbone 参数。 ##### 6. Action Prediction Loss 动作头根据 $Z_t$ 和机器人状态 $s_t$ 预测未来动作片段：

L_{act} = \ell_{FM}(f_{act}(Z_t, s_t), a_{t:t+H})

其中： - $Z_t$：加入 affordance embedding 后的 action-conditioning sequence； - $s_t$：机器人本体状态； - $a_{t:t+H}$：真实未来动作 chunk； - $\ell_{FM}$：flow-matching training objective。 pi0? ==action head 根据当前条件预测未来动作，然后用 flow-matching loss 衡量预测动作和真实动作之间的差距。== **梯度下降路径：**

L_{act}
\rightarrow
\hat{a}{t:t+H}
\rightarrow
Z_t
\rightarrow
r_t
\rightarrow
G_t
\rightarrow
D
\rightarrow
A_t
\rightarrow
Q_

##### 7. 两阶段训练策略作者使用 two-stage training 提高训练稳定性。 ###### Stage 1：Affordance Warmup 第一阶段只训练 affordance head，使用 dense mask supervision(监督信号不是只有一个整体标签，而是对图像中**每个 patch / 像素位置**都有监督标签)：

这一阶段的作用是： > 先让 affordance head 学会稳定定位任务相关区域。这样可以避免一开始预测很差的 affordance mask 直接进入动作头，影响动作学习。 ###### Stage 2：Joint Training 第二阶段使用模型自己预测的 affordance logits $G_t$ 进行 mask pooling：

r_t = \Phi_{ST}(P_t, G_t)

$然后联合优化：$

L_{joint} = L_{act} + L_

这一阶段中，ground-truth mask $Y_t$ 只用于计算 $L_{aff}$，不用于构造 $r_t$。流程是： $$G_t \rightarrow r_t

而不是：

$Y_t \rightarrow r_t$

# 8. 推理阶段

Afford-VLA 的推理流程是：

根据当前图像和指令预测 affordance logits $G_t$ ；
使用 hard top-k mask pooling 得到 affordance embedding $r_t$ ；
将 $r_t$ 拼接到 $H_t$ 后面；
输入 action head 预测未来动作。

公式为：

$\hat{a}_{t:t+H} f_{act}([H_t; \Phi_{TopK}(P_t, G_t)], s_t)$

# 5.拓展与实现细节

# 1.多视角拓展

多视角时，假设有 $V$ 个摄像头，例如：

腕部相机 wrist camera
外部第三视角相机 external camera

$I_t=\{I_t^v\}_{v=1}^{V}$

其中 $V$ 表示视角数量， $I_t^v$ 表示第 $v$ 个视角的图像。

每个视角独立执行相同的 affordance 生成和 pooling 流程：

$I_t^v \rightarrow \hat{M}_t^v \rightarrow r_t^v$

其中：

$\hat{M}_t^v$ ：第 $v$ 个视角预测出的 affordance mask；
$r_t^v$ ：第 $v$ 个视角对应的 affordance embedding。

# Action Head 输入

所有视角的 affordance embedding 会和原始 VLM hidden states 拼接：

$Z_t = [H_t; r_t^1; \dots; r_t^V]$

然后 action head 基于 $Z_t$ 预测动作。

# 🔬 实验

# 实验前提：

# 1. 硬件条件

仿真实验使用 NVIDIA H200 GPU：

LIBERO 模型训练：4 张 H200
SimplerEnv 模型训练：8 张 H200
仿真推理与评估：4 张 H200

真实机器人实验使用：

机器人：6-DoF ARX X5 机械臂
相机：两台 Intel RealSense D435
- wrist-mounted camera：腕部相机
- primary third-person camera：第三视角主相机
遥操作示教设备：U-Arm

# 2. 模型实现条件

VLM backbone 使用：

Qwen3-VL-4B-Instruct

视觉特征使用：

从 Qwen3-VL 原生 vision encoder 中提取 pre-projector patch features
这些特征用于：
- affordance decoding
- mask pooling

动作头使用：

GR00T-style flow-matching action head
backbone：DiT-B
输出：8-step 7-DoF action chunks
推理步数：4 inference steps

Affordance 分支设置：

每个视角使用 4 个可学习 <AFF> queries
decoder：轻量级 two-way decoder
decoder 层数：2 layers
attention heads：8 heads
hidden size：256

# 3. 训练策略

训练分两阶段：

Stage 1：Affordance warmup

只训练 affordance branch
使用 dense mask supervision
冻结：
- VLM
- action head
  作用：

先让 affordance 分支学会稳定预测任务相关交互区域。

# 实验效果：

# 1.使用的仿真 benchmark

论文在三个仿真 benchmark 上评估 Afford-VLA：

LIBERO：标准语言条件机器人操作 benchmark，主要测试基础操作能力。

说明 Afford-VLA 在需要空间 grounding 和交互区域定位的任务中表现突出。

SimplerEnv：更接近真实桌面操作场景，测试视觉和空间泛化能力。

但论文也指出，Afford-VLA 在部分任务上仍弱于一些方法，例如 block stacking。原因可能是这类任务更依赖轨迹动态、长时序协调和精细控制，而局部 affordance guidance 对这类任务的帮助没有那么直接

LIBERO-Plus：LIBERO 的鲁棒性扩展版本，LIBERO-Plus 在 LIBERO 基础上加入多种扰动，用于测试模型的 zero-shot robustness。

Afford-VLA 能减少无关视觉因素的干扰。

其中，LIBERO-Plus 直接使用在 LIBERO 上训练好的模型测试，不进行 fine-tuning。

# 2.消融实验：

设计了四种设置的消融实验：

(a) 无 affordance 的原始 VLA 基线；
(b) 外部生成的 affordance 注入动作头；
(c) 内部生成 affordance 但无 affordance 条件化的动作预测；
(d) 完整 Afford-VLA 设计，联合学习 affordance 生成与动作条件化。
所有变体均在 LIBERO 上采用相同的训练协议进行评估。

# 3.真实世界实验

进一步在两项真实世界的桌面操作任务上评估 Afford-VLA：

一项是放置任务“杯子放到盘子”
另一项是抓取任务“叉子放入碗中”
测试过程中，任务相关物体在预定义工作空间内随机放置。每个方法在每个任务上评估 20 次试验。

如图所示，Afford-VLA 在两个任务上均取得最佳性能，其中“杯子放到盘子”任务成功率达到 80%，“叉子放入碗中”任务成功率为 70%。这些结果表明，所提出的内部 affordance 规划能够改善真实世界的操作能力，特别是在需要精确定位交互区域的任务中效果明显。

# 📜 结论

# 🤔 个人总结

Tips: 你对哪些内容产生了疑问，你认为可以如何改进？

# 🙋‍♀️ 重点记录

# 反向传播不可导问题

# 1. Hard Top-K 的问题

Hard Top-K 会根据 affordance logits 选择分数最高的 $k$ 个 patch，并输出 0/1 mask：

$m_{t,i} = \mathbb{I}[i \in \mathrm{TopK}(g_t,k)]$

例如：

$g_t = [0.1,\ 0.9,\ 0.2,\ 0.8]$

当 $k=2$ 时，分数最高的是第 2 和第 4 个 patch：

$m_t = [0,\ 1,\ 0,\ 1]$

这里的 $m_t$ 是离散选择结果。只要排序不变， $m_t$ 就不变；排序一旦变化， $m_t$ 会突然跳变。
因此：

$\frac{\partial m_t}{\partial g_t}$

大多数时候为 0，在排序切换点不可导。

结果是 action loss 的梯度路径被阻断：

$L_{act} \rightarrow r_t \rightarrow m_t \not\rightarrow G_t$

所以，动作损失很难直接更新 affordance logits $G_t$ 和 affordance head $D_{aff}$ 。

# 2. Soft Surrogate 的做法

Soft surrogate 用连续权重替代 0/1 选择，使反向传播可以计算梯度。
常见形式是 softmax：

$w_i = \frac{\exp(g_i / \tau)} {\sum_j \exp(g_j / \tau)}$

其中：

$g_i$ ：第 $i$ 个 patch 的 affordance logit；
$\tau$ ：temperature，用来控制分布软硬程度；
$w_i$ ：第 $i$ 个 patch 的软权重。

例如：

$g_t = [0.1,\ 0.9,\ 0.2,\ 0.8]$

softmax 后可能得到：

$w \approx [0.158,\ 0.351,\ 0.174,\ 0.317]$

此时每个 patch 都有连续权重，池化可以写成：

$r_t^{soft} = \sum_{i=1}^{N} w_i P_{t,i}$

而 softmax 对g的梯度是：

$\frac{1}{\tau}w_i(\delta_{ij}-w_j)$

所以：

$\frac{\partial r_t^{soft}}{\partial g_j}= \sum_{i=1}^{N} \frac{\partial w_i}{\partial g_j}P_{t,i}=\frac{1}{\tau}w_j \left( P_{t,j} - r_t^{soft} \right)$

假设有 4 个 patch：

$g_t = [0.1,\ 0.9,\ 0.2,\ 0.8]$

设：

$\tau = 1$

softmax 后近似得到：

$w = [0.158,\ 0.351,\ 0.174,\ 0.317]$

假设每个 patch 的视觉特征是一维：

$P_t = [1,\ 10,\ 2,\ 8]$

那么 soft pooling 为：

$0.158 \times 1 + 0.351 \times 10 + 0.174 \times 2 + 0.317 \times 8$

计算得到：

$r_t^{soft} \approx 6.552$

求第 2 个 patch 的梯度

要求：

$\frac{\partial r_t^{soft}}{\partial g_2}$

根据公式：

$w_2(P_{t,2} - r_t^{soft})$

代入：

$w_2 = 0.351$

$P_{t,2} = 10$

$r_t^{soft} = 6.552$

所以：

$0.351(10 - 6.552)$

$\frac{\partial r_t^{soft}}{\partial g_2} \approx 1.21$

含义是：提高第 2 个 patch 的 affordance logit，会让 $r_t^{soft}$ 增大，因为第 2 个 patch 的特征值 $10$ 高于当前 pooled feature $6.552$ 。

求第 1 个 patch 的梯度

同理：

$w_1(P_{t,1} - r_t^{soft})$

代入：

$w_1 = 0.158$

$P_{t,1} = 1$

$r_t^{soft} = 6.552$

所以：

$0.158(1 - 6.552)$

$\frac{\partial r_t^{soft}}{\partial g_1} \approx -0.877$

含义是：提高第 1 个 patch 的权重，会把 pooled feature 往低值方向拉，因为第 1 个 patch 的特征值 $1$ 低于当前 pooled feature $6.552$ 。

# 3. 可以更新的参数

使用 soft surrogate 后， $L_{act}$ 可以更新：

action head 参数： $f_{act}$
affordance 投影层： $W_{aff}$
affordance head： $D_{aff}$
<AFF> query tokens： $Q_{aff}$
参与生成 $A_t$ 、 $P_t$ 的 VLM / vision encoder 参数

具体哪些参数参与更新，取决于训练阶段是否冻结。

训练总目标是：

$L_{joint} = L_{act} + L_{aff}$

其中：

$L_{aff} = \mathrm{BCEWithLogits}(G_t,Y_t)$

$L_{aff}$ 负责让 affordance mask 和监督标签对齐。
$L_{act}$ 负责让 affordance mask 对动作预测有用。

# 4. 其他替代方法

# 4.1 Dense Soft Mask Pooling

直接用 softmax 权重池化所有 patch：

$r_t = \sum_{i=1}^{N} w_i P_{t,i}$

优点：完全可导。
缺点：所有 patch 都参与池化，容易混入背景和无关物体，局部性变弱。

# 4.2 Gumbel-Softmax / Gumbel-TopK

用 Gumbel 噪声近似离散采样。

优点：接近离散选择，也能传梯度。
缺点：训练更不稳定，对 temperature 敏感。

# 4.3 Soft Top-K / Differentiable Sorting

使用可导排序或可导 top-k 近似。

优点：更接近 top-k 排序过程。
缺点：实现复杂，计算成本更高。

# 4.4 REINFORCE / Policy Gradient

把选择 patch 看成采样动作，用强化学习估计梯度。

优点：可以处理离散选择。
缺点：梯度方差大，训练不稳定。

# 4.5 只用 Affordance Loss

只用监督 mask 训练 affordance head：

$L_{aff}$

优点：简单。
缺点：只能让 mask 接近监督标签，不能保证 mask 对动作预测最有用。

# 📌 待解决

# 💭 思考启发

STL_逻辑监测_baseline

2026-06-04T07:27:19.000Z

# STL / 逻辑监测 baseline 论文整理

主题定位：这组论文用于支撑“基于 STL 的 VLA 运行时监测”中的形式化监测 baseline。排序不是按时间，而是按学习和实验使用优先级：先看可落地工具，再看理论基础，再看机器人任务、可微训练、不确定观测和新工具。

# 1. RTAMT -- Runtime Robustness Monitors with Application to CPS and Robotics

发表日期：2025-01-22（arXiv 提交；期刊版本发表于 2024）

技术细节总结： RTAMT 的核心不是提出新的机器人策略，而是提供可直接调用的 STL 定量监测工具链。它把 STL 公式解析、在线/离线监测、离散/稠密时间语义、ROS/Simulink 接口统一到一个工程框架里。和 Robust Online Monitoring 相比，它更偏工具实现；和 STLCG 相比，它更偏运行时监测，而不是训练时反向传播；和 mstlo 相比，它的优势是机器人/CPS 集成案例更成熟。

定位：最适合工程实现的 STL runtime monitor baseline，尤其适合 ROS/VLA 系统集成。

原文摘要：

In this paper, we present Real-Time Analog Monitoring Tool (RTAMT), a tool for quantitative monitoring of Signal Temporal Logic (STL) specifications. The library implements a flexible architecture that supports: (1) various environments connected by an Application Programming Interface (API) in Python, (2) various flavors of temporal logic specification and robustness notion such as STL, including an interface-aware variant that distinguishes between input and output variables, and (3) discrete-time and dense-time interpretation of STL with generation of online and offline monitors. We specifically focus on robotics and Cyber-Physical Systems (CPSs) applications, showing how to integrate RTAMT with (1) the Robot Operating System (ROS) and (2) MATLAB/Simulink environments. We evaluate the tool by demonstrating several use scenarios involving service robotic and avionic applications.

中文翻译：

本文提出 Real-Time Analog Monitoring Tool（RTAMT），这是一个用于对信号时序逻辑（STL）规范进行定量监测的工具。该库实现了灵活的架构，支持：（1）通过 Python API 连接不同运行环境；（2）多种时序逻辑规范和鲁棒性定义，包括 STL 以及区分输入/输出变量的接口感知变体；（3）离散时间和稠密时间 STL 解释，并能生成在线与离线监测器。文章重点面向机器人和信息物理系统（CPS）应用，展示了 RTAMT 如何与 ROS 和 MATLAB/Simulink 集成，并通过服务机器人和航空电子应用案例验证工具的使用场景。

具体方法：
- 构建 Python API 形式的 STL 定量监测工具。
- 支持 online/offline monitoring、discrete-time/dense-time STL。
- 支持 STL robustness 计算，并能与 ROS、MATLAB/Simulink 连接。
效果 / 贡献 / 创新点：
- 对你的方向最直接：可以作为 STL + VLA 的工程 baseline。
- 可以在 VLA 执行过程中实时读取机器人状态、末端位姿、目标距离、障碍物距离等信号，并输出 STL robustness。
- 适合用来对比：无监控、阈值监控、STL Boolean Monitor、STL Robustness Monitor。

# 2. Robust Online Monitoring of Signal Temporal Logic

发表日期：2015-06-26（arXiv 提交）

技术细节总结： 这篇文章解决的是 STL 在线监测的基础语义问题：执行轨迹还没完整产生时，如何判断公式目前可能满足、可能违反，或者还无法确定。它引入针对 partial trace 的鲁棒监测语义，用区间形式描述当前证据。和 RTAMT 相比，它更偏理论基础；和传统离线 STL 监测相比，它允许在执行过程中提前给出判断。

定位：STL 在线鲁棒监测的理论基础，适合放在 related work 最前面。

原文摘要：

Signal Temporal Logic (STL) is a formalism used to rigorously specify requirements of cyberphysical systems (CPS), i.e., systems mixing digital or discrete components in interaction with a continuous environment or analog components. STL is naturally equipped with a quantitative semantics which can be used for various purposes: from assessing the robustness of a specification to guiding searches over the input and parameter space with the goal of falsifying the given property over system behaviors. Algorithms have been proposed and implemented for offline computation of such quantitative semantics, but only few methods exist for an online setting, where one would want to monitor the satisfaction of a formula during simulation. In this paper, we formalize a semantics for robust online monitoring of partial traces, i.e., traces for which there might not be enough data to decide the Boolean satisfaction (and to compute its quantitative counterpart). We propose an efficient algorithm to compute it and demonstrate its usage on two large scale real-world case studies coming from the automotive domain and from CPS education in a Massively Open Online Course (MOOC) setting. We show that savings in computationally expensive simulations far outweigh any overheads incurred by an online approach.

中文翻译：

信号时序逻辑（STL）是一种形式化方法，用于严格描述信息物理系统（CPS）的需求，即数字/离散组件与连续环境或模拟组件交互的系统。STL 天然具有定量语义，可用于多种目的，例如评估规范的鲁棒性，或引导对输入和参数空间的搜索以发现系统行为中违反给定性质的情况。已有算法可以离线计算这种定量语义，但在线场景下的方法较少，而在线场景需要在仿真过程中监测公式是否满足。本文形式化了部分轨迹的鲁棒在线监测语义，即在数据尚不足以判断布尔满足性及其定量对应值时的轨迹。作者提出了高效计算算法，并在汽车领域和 CPS 在线课程的大规模真实案例中展示其用途。结果表明，在线方法在计算昂贵仿真中节省的成本远大于其带来的额外开销。

具体方法：
- 针对“部分轨迹”定义 STL robust online monitoring 语义。
- 使用 Robust Satisfaction Intervals（RoSI）描述当前轨迹对公式满足/违反的可能区间。
- 在仿真尚未结束时就提前判断公式是否可能满足或违反。
效果 / 贡献 / 创新点：
- 奠定了 STL online monitor 的基本理论。
- 对 VLA 场景很有用：机器人执行时轨迹是逐步生成的，monitor 不能等整段轨迹结束后再判断。
- 可作为你 STL runtime monitor 的理论 baseline。

# 3. SpaTiaL: monitoring and planning of robotic tasks using spatio-temporal logic specifications

发表日期：2023-11-03（Springer Online Published）

技术细节总结： SpaTiaL 的重点是把机器人任务中的对象关系显式写成空间逻辑和时间逻辑，例如“杯子在盘子旁边”“先放置再填充”。它比普通 STL 更面向物体级 manipulation task，不只看连续信号曲线，也看对象之间的空间关系。和 RTAMT/Robust Online Monitoring 相比，它更接近 VLA 的自然语言任务语义；和 Code-as-Monitor 相比，它使用显式逻辑规范，而不是由 VLM 生成代码。

定位：机器人任务级“空间 + 时间逻辑”监测与规划 baseline，和具身操作任务非常接近。

原文摘要：

Many tasks require robots to manipulate objects while satisfying a complex interplay of spatial and temporal constraints. For instance, a table setting robot first needs to place a mug and then fill it with coffee, while satisfying spatial relations such as forks need to placed left of plates. We propose the spatio-temporal framework SpaTiaL that unifies the specification, monitoring, and planning of object-oriented robotic tasks in a robot-agnostic fashion. SpaTiaL is able to specify diverse spatial relations between objects and temporal task patterns. Our experiments with recorded data, simulations, and real robots demonstrate how SpaTiaL provides real-time monitoring and facilitates online planning. SpaTiaL is open source and easily expandable to new object relations and robotic applications.

中文翻译：

许多任务要求机器人在操作物体时满足复杂的空间和时间约束。例如，一个摆桌子的机器人需要先放置杯子，再往杯子里倒咖啡，同时还要满足叉子应放在盘子左侧等空间关系。本文提出了时空框架 SpaTiaL，以与具体机器人无关的方式统一面向对象机器人任务的规范、监测和规划。SpaTiaL 能够描述物体之间多样的空间关系和时间任务模式。作者通过记录数据、仿真和真实机器人实验表明，SpaTiaL 能够提供实时监测并促进在线规划。SpaTiaL 是开源的，并且易于扩展到新的物体关系和机器人应用。

具体方法：
- 提出 SpaTiaL 框架，用于描述物体之间的空间关系和时间约束。
- 将任务规范、执行监测和在线规划统一起来。
- 支持对象中心的机器人任务描述，而不是只监测机器人自身状态。
效果 / 贡献 / 创新点：
- 比普通 STL 更贴近 VLA 机械臂操作，因为 VLA 任务通常涉及物体关系：抓取、靠近、远离、放入、先后顺序。
- 可作为“逻辑监测用于机器人任务”的强 related work。
- 适合支撑你将自然语言任务转化为时空逻辑约束的论述。

# 4. Optimization-based Motion Planning and Runtime Monitoring for Robotic Agent with Space and Time Tolerances

发表日期：2020（IFAC-PapersOnLine, Vol. 53, Issue 2）

技术细节总结： 这篇把 STL 公式转成 MILP 约束，用优化器生成满足时空容差的参考轨迹，并在运行时用预测轨迹的 robustness 触发 MPC 自纠正。它的特点是“规划—监测—纠正”都在模型驱动框架内完成。和你的 STL+VLA 方向相比，它依赖明确动力学模型和优化控制器；你的方法则可以把 STL monitor 外接到黑盒或半黑盒 VLA policy 上。

定位：传统机器人 STL 规划 + runtime monitoring + self-correction baseline。

原文摘要：

We present an optimization-based approach for robot planning, monitoring and self-correction problems under signal temporal logic specifications (STL). The STL specifications are translated into mixed-integer linear constraints, and we generate the reference trajectory by solving a mixed-integer-linear-programming (MILP) to maximize the overall space and time tolerances. During runtime execution, a prediction module is constantly evaluating the robustness degree of the predicted trajectory, and a self-correction module based on event-triggered model predictive control (MPC) has been designed to predict and correct possible future violations of the specifications. Simulation results show that with our approach, the robotic agent is able to generate a path that satisfies the STL specifications while maximizing space and time tolerances, and able to make corrections when there are possible violations of the specifications during runtime execution.

中文翻译：

本文提出一种基于优化的方法，用于解决信号时序逻辑（STL）规范下的机器人规划、监测和自纠正问题。STL 规范被转换为混合整数线性约束，并通过求解混合整数线性规划（MILP）生成参考轨迹，以最大化整体空间和时间容差。在运行时执行过程中，一个预测模块持续评估预测轨迹的鲁棒度，另一个基于事件触发模型预测控制（MPC）的自纠正模块用于预测并纠正未来可能出现的规范违反。仿真结果表明，该方法能够生成满足 STL 规范且最大化空间和时间容差的路径，并在运行时可能违反规范时进行纠正。

具体方法：
- 将 STL 公式转化为 MILP 约束。
- 通过优化生成最大化空间/时间容差的参考轨迹。
- 运行时用预测模块评估未来轨迹的 STL robustness，并用事件触发 MPC 自纠正。
效果 / 贡献 / 创新点：
- 展示了 STL 不仅能做检测，还能驱动规划和纠正。
- 可作为你对比传统方法的 baseline：传统方法依赖模型、MILP、MPC；你的方法则将 STL monitor 接到 VLA policy 外部。
- 适合写成“model-based STL planning/monitoring baseline”。

# 5. Backpropagation through Signal Temporal Logic Specifications: Infusing Logical Structure into Gradient-Based Methods

发表日期：2020-07-31（arXiv v1；2021-12-27 v3；IJRR 版本发表于 2022）

技术细节总结： STLCG 的核心是把 STL robustness 计算写成 computation graph，使逻辑约束可以参与梯度反向传播。它适合把 STL 变成训练损失或优化目标，而不是只在运行时做告警。和 RTAMT 相比，它偏可微训练；和 Optimization-based STL+MPC 相比，它更适合神经网络/梯度优化系统。

定位：可微 STL baseline，适合未来把 STL 约束加入 VLA 微调或策略优化。

原文摘要：

This paper presents a technique, named STLCG, to compute the quantitative semantics of Signal Temporal Logic (STL) formulas using computation graphs. STLCG provides a platform which enables the incorporation of logical specifications into robotics problems that benefit from gradient-based solutions. Specifically, STL is a powerful and expressive formal language that can specify spatial and temporal properties of signals generated by both continuous and hybrid systems. The quantitative semantics of STL provide a robustness metric, i.e., how much a signal satisfies or violates an STL specification. In this work, we devise a systematic methodology for translating STL robustness formulas into computation graphs. With this representation, and by leveraging off-the-shelf automatic differentiation tools, we are able to efficiently backpropagate through STL robustness formulas and hence enable a natural and easy-to-use integration of STL specifications with many gradient-based approaches used in robotics. Through a number of examples stemming from various robotics applications, we demonstrate that STLCG is versatile, computationally efficient, and capable of incorporating human-domain knowledge into the problem formulation.

中文翻译：

本文提出一种名为 STLCG 的技术，用计算图计算信号时序逻辑（STL）公式的定量语义。STLCG 提供了一个平台，使逻辑规范能够融入受益于梯度方法的机器人问题中。具体而言，STL 是一种强大且表达力丰富的形式化语言，能够描述连续系统和混合系统生成信号的空间与时间性质。STL 的定量语义提供了鲁棒性度量，即一个信号在多大程度上满足或违反 STL 规范。本文提出一种系统方法，将 STL 鲁棒性公式转换为计算图。借助这种表示和现成的自动微分工具，作者能够高效地对 STL 鲁棒性公式进行反向传播，从而使 STL 规范能够自然、易用地集成进机器人领域常用的梯度方法。通过多个机器人应用案例，作者展示了 STLCG 的通用性、计算效率，以及将人类领域知识融入问题建模的能力。

具体方法：
- 将 STL robustness 公式转化为 computation graph。
- 使用自动微分工具对 STL robustness 进行反向传播。
- 将逻辑规范作为可微约束或损失项接入机器人优化问题。
效果 / 贡献 / 创新点：
- 从“运行时监测”扩展到“训练时逻辑约束”。
- 对你的后续扩展很重要：可以把 STL robustness 作为 VLA/RL/trajectory optimization 的训练信号。
- 可作为 STL-guided training 或 differentiable formal specification 的 baseline。

# 6. A Truly Robust Signal Temporal Logic: Monitoring Safety Properties of Interacting Cyber-Physical Systems under Uncertain Observation

发表日期：2022-04-11（MDPI Algorithms Published）

技术细节总结： 这篇关注观测不确定性下的 STL 监测：传感器值有误差、部分状态不可观测时，监测器如何仍然给出可靠判断。它的区别在于把测量误差、部分观测和系统动态模型纳入监测语义。对 VLA 很有用，因为 VLA monitor 的输入常来自目标检测、深度估计、相机位姿和夹爪状态，这些信号天然存在噪声。

定位：不确定观测下的 STL 监测 baseline，适合 VLA 中视觉估计误差、目标检测误差、深度噪声等问题。

原文摘要：

Signal Temporal Logic is a linear-time temporal logic designed for classifying the time-dependent signals originating from continuous-state or hybrid-state dynamical systems according to formal specifications. It has been conceived as a tool for systematizing the monitoring of cyber-physical systems, supporting the automatic translation of complex safety specifications into monitoring algorithms, faithfully representing their semantics. Almost all algorithms hitherto suggested do, however, assume perfect identity between the sensor readings, informing the monitor about the system state and the actual ground truth. Only recently have Visconti et al. addressed the issue of inexact measurements, taking up the simple model of interval-bounded per-sample error that is unrelated, in the sense of chosen afresh, across samples. We expand their analysis by decomposing the error into an unknown yet fixed offset and an independent per-sample error and show that in this setting, monitoring of temporal properties no longer coincides with collecting Boolean combinations of state predicates evaluated in each time instant over best-possible per-sample state estimates, but can be genuinely more informative in that it infers determinate truth values for monitoring conditions that interval-based evaluation remains inconclusive about. For the model-free as well as for the linear model-based case, we provide optimal evaluation algorithms based on affine arithmetic and SAT modulo theory, solving over linear arithmetic. The resulting algorithms provide conclusive monitoring verdicts in many cases where state estimations inherently remain inconclusive. In their model-based variants, they can simultaneously address the issues of uncertain sensing and partial observation.

中文翻译：

信号时序逻辑是一种线性时间时序逻辑，用于根据形式化规范对来自连续状态或混合状态动态系统的时间相关信号进行分类。它被设计为系统化监测信息物理系统的工具，支持将复杂安全规范自动转换为监测算法，并忠实表示其语义。然而，几乎所有已有算法都假设传感器读数与系统真实状态完全一致。近期 Visconti 等人才开始处理不精确测量问题，他们采用的是每个采样点具有区间有界误差且各采样之间相互无关的简单模型。本文扩展了这一分析，将误差分解为未知但固定的偏置和独立的逐采样误差，并表明在这种设定下，时序性质监测不再等同于对每个时刻最佳状态估计上的状态谓词做布尔组合；相反，它能够在区间评估仍不确定时推断出确定的监测真值。对于无模型和线性模型两种情况，作者分别基于仿射算术和 SAT modulo theory 提供了最优评估算法，在线性算术上求解。所得算法在许多状态估计本身仍不确定的情况下，也能给出确定的监测结论；在基于模型的变体中，还能同时处理传感不确定和部分观测问题。

具体方法：
- 将观测误差分解为固定偏置和逐样本误差。
- 使用 affine arithmetic 和 SMT/SAT modulo theory 对不确定信号进行 STL 监测。
- 支持无模型和线性模型两种情况。
效果 / 贡献 / 创新点：
- 解决“monitor 输入信号不可靠”的问题。
- 对 VLA 很关键：VLA 的任务状态通常来自视觉检测、深度估计、物体跟踪，天然有噪声。
- 可作为 uncertainty-aware STL monitoring 的 related work。

# 7. mstlo: Efficient Online Monitoring of Signal Temporal Logic

发表日期：2026-05-26（arXiv v1；2026-05-28 v2）

技术细节总结： mstlo 的重点是高性能在线监测实现，使用 Rust + Python bindings，并通过 bottom-up dynamic programming、operator caching、streaming extremum computation 提升大时域和深层嵌套公式的效率。和 RTAMT 相比，它更新、更强调性能；和 Robust Online Monitoring 相比，它更偏工具和算法工程。

定位：最新高性能 STL online monitoring 工具，可作为 RTAMT 之外的新工具 baseline。

原文摘要：

We present mstlo (mistletoe), a Rust library for high-performance online monitoring of signal temporal logic (STL), with Python bindings. The library provides: (i) a unified interface for multiple STL semantics, including Robust Satisfaction Intervals (RoSI) and Boolean evaluation with early verdicts; (ii) an incremental monitoring algorithm based on bottom-up dynamic programming with per-operator caching and streaming extremum computation for temporal operators; and (iii) an embedded STL domain-specific language for both Rust and Python implementations, with procedural macros in Rust for static syntax checking. Benchmarks show scalability and performance improvements over state-of-the-art tools, especially for formulas with large temporal depth and deep nesting.

中文翻译：

本文提出 mstlo（mistletoe），这是一个用于高性能在线监测信号时序逻辑（STL）的 Rust 库，并提供 Python 绑定。该库提供：（1）统一接口以支持多种 STL 语义，包括 Robust Satisfaction Intervals（RoSI）和具有提前判定能力的布尔评估；（2）一种基于自底向上动态规划、逐算子缓存和时序算子流式极值计算的增量监测算法；（3）面向 Rust 和 Python 的嵌入式 STL 领域专用语言，并在 Rust 中通过过程宏进行静态语法检查。基准测试显示，mstlo 相比现有先进工具具有更好的可扩展性和性能，尤其适用于时间深度大、嵌套层级深的公式。

具体方法：
- 使用 Rust 实现高性能 STL 在线监测，并提供 Python 接口。
- 支持 RoSI、Boolean early verdict、增量式动态规划、算子缓存。
- 提供嵌入式 STL DSL，便于编写和检查公式。
效果 / 贡献 / 创新点：
- 强调性能和可扩展性，适合长时序、深嵌套公式。
- 对 VLA 运行时部署有潜力：如果 monitor 频率高、公式复杂，性能会比传统 Python 实现更重要。
- 可作为“最新 STL 工具链”参考，但工程成熟度可能需要进一步验证。

# 建议实验 baseline 组合

Baseline 1: No Monitor
Baseline 2: Threshold Rule Monitor
Baseline 3: RTAMT Boolean STL Monitor
Baseline 4: RTAMT Robustness STL Monitor
Baseline 5: SpaTiaL-style object-relation monitor
Baseline 6: STLCG-style differentiable STL loss, if training is involved
Baseline 7: mstlo high-performance online STL monitor, if real-time frequency matters

# 对你课题的直接写法

这些工作说明 STL 已经能够在 CPS 与机器人系统中提供可解释、可量化、可在线运行的逻辑监测能力。但传统 STL 监测通常面向模型驱动系统、轨迹规划或已有控制器，而 VLA 模型的动作来自视觉-语言-动作策略，具有开放世界语义、不确定视觉输入和执行失败风险。因此，将 STL 作为 VLA 执行轨迹的外部 runtime monitor，可以连接形式化验证和具身智能策略执行。

VLA_VLM_Monitor_baseline

2026-06-04T07:26:33.000Z

# VLA / VLM Monitor baseline 论文整理

主题定位：这组论文用于支撑“VLA-Monitor / VLA 运行时失败检测与恢复”的相关工作。排序不是按时间，而是按学习和实验优先级：最前面先放一篇逻辑约束机器人学习的前置工作，帮助连接 STL/LTL 与机器人策略；随后看最接近 STL + VLA 的 monitor 工作，再看失败推理、恢复、动作级监测、轨迹级监测和内生式状态监控。

# 1. Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations

发表日期：2022-06-09（arXiv v1）；CoRL 2022；PMLR 205:94-105（proceedings 2023）

技术细节总结： 这篇文章不是 VLA/VLM monitor，但非常适合放在 VLA-Monitor 文档最前面作为“逻辑约束机器人策略学习”的前置工作。它使用 LTL 描述离散任务计划，用 task automaton 处理任务级重规划，用 DS motion policy 保证连续运动的 reachability，再通过 mode boundary modulation 保证 mode invariance。它和 Code-as-Monitor、FailSafe、Sentinel-VLA 的核心差异是：它不依赖 VLM/VLA，而是把形式化逻辑直接嵌入传统模仿学习策略；你的 STL + VLA 可以理解为把这类形式化逻辑约束思想迁移到 VLA 运行时监测与恢复中。

定位：LTL + 模仿学习 + 机器人任务恢复；适合作为 STL/LTL → 机器人策略执行 → Monitor/Recovery 的理论前置 baseline。

原文摘要：

Learning from demonstration (LfD) has successfully solved tasks featuring a long time horizon. However, when the problem complexity also includes human-in-the-loop perturbations, state-of-the-art approaches do not guarantee the successful reproduction of a task. In this work, we identify the roots of this challenge as the failure of a learned continuous policy to satisfy the discrete plan implicit in the demonstration. By utilizing modes (rather than subgoals) as the discrete abstraction and motion policies with both mode invariance and goal reachability properties, we prove our learned continuous policy can simulate any discrete plan specified by a linear temporal logic (LTL) formula. Consequently, an imitator is robust to both task- and motion-level perturbations and guaranteed to achieve task success.

中文翻译：

从示范学习（LfD）已经成功解决了具有长时间跨度的任务。然而，当问题复杂性还包含人类在环扰动时，现有方法无法保证任务能够被成功复现。本文指出，这一挑战的根源在于：学到的连续策略没有满足示范中隐含的离散计划。作者使用 modes 而不是 subgoals 作为离散抽象，并结合同时具有 mode invariance 和 goal reachability 性质的运动策略，证明学到的连续策略可以模拟任意由 线性时序逻辑（LTL）公式指定的离散计划。因此，模仿器能够同时对任务级扰动和运动级扰动保持鲁棒，并保证任务成功。

具体方法：
- 将任务抽象为多个 mode，每个 mode 对应一类传感器状态或机器人-环境配置。
- 用 LTL 公式描述合法的 mode transition，并将 LTL 转换为 task automaton。
- 每个 mode 内学习一个具有全局渐近稳定性的 Dynamical System motion policy，用于保证 goal reachability。
- 当扰动导致意外 mode transition 时，task automaton 会重新规划合法的 mode sequence。
- 通过在线估计 mode boundary，并使用 modulation matrix 调整 DS 向量场，避免连续策略反复离开当前 mode，从而保证 mode invariance。
- 其核心保证可以概括为：离散自动机保证任务级计划满足 LTL，连续 DS 策略通过 invariance 与 reachability 保证能够模拟该离散计划。
效果 / 贡献 / 创新点：
- 提出 Temporal Logic Imitation（TLI） 问题，把模仿学习从“模仿连续轨迹”提升为“模仿满足逻辑计划的连续执行”。
- 证明了在给定假设下，LTL-DS 生成的连续系统轨迹可以满足任意 LTL specification。
- 在多步 scooping 任务中，未加 modulation 的 DS 可能因 mode invariance failure 反复失败；加入 modulation 后能够避免循环并完成任务。
- 真实 Franka 机械臂实验中，系统能应对运动级扰动和任务级扰动，并通过 LTL 重规划恢复执行。
- 对你的启发：可以把 VLA 失败拆成 invariance failure 和 reachability failure，用 STL monitor 分别表达“始终保持安全/接触/姿态约束”和“在规定时间内到达目标/完成阶段”。
- 与 STL + VLA 的关系：本文是 LTL + LfD + DS，你的方向可以强调 STL + VLA + runtime monitoring，从传统可证明策略迁移到现代 VLA 黑盒策略。

# 2. Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection

发表日期：2024-12-05（arXiv v1；2025-03-21 v3；CVPR 2025）

技术细节总结： CaM 的核心是让 VLM 把任务失败检测转成时空约束满足问题，再生成可执行代码实时检查。它同时处理 reactive failure detection 和 proactive failure prevention。和 STL+VLA 最接近，但区别是：CaM 的约束来自 VLM 生成代码，灵活但形式化保证弱；STL 方法的约束由逻辑公式表达，鲁棒度可解释、可验证。

定位：和 STL + VLA 最接近的非 STL baseline；它用 VLM 生成代码做时空约束监测。

原文摘要：

Automatic detection and prevention of open-set failures are crucial in closed-loop robotic systems. Recent studies often struggle to simultaneously identify unexpected failures reactively after they occur and prevent foreseeable ones proactively. To this end, we propose Code-as-Monitor (CaM), a novel paradigm leveraging the vision-language model (VLM) for both open-set reactive and proactive failure detection. The core of our method is to formulate both tasks as a unified set of spatio-temporal constraint satisfaction problems and use VLM-generated code to evaluate them for real-time monitoring. To enhance the accuracy and efficiency of monitoring, we further introduce constraint elements that abstract constraint-related entities or their parts into compact geometric elements. This approach offers greater generality, simplifies tracking, and facilitates constraint-aware visual programming by leveraging these elements as visual prompts. Experiments show that CaM achieves a 28.7% higher success rate and reduces execution time by 31.8% under severe disturbances compared to baselines across three simulators and a real-world setting. Moreover, CaM can be integrated with open-loop control policies to form closed-loop systems, enabling long-horizon tasks in cluttered scenes with dynamic environments.

中文翻译：

在闭环机器人系统中，自动检测和预防开放集失败至关重要。现有研究通常难以同时做到：在意外失败发生后进行反应式识别，以及在可预见失败发生前进行主动预防。为此，本文提出 Code-as-Monitor（CaM），这是一种利用视觉语言模型（VLM）进行开放集反应式和主动式失败检测的新范式。其核心方法是将两类任务统一表述为时空约束满足问题，并使用 VLM 生成的代码对其进行实时监测。为了提高监测准确性和效率，作者进一步提出 constraint elements，将与约束相关的实体或其局部抽象成紧凑的几何元素。该方法具有更好的通用性，简化了跟踪，并通过这些元素作为视觉提示促进约束感知的视觉编程。实验显示，在三个仿真器和真实环境中，相比 baseline，CaM 在强干扰下成功率提高 28.7%，执行时间减少 31.8%。此外，CaM 可与开环控制策略集成形成闭环系统，使机器人能够在杂乱、动态环境中执行长时程任务。

具体方法：
- 将 reactive failure detection 和 proactive failure prevention 统一为 spatio-temporal constraint satisfaction。
- 使用 VLM 生成可执行监测代码。
- 使用 constraint elements 抽象关键物体、部件和几何关系。
效果 / 贡献 / 创新点：
- 是你 STL + VLA 的最强对照之一。
- CaM 的约束由 VLM 生成代码表达；你的方案可强调 STL 的形式化语义、可验证性和 robustness score。
- 可作为实验 baseline：VLM-generated code monitor vs STL formal monitor。

# 3. AHA: A Vision-Language-Model for Detecting and Reasoning Over Failures in Robotic Manipulation

发表日期：2024-10-01（arXiv 提交）

技术细节总结： AHA 把机器人失败检测建模为自由形式的自然语言推理任务，并用 FailGen 从成功轨迹中程序化生成失败数据。它输出“是否失败”和“为什么失败”。和 CaM 相比，AHA 更偏语义解释，不生成实时监控代码；和 STL monitor 相比，它依赖学习到的 VLM 推理，而不是形式化逻辑公式。

定位：机器人操作失败检测与自然语言解释的重要 baseline。

原文摘要：

Robotic manipulation in open-world settings requires not only task execution but also the ability to detect and learn from failures. While recent advances in vision-language models (VLMs) and large language models (LLMs) have improved robots' spatial reasoning and problem-solving abilities, they still struggle with failure recognition, limiting their real-world applicability. We introduce AHA, an open-source VLM designed to detect and reason about failures in robotic manipulation using natural language. By framing failure detection as a free-form reasoning task, AHA identifies failures and provides detailed, adaptable explanations across different robots, tasks, and environments. We fine-tuned AHA using FailGen, a scalable framework that generates the first large-scale dataset of robotic failure trajectories, the AHA dataset. FailGen achieves this by procedurally perturbing successful demonstrations from simulation. Despite being trained solely on the AHA dataset, AHA generalizes effectively to real-world failure datasets, robotic systems, and unseen tasks. It surpasses the second-best model (GPT-4o in-context learning) by 10.3% and exceeds the average performance of six compared models including five state-of-the-art VLMs by 35.3% across multiple metrics and datasets. We integrate AHA into three manipulation frameworks that utilize LLMs/VLMs for reinforcement learning, task and motion planning, and zero-shot trajectory generation. AHA's failure feedback enhances these policies' performances by refining dense reward functions, optimizing task planning, and improving sub-task verification, boosting task success rates by an average of 21.4% across all three tasks compared to GPT-4 models.

中文翻译：

开放世界中的机器人操作不仅需要执行任务，还需要检测失败并从失败中学习。虽然视觉语言模型（VLM）和大语言模型（LLM）的进展提升了机器人的空间推理和问题解决能力，但它们仍然难以识别失败，这限制了其真实世界适用性。本文提出 AHA，这是一个开源 VLM，专门用于以自然语言检测和推理机器人操作失败。通过将失败检测表述为自由形式推理任务，AHA 能够在不同机器人、任务和环境中识别失败并提供详细、可适应的解释。作者使用 FailGen 对 AHA 进行微调，FailGen 是一个可扩展框架，通过程序化扰动仿真中的成功示范，生成首个大规模机器人失败轨迹数据集 AHA dataset。尽管 AHA 仅在该数据集上训练，它仍能有效泛化到真实失败数据集、不同机器人系统和未见任务。AHA 在多个指标和数据集上比第二好的模型（GPT-4o in-context learning）高 10.3%，比包括五个 SOTA VLM 在内的六个模型平均表现高 35.3%。作者还将 AHA 集成到强化学习、任务与运动规划、零样本轨迹生成三个操作框架中，通过优化密集奖励、任务规划和子任务验证，使三个任务的成功率相比 GPT-4 模型平均提升 21.4%。

具体方法：
- 用 FailGen 程序化扰动成功示范，生成失败轨迹数据。
- 将 failure detection 建模为 free-form natural language reasoning。
- 微调 VLM，使其输出失败判断和失败解释。
效果 / 贡献 / 创新点：
- 建立了 VLM failure reasoning 的强 baseline。
- 优势是开放世界语义解释强；局限是形式化约束和实时数值 robustness 不如 STL。
- 可与 STL monitor 互补：STL 负责确定性约束检测，AHA/VLM 负责语义解释。

# 4. FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models

发表日期：2025-10-02（arXiv v1；2025-10-27 v2）

技术细节总结： FailSafe 的重点是 VLA 失败后的可执行恢复动作，而不只是判断失败。它自动生成 failure cases 与 recovery actions，并训练 FailSafe-VLM 接入 OpenVLA、OpenVLA-OFT、pi0-FAST 等主策略。和 AHA 相比，它更强调恢复动作；和 Sentinel-VLA 相比，它更像外挂恢复模块，而不是把监控能力内生到 VLA 架构中。

定位：直接面向 VLA 的失败检测与恢复 baseline，测试了 OpenVLA 系列。

原文摘要：

Recent advances in robotic manipulation have integrated low-level robotic control into Vision-Language Models (VLMs), extending them into Vision-Language-Action (VLA) models. Although state-of-the-art VLAs achieve strong performance in downstream robotic applications, supported by large-scale crowd-sourced robot training data, they still inevitably encounter failures during execution. Enabling robots to reason about and recover from unpredictable and abrupt failures remains a critical challenge. Existing robotic manipulation datasets, collected in either simulation or the real world, primarily provide only ground-truth trajectories, leaving robots unable to recover once failures occur. Moreover, the few datasets that address failure detection typically offer only textual explanations, which are difficult to utilize directly in VLA models. To address this gap, we introduce FailSafe, a novel failure generation and recovery system that automatically produces diverse failure cases paired with executable recovery actions. FailSafe can be seamlessly applied to any manipulation task in any simulator, enabling scalable creation of failure-action data. To demonstrate its effectiveness, we fine-tune LLaVa-OneVision-7B (LLaVa-OV-7B) to build FailSafe-VLM. Experimental results show that FailSafe-VLM successfully helps robotic arm detect and recover from potential failures, improving the performance of three state-of-the-art VLA models pi0-FAST, OpenVLA, OpenVLA-OFT) by up to 22.6% on average across several tasks in Maniskill. Furthermore, FailSafe-VLM could generalize across different spatial configurations, camera viewpoints, and robotic embodiments. We plan to release the FailSafe code to the community.

中文翻译：

近年来，机器人操作研究将低层机器人控制集成进视觉语言模型（VLM），将其扩展为视觉-语言-动作（VLA）模型。虽然 SOTA VLA 在下游机器人应用中表现强劲，并受益于大规模众包机器人训练数据，但它们在执行过程中仍不可避免地会失败。让机器人能够推理并从不可预测、突发的失败中恢复，仍是关键挑战。现有机器人操作数据集无论来自仿真还是真实环境，主要只提供真实轨迹，使机器人一旦失败就无法恢复。此外，少数涉及失败检测的数据集通常只提供文本解释，很难直接用于 VLA 模型。为解决这一空缺，本文提出 FailSafe，这是一个新的失败生成与恢复系统，能够自动生成多样失败案例，并配对可执行恢复动作。FailSafe 可无缝应用于任何仿真器中的任意操作任务，从而可扩展地创建失败-动作数据。为验证有效性，作者微调 LLaVa-OneVision-7B 构建 FailSafe-VLM。实验结果表明，FailSafe-VLM 能帮助机械臂检测并恢复潜在失败，使 pi0-FAST、OpenVLA、OpenVLA-OFT 三个 SOTA VLA 模型在 ManiSkill 多任务上平均最高提升 22.6%。此外，FailSafe-VLM 能泛化到不同空间配置、相机视角和机器人本体。作者计划开源 FailSafe 代码。

具体方法：
- 自动生成 diverse failure cases。
- 为失败案例配对 executable recovery actions。
- 微调 LLaVA-OneVision-7B 得到 FailSafe-VLM，并接入 VLA 执行闭环。
效果 / 贡献 / 创新点：
- 直接和 OpenVLA、OpenVLA-OFT、pi0-FAST 对比，与你方向高度相关。
- 重点在“失败后恢复”；你的 STL 可强调“运行时形式化检测 + 提前预警”。
- 可作为 VLA recovery baseline。

# 5. Sentinel-VLA: A Metacognitive VLA Model with Active Status Monitoring for Dynamic Reasoning and Error Recovery

发表日期：2026-05-02（arXiv v1；2026-05-28 v2）

技术细节总结： Sentinel-VLA 的特点是把 active status monitoring 做进 VLA 系统内部，形成类似元认知的执行状态检查机制。它只在初始规划或检测到异常时触发更复杂的推理和恢复。和 FailSafe 外挂式恢复不同，它更偏架构级内生监控；和 STL 外部 monitor 相比，它可学习性更强，但形式化约束和可验证性较弱。

定位：最像“VLA 内生监控模块”的工作，属于 VLA-monitor 架构级 baseline。

原文摘要：

Vision-language-action (VLA) models have advanced the field of embodied manipulation by harnessing broad world knowledge and strong generalization. However, current VLA models still face several key challenges, including limited reasoning capability, lack of status monitoring, and difficulty in self-correction. In this paper, we introduce Sentinel-VLA, a metacognitive VLA model equipped with an active “sentinel” module to monitor real-time execution status. Only when necessary, such as during initial planning or upon detecting an error, the model triggers a dynamic reasoning or formulate error recovery solutions. This on-demand reasoning mechanism ensures robust decision-making while minimizing computational overhead. Notably, all training data (spanning 44 tasks and over 2.6 million transitions) is automatically generated and annotated through our designed pipeline. We also propose the Self-Evolving Continual Learning (SECL) algorithm, which allows Sentinel-VLA to identify its capability boundaries and automatically collect data for expansion, paired with Orthogonal Continual Adapter (OC-Adapter) to constrain parameter updates to an orthogonal space, thereby preventing catastrophic forgetting. Real-world experiments demonstrate that Sentinel-VLA boosts the task success rate by over 30% compared to the SOTA model, PI0. We will open-source all the code, weights, and data generation pipeline.

中文翻译：

视觉-语言-动作（VLA）模型通过利用广泛的世界知识和强泛化能力，推动了具身操作领域的发展。然而，当前 VLA 模型仍面临若干关键挑战，包括推理能力有限、缺乏状态监控、自我纠正困难。本文提出 Sentinel-VLA，这是一种具有元认知能力的 VLA 模型，配备主动“sentinel”模块，用于监控实时执行状态。只有在必要时，例如初始规划或检测到错误时，模型才触发动态推理或生成错误恢复方案。这种按需推理机制在降低计算开销的同时保证鲁棒决策。值得注意的是，所有训练数据（覆盖 44 个任务、超过 260 万 transitions）均由作者设计的流水线自动生成和标注。作者还提出 Self-Evolving Continual Learning（SECL）算法，使 Sentinel-VLA 能够识别自身能力边界并自动收集扩展数据，同时配合 Orthogonal Continual Adapter（OC-Adapter）将参数更新约束到正交空间，从而避免灾难性遗忘。真实世界实验表明，Sentinel-VLA 相比 SOTA 模型 PI0 任务成功率提升超过 30%。作者将开源代码、权重和数据生成流水线。

具体方法：
- 在 VLA 中加入 active sentinel module。
- 只有初始规划或检测到错误时才触发动态推理/恢复。
- 使用自动数据生成与标注流水线，并结合 SECL 与 OC-Adapter 做持续学习。
效果 / 贡献 / 创新点：
- 从“外部 monitor”走向“模型内部状态监控”。
- 可作为你论文中最强相关工作之一。
- 区别点：Sentinel-VLA 是架构级学习式监控；你的 STL 是外部形式化 runtime monitor，更易解释和验证。

# 6. Hide-and-Seek in Trajectories: Discovering Failure Signals for VLA Runtime Monitoring

发表日期：2026-05-29（arXiv 提交）

技术细节总结： Hide-and-Seek 把 VLA failure detection 看成 coarse supervision 问题：只有整条轨迹成功/失败标签，没有逐步失败标注。它用 inter-trajectory 和 intra-trajectory contrastive objectives 在轨迹中定位局部失败信号。和动作级 monitor 相比，它更依赖学习局部失败片段；和 STL monitor 相比，它从数据中发现失败信号，而不是人工指定逻辑约束。

定位：直接写 VLA runtime monitoring 的最新工作，关注轨迹级标签下的失败信号发现。

原文摘要：

Vision-Language-Action (VLA) models enable robots to follow natural language instructions and generalize across diverse tasks, but they remain vulnerable to execution failures that compromise reliability in real-world deployment. Detecting such failures during execution is therefore critical for the robust deployment of embodied systems. Existing failure detection methods either rely on expensive action resampling or external models, while alternatives propagate trajectory-level labels uniformly across every timestep, obscuring localized failure signals. In this paper, we propose Hide-and-Seek, a framework that formulates VLA failure detection as a coarsely supervised learning problem. By combining inter-trajectory and intra-trajectory contrastive objectives, Hide-and-Seek localizes failure-indicative actions and induces temporally structured failure signals from trajectory-level supervision alone, without any step-level annotation. We evaluate Hide-and-Seek on LIBERO, VLABench, and a real-world robotic platform across three representative VLA policies: OpenVLA, $π_0$ , and $π_{0.5}$ . Our method achieves state-of-the-art multi-task failure detection performance with a practical accuracy--timeliness trade-off under conformal prediction, and generalizes well to both seen and unseen tasks.

中文翻译：

视觉-语言-动作（VLA）模型使机器人能够遵循自然语言指令并泛化到多样任务，但它们仍容易出现执行失败，从而影响真实部署中的可靠性。因此，在执行过程中检测这些失败，对于具身系统的鲁棒部署至关重要。现有失败检测方法要么依赖昂贵的动作重采样或外部模型，要么将轨迹级标签均匀传播到每个时间步，从而掩盖局部失败信号。本文提出 Hide-and-Seek，将 VLA 失败检测表述为粗监督学习问题。通过结合轨迹间和轨迹内对比目标，Hide-and-Seek 能够定位表示失败的动作，并仅从轨迹级监督中诱导出具有时间结构的失败信号，而不需要逐步标注。作者在 LIBERO、VLABench 和真实机器人平台上评估了 OpenVLA、 $π_0$ 、 $π_{0.5}$ 三种代表性 VLA 策略。该方法在 conformal prediction 下实现了 SOTA 多任务失败检测性能，并在准确性与及时性之间取得实用平衡，同时能很好泛化到已见和未见任务。

具体方法：
- 将 VLA failure detection 建模为 coarsely supervised learning。
- 使用 inter-trajectory 与 intra-trajectory contrastive objectives。
- 从 trajectory-level label 中定位局部失败动作，不需要 step-level annotation。
效果 / 贡献 / 创新点：
- 直接面向 VLA runtime monitoring。
- 使用 OpenVLA、 $π_0$ 、 $π_{0.5}$ 等 VLA 作为评估对象。
- 可作为数据驱动轨迹失败检测 baseline；你的 STL 方法不依赖失败轨迹标签，而依赖形式化任务规范。

# 7. How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures

发表日期：2026-05-27（arXiv 提交；ICRA 2026 Workshop 非归档）

技术细节总结： 这篇从 VLA 输出动作本身寻找失败征兆，例如 direction reversal、jerk、velocity violation。它强调不同 VLA 架构的失败模式不同，不能用同一个动作监测器通吃。和 VLM 图像监控相比，它不看视觉语义，只看动作序列；和 STL monitor 相比，它更轻量，但表达不了复杂任务时序关系。

定位：动作级 black-box runtime monitor baseline，适合低层安全监测对比。

原文摘要：

We discover that VLA architectures fail in fundamentally different, predictable ways at the motor-command level. Running VQ-BeT, Diffusion Policy, and ACT on identical evaluation protocols (n=450 episodes across PushT and ALOHA 14-DOF bimanual manipulation), we find: (1) direction reversal rate is a universal failure predictor across all three architectures (AUROC=0.93, 0.79, 0.91; p<0.001); (2) jerk monitoring is predictive only for discrete-token architectures, following a discrete-to-continuous gradient (0.88, 0.69, 0.41); (3) velocity violations alone are non-predictive everywhere (AUROC 0.41-0.69), yet velocity checking is the most common safety mechanism in VLA deployment code; and (4) for continuous-family VLAs, velocity monitoring provides effectively zero predictive signal (AUROC=0.52 on ACT, 0.41 on Diffusion), proving that architecture-matched monitor selection is essential. These results quantify a monitoring consequence of the well-known discrete/continuous VLA distinction: the two families produce qualitatively different failure signatures that require different monitors. No single monitor works universally; architecture-matched selection is required. This finding was enabled by SafeContract, a training-free, black-box action monitoring toolkit with conformal calibration. Code: https://github.com/krishnam94/vla-edge

中文翻译：

本文发现，不同 VLA 架构在电机命令层面会以根本不同但可预测的方式失败。作者在相同评估协议下运行 VQ-BeT、Diffusion Policy 和 ACT，共 450 个 episodes，覆盖 PushT 和 ALOHA 14 自由度双臂操作任务。结果发现：（1）方向反转率是三种架构通用的失败预测指标（AUROC 分别为 0.93、0.79、0.91， $p<0.001$ ）；（2）jerk 监测只对离散 token 架构具有预测性，并呈现从离散到连续的梯度变化（0.88、0.69、0.41）；（3）单独使用速度违规在所有场景中都不具备预测性（AUROC 0.41–0.69），但速度检查却是 VLA 部署代码中最常见的安全机制；（4）对于连续型 VLA，速度监测几乎不提供有效预测信号（ACT 上 AUROC=0.52，Diffusion 上 AUROC=0.41），证明必须根据架构选择匹配的 monitor。这些结果量化了离散/连续 VLA 区分带来的监测后果：两类模型产生性质不同的失败特征，需要不同监测器。不存在通用 monitor，必须进行架构匹配选择。这一发现由 SafeContract 支持，SafeContract 是一个无需训练、黑盒动作监测工具，并带有 conformal calibration。

具体方法：
- 只监测 VLA 输出动作序列，不依赖内部模型权重。
- 比较 direction reversal、jerk、velocity violation 等动作级指标。
- 使用 SafeContract 做 training-free black-box action monitoring。
效果 / 贡献 / 创新点：
- 说明不同 VLA 架构需要不同 monitor。
- 对你的底层安全层很有参考价值：STL 可以表达速度、加速度、jerk、距离等动作/状态约束。
- 可作为 action-level monitor baseline。

# 8. Automating Robot Failure Recovery Using Vision-Language Models With Optimized Prompts

发表日期：2024-09-06（arXiv 提交）

技术细节总结： 这篇把 VLM 当作黑盒恢复控制器，通过优化视觉提示、文本提示和推理分解来提升失败检测、问题分析和恢复计划生成。它的技术重点是 prompt optimization，而不是训练专门 monitor。和 AHA/ARMOR 相比，它更轻量；和 STL+VLA 相比，它缺少显式时序逻辑约束。

定位：VLM 作为黑盒失败检测与恢复控制器的 baseline。

原文摘要：

Current robot autonomy struggles to operate beyond the assumed Operational Design Domain (ODD), the specific set of conditions and environments in which the system is designed to function, while the real-world is rife with uncertainties that may lead to failures. Automating recovery remains a significant challenge. Traditional methods often rely on human intervention to manually address failures or require exhaustive enumeration of failure cases and the design of specific recovery policies for each scenario, both of which are labor-intensive. Foundational Vision-Language Models (VLMs), which demonstrate remarkable common-sense generalization and reasoning capabilities, have broader, potentially unbounded ODDs. However, limitations in spatial reasoning continue to be a common challenge for many VLMs when applied to robot control and motion-level error recovery. In this paper, we investigate how optimizing visual and text prompts can enhance the spatial reasoning of VLMs, enabling them to function effectively as black-box controllers for both motion-level position correction and task-level recovery from unknown failures. Specifically, the optimizations include identifying key visual elements in visual prompts, highlighting these elements in text prompts for querying, and decomposing the reasoning process for failure detection and control generation. In experiments, prompt optimizations significantly outperform pre-trained Vision-Language-Action Models in correcting motion-level position errors and improve accuracy by 65.78% compared to VLMs with unoptimized prompts. Additionally, for task-level failures, optimized prompts enhanced the success rate by 5.8%, 5.8%, and 7.5% in VLMs' abilities to detect failures, analyze issues, and generate recovery plans, respectively, across a wide range of unknown errors in Lego assembly.

中文翻译：

当前机器人自治系统很难在假定的运行设计域（ODD）之外工作，而真实世界充满可能导致失败的不确定性。自动恢复仍是重要挑战。传统方法往往依赖人工干预来手动处理失败，或需要穷举失败案例并为每种场景设计特定恢复策略，两者都很耗费人力。基础视觉语言模型（VLM）展现出显著的常识泛化和推理能力，具有更宽泛、甚至潜在无限的 ODD。然而，当 VLM 用于机器人控制和运动级错误恢复时，空间推理能力不足仍是常见挑战。本文研究如何通过优化视觉和文本提示增强 VLM 的空间推理能力，使其能够作为黑盒控制器，有效进行运动级位置纠正和未知失败的任务级恢复。具体优化包括识别视觉提示中的关键视觉元素，在文本提示中突出这些元素，并分解失败检测与控制生成的推理过程。实验表明，prompt 优化在纠正运动级位置错误时显著优于预训练 VLA 模型，并相较未优化 prompt 的 VLM 提高 65.78% 准确率。此外，在任务级失败中，优化 prompt 分别使 VLM 在失败检测、问题分析和恢复计划生成能力上提升 5.8%、5.8% 和 7.5%，覆盖乐高装配中的多种未知错误。

具体方法：
- 优化 visual prompt 和 text prompt。
- 显式突出关键视觉元素。
- 分解 failure detection、issue analysis、control/recovery generation。
效果 / 贡献 / 创新点：
- 不训练新模型，通过 prompt engineering 提升 VLM monitor/recovery 能力。
- 可作为轻量 baseline：GPT-4o/Qwen-VL + optimized prompt。
- 和 STL 的区别：VLM prompt 依赖语义推理，STL 依赖形式化信号约束。

# 9. RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

发表日期：2024-09-23（arXiv 提交）

技术细节总结： RACER 使用 supervisor-actor 框架：VLM supervisor 在线生成细粒度语言纠错指导，actor policy 根据语言指导输出动作。它的重点是用丰富语言监督训练恢复策略。和 FailSafe 相比，它更像训练一个语言条件 actor；和 AHA 相比，它不止解释失败，还把语言指导接到动作策略。

定位：VLM supervisor + visuomotor actor 的语言指导失败恢复 baseline。

原文摘要：

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.

中文翻译：

为机器人操作开发鲁棒且可纠正的视觉运动策略很困难，原因在于缺乏从失败中自恢复的机制，同时简单语言指令在指导机器人动作方面也存在局限。为解决这些问题，本文提出一种可扩展数据生成流水线，自动为专家示范增强失败恢复轨迹和细粒度语言标注。随后作者提出 RACER（Rich languAge-guided failure reCovERy），这是一个 supervisor-actor 框架，将失败恢复数据与丰富语言描述结合，以增强机器人控制。RACER 中的视觉语言模型（VLM）作为在线监督器，为错误纠正和任务执行提供详细语言指导；语言条件视觉运动策略作为 actor，用于预测下一步动作。实验结果表明，RACER 在 RLBench 的多种评估设置中优于 SOTA Robotic View Transformer（RVT），包括标准长时程任务、动态目标变化任务和零样本未见任务，并在仿真和真实环境中取得更优性能。视频和代码见项目页面。

具体方法：
- 自动扩展专家示范，加入失败恢复轨迹和语言标注。
- VLM 作为 online supervisor，输出细粒度语言纠错指导。
- 语言条件 visuomotor policy 作为 actor 输出动作。
效果 / 贡献 / 创新点：
- 从“检测失败”进一步走向“用语言指导恢复”。
- 可作为 VLM supervisor baseline。
- 你的 STL 可作为 supervisor 的触发器：当 STL robustness 低于阈值时触发语言/动作恢复模块。

# 10. Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies

发表日期：2025-03-11（arXiv v1；2025-06-20 v3）

技术细节总结： FAIL-Detect 不依赖失败数据，而是从成功数据中学习与失败相关的标量信号，把运行时失败检测建模为 sequential OOD detection，并用 conformal prediction 量化不确定性。和 AHA/FailSafe 相比，它不需要生成失败轨迹；和 STL monitor 相比，它是统计/不确定性方法，不提供显式任务逻辑语义。

定位：不依赖 failure data 的 runtime failure detection baseline。

原文摘要：

Recent years have witnessed impressive robotic manipulation systems driven by advances in imitation learning and generative modeling, such as diffusion- and flow-based approaches. As robot policy performance increases, so does the complexity and time horizon of achievable tasks, inducing unexpected and diverse failure modes that are difficult to predict a priori. To enable trustworthy policy deployment in safety-critical human environments, reliable runtime failure detection becomes important during policy inference. However, most existing failure detection approaches rely on prior knowledge of failure modes and require failure data during training, which imposes a significant challenge in practicality and scalability. In response to these limitations, we present FAIL-Detect, a modular two-stage approach for failure detection in imitation learning-based robotic manipulation. To accurately identify failures from successful training data alone, we frame the problem as sequential out-of-distribution (OOD) detection. We first distill policy inputs and outputs into scalar signals that correlate with policy failures and capture epistemic uncertainty. FAIL-Detect then employs conformal prediction (CP) as a versatile framework for uncertainty quantification with statistical guarantees. Empirically, we thoroughly investigate both learned and post-hoc scalar signal candidates on diverse robotic manipulation tasks. Our experiments show learned signals to be mostly consistently effective, particularly when using our novel flow-based density estimator. Furthermore, our method detects failures more accurately and faster than state-of-the-art (SOTA) failure detection baselines. These results highlight the potential of FAIL-Detect to enhance the safety and reliability of imitation learning-based robotic systems as they progress toward real-world deployment.

中文翻译：

近年来，模仿学习和生成建模（如 diffusion 和 flow 方法）的进展推动了令人印象深刻的机器人操作系统。随着机器人策略性能提升，可完成任务的复杂度和时间跨度也增加，从而产生难以预先预测的意外且多样的失败模式。为了在安全关键的人类环境中可信部署策略，策略推理期间的可靠运行时失败检测变得重要。然而，大多数现有失败检测方法依赖对失败模式的先验知识，并需要训练阶段的失败数据，这在实用性和可扩展性上带来巨大挑战。针对这些限制，本文提出 FAIL-Detect，这是一种用于基于模仿学习的机器人操作失败检测的模块化两阶段方法。为了仅从成功训练数据中准确识别失败，作者将问题表述为序列式分布外（OOD）检测。首先，将策略输入和输出蒸馏为与策略失败相关、并能捕捉认知不确定性的标量信号。随后，FAIL-Detect 使用 conformal prediction（CP）作为具有统计保证的不确定性量化框架。实验系统研究了不同机器人操作任务中的 learned 和 post-hoc 标量信号候选。结果表明，learned signals 通常更稳定有效，尤其是在使用作者提出的 flow-based density estimator 时。此外，该方法比 SOTA 失败检测 baseline 更准确、更快速。这些结果显示 FAIL-Detect 有潜力提升基于模仿学习的机器人系统在真实部署中的安全性与可靠性。

具体方法：
- 将 failure detection 建模为 sequential OOD detection。
- 从成功数据中学习与失败相关的 scalar signals。
- 使用 conformal prediction 进行不确定性量化。
效果 / 贡献 / 创新点：
- 不需要 failure data，适合真实机器人数据稀缺场景。
- 可作为 uncertainty-aware failure monitor baseline。
- 与 STL 的区别：FAIL-Detect 是统计不确定性检测；STL 是任务/安全约束检测。

# 11. Scaling Cross-Environment Failure Reasoning Data for Vision-Language Robotic Manipulation / Guardian

发表日期：2025-12-01（arXiv v1；2026-03-30 v3；arXiv 题名为 Scaling Cross-Environment Failure Reasoning Data for Vision-Language Robotic Manipulation）

技术细节总结： 这篇的核心是扩展跨环境失败推理数据 FailCoT，并训练多视角 VLM Guardian 做规划与执行验证。它更强调 failure dataset scaling、step-by-step reasoning traces 和跨环境泛化。和 AHA 类似都用合成失败数据，但 Guardian 更突出多视角和跨 benchmark 泛化；和 STL monitor 相比，它依赖数据规模和 VLM 推理能力。

定位：规划错误 + 执行错误检测 benchmark 与 VLM baseline。

原文摘要：

Robust robotic manipulation requires reliable failure detection and recovery. Although current Vision-Language Models (VLMs) show promise, their accuracy and generalization are limited by the scarcity of failure data. To address this data gap, we propose an automatic robot failure synthesis approach that procedurally perturbs successful trajectories to generate diverse planning and execution failures. This method produces not only binary classification labels but also fine-grained failure categories and step-by-step reasoning traces in both simulation and the real world. With it, we construct three new failure detection benchmarks: RLBench-Fail, BridgeDataV2-Fail, and UR5-Fail, substantially expanding the diversity and scale of existing failure datasets. We then train Guardian, a VLM with multi-view images for detailed failure reasoning and detection. Guardian achieves state-of-the-art performance on both existing and newly introduced benchmarks. It also effectively improves task success rates when integrated into a state-of-the-art manipulation system in simulation and real robots, demonstrating the impact of our generated failure data.

中文翻译：

鲁棒机器人操作需要可靠的失败检测和恢复。虽然当前视觉语言模型（VLM）展现出潜力，但其准确性和泛化能力受限于失败数据稀缺。为解决这一数据缺口，本文提出一种自动机器人失败合成方法，通过程序化扰动成功轨迹，生成多样的规划失败和执行失败。该方法不仅产生二分类标签，还在仿真和真实环境中生成细粒度失败类别和逐步推理轨迹。基于此，作者构建了三个新的失败检测 benchmark：RLBench-Fail、BridgeDataV2-Fail 和 UR5-Fail，大幅扩展了现有失败数据集的多样性和规模。随后作者训练 Guardian，这是一个使用多视角图像进行详细失败推理和检测的 VLM。Guardian 在已有和新引入的 benchmark 上都取得 SOTA 表现。当集成到 SOTA 操作系统中时，它也能有效提高仿真和真实机器人中的任务成功率，证明了生成失败数据的作用。

具体方法：
- 通过扰动成功轨迹自动合成 planning failures 和 execution failures。
- 构建 RLBench-Fail、BridgeDataV2-Fail、UR5-Fail 三个 benchmark。
- 训练多视角 VLM Guardian 进行失败检测与推理。
效果 / 贡献 / 创新点：
- 强调失败数据集与 benchmark 构建。
- 将失败分成规划错误和执行错误，适合你给 VLA failure taxonomy 做参考。
- 可以作为 VLM benchmark baseline，但与 STL monitor 的形式化约束方向不同。

# 12. Self-Refining Vision Language Model for Robotic Failure Detection and Reasoning

发表日期：2026-02-12（arXiv 提交）

技术细节总结： ARMOR 把失败检测和失败推理设计成多轮 self-refinement：模型基于上一轮输出继续修正检测结果和自然语言理由，并用 self-certainty 选择更可信的结果。和 AHA 相比，它强调迭代自我修正；和 FAIL-Detect 相比，它能输出开放式语言解释；和 STL monitor 相比，它解释能力强，但形式化约束弱。

定位：自我细化式 VLM failure detection/reasoning baseline，模型名 ARMOR。

原文摘要：

Reasoning about failures is crucial for building reliable and trustworthy robotic systems. Prior approaches either treat failure reasoning as a closed-set classification problem or assume access to ample human annotations. Failures in the real world are typically subtle, combinatorial, and difficult to enumerate, whereas rich reasoning labels are expensive to acquire. We address this problem by introducing ARMOR: Adaptive Round-based Multi-task mOdel for Robotic failure detection and reasoning. We formulate detection and reasoning as a multi-task self-refinement process, where the model iteratively predicts detection outcomes and natural language reasoning conditioned on past outputs. During training, ARMOR learns from heterogeneous supervision - large-scale sparse binary labels and small-scale rich reasoning annotations - optimized via a combination of offline and online imitation learning. At inference time, ARMOR generates multiple refinement trajectories and selects the most confident prediction via a self-certainty metric. Experiments across diverse environments show that ARMOR achieves state-of-the-art performance by improving over the previous approaches by up to 30% on failure detection rate and up to 100% in reasoning measured through LLM fuzzy match score, demonstrating robustness to heterogeneous supervision and open-ended reasoning beyond predefined failure modes. We provide additional visualizations on our website: https://sites.google.com/utexas.edu/armor

中文翻译：

对失败进行推理对于构建可靠、可信的机器人系统至关重要。已有方法要么将失败推理视为闭集分类问题，要么假设拥有大量人工标注。真实世界中的失败通常微妙、组合性强且难以穷举，而丰富的推理标签获取成本很高。为解决这一问题，本文提出 ARMOR：Adaptive Round-based Multi-task mOdel for Robotic failure detection and reasoning。作者将检测和推理表述为多任务自我细化过程，模型基于过去输出迭代预测检测结果和自然语言推理。在训练中，ARMOR 从异构监督中学习，包括大规模稀疏二分类标签和小规模丰富推理标注，并结合离线和在线模仿学习优化。推理阶段，ARMOR 生成多条细化轨迹，并通过 self-certainty metric 选择最有信心的预测。跨多样环境的实验表明，ARMOR 达到 SOTA，相比已有方法失败检测率最高提升 30%，在通过 LLM fuzzy match score 衡量的推理能力上最高提升 100%，展示了其对异构监督和超出预定义失败模式的开放式推理的鲁棒性。作者在网站提供了更多可视化结果。

具体方法：
- 将 failure detection 和 reasoning 设计为 multi-task self-refinement。
- 使用大规模稀疏二分类标签 + 小规模丰富推理标签。
- 推理阶段生成多条 refinement trajectories，并用 self-certainty 选择结果。
效果 / 贡献 / 创新点：
- 强调在少量丰富推理标注下提升 failure reasoning。
- 可作为更强的 VLM reasoning monitor baseline。
- 与 STL 的区别：ARMOR 强在语言解释，STL 强在形式化约束和可量化监测。

# 建议实验 baseline 组合

Baseline 1: No Monitor
Baseline 2: Rule-based Threshold Monitor
Baseline 3: Action-level Monitor, such as direction reversal / jerk / velocity violation
Baseline 4: VLM Prompt Monitor, such as optimized GPT-4o/Qwen-VL prompt
Baseline 5: Code-as-Monitor
Baseline 6: AHA-style failure reasoning monitor
Baseline 7: FailSafe-style failure recovery monitor
Baseline 8: Sentinel-VLA-style internal active status monitoring, if reproducible
Baseline 9: Hide-and-Seek trajectory-level runtime monitor, if failure trajectories are available

# 对你课题的直接写法

现有 VLA/VLM monitor 研究主要沿着三条路线发展：第一类使用 VLM 对图像、轨迹或多视角观测进行失败检测和自然语言解释；第二类将失败恢复动作或语言指导引入闭环控制；第三类从动作序列或轨迹标签中学习运行时失败信号。这些方法在开放世界语义理解和失败恢复方面具有优势，但通常依赖训练数据、外部 VLM 推理或统计失败信号。相比之下，STL-based monitor 可以把任务约束、安全约束和时间约束表达为形式化公式，并在 VLA 执行过程中输出可解释的 Boolean verdict 和 quantitative robustness，从而为 VLA 部署提供更可验证的运行时安全层。

OpenVLA--An-Open-Source-Vision-Language-Action-Model-GUQ9ID4S

2026-06-04T05:03:57.000Z

# (2024-09-05) OpenVLA: An Open-Source Vision-Language-Action Model

<!-- -->
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">作者:</span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"> Moo Jin Kim; Karl Pertsch; Siddharth Karamcheti; Ted Xiao; Ashwin Balakrishna; Suraj Nair; Rafael Rafailov; Ethan Foster; Grace Lam; Pannag Sanketi; et al.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">期刊: </span></span><span style="color: rgb(255, 0, 0);"><span style="background-color: rgb(243, 250, 244);">, </span></span><span style="background-color: rgb(243, 250, 244);">2024.</span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">期刊分区:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">本地链接: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);"><a href="zotero://open-pdf/0_4UX85EAX" rel="noopener noreferrer nofollow">OPENVLA.pdf</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">DOI: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"><a href="https://doi.org/10.48550/arXiv.2406.09246" rel="noopener noreferrer nofollow">10.48550/arXiv.2406.09246</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">摘要: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">Large policies pretrained on a combination of Internet-scale vision-language data and diverse robot demonstrations have the potential to change how we teach robots new skills: rather than training new behaviors from scratch, we can fine-tune such vision-language-action (VLA) models to obtain robust, generalizable policies for visuomotor control. Yet, widespread adoption of VLAs for robotics has been challenging as 1) existing VLAs are largely closed and inaccessible to the public, and 2) prior work fails to explore methods for efficiently fine-tuning VLAs for new tasks, a key component for adoption. Addressing these challenges, we introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations. OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP. As a product of the added data diversity and new model components, OpenVLA demonstrates strong results for generalist manipulation, outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters. We further show that we can effectively fine-tune OpenVLA for new settings, with especially strong generalization results in multi-task environments involving multiple objects and strong language grounding abilities, and outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%. We also explore compute efficiency; as a separate contribution, we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate. Finally, we release model checkpoints, fine-tuning notebooks, and our PyTorch codebase with built-in support for training VLAs at scale on Open X-Embodiment datasets.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">标签:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">笔记日期: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026/3/21 11:31:49</span></span>

# 📜 研究核心

Tips: 做了什么，解决了什么问题，创新点与不足？

# 一、openvla模型架构

输入：
- 图像观测 (Input Image)：机器人的当前视角图像。
- 语言指令 (Language Instruction)：例如 “Put eggplant in bowl”。
处理流程： 1.视觉编码器：图像并非通过单一网络，而是同时通过两个预训练编码器：
- DINOv2：提供低层次的空间信息（对机器人精准操作至关重要）。
- SigLIP：提供高层次的语义理解（有助于视觉泛化）。
- 这两个特征向量被串联起来。2.投影器 (MLP Projector)：一个 MLP 投影层，将视觉特征映射到语言模型的输入空间（Embedding Space）。
 3.大语言模型（主干网络）：Llama 2 7B 模型，接收图像特征和语言指令作为输入。
 4.去词元化 (Action De-Tokenizer)：Llama 2 输出的 token 被解码为离散的动作编号。
 输出：7 维机器人动作：包含位置变化和夹爪状态 (Gripper)

# 二、Prismatic-7B（视觉语言模型）

OpenVLA是基于Prismatic-7B (VLM)作微调和扩展的，其由如下构成：

# （1）语言编码器：

Llama Tokenizer。将自然语言分词，映射为索引，然后转化为嵌入向量序列。

# （2）视觉编码器：

使用Dinov2[3]和SigLIP[4]分别处理图像的低级空间特征(如纹理、位置、形状等)和高级语义特征(如类别、颜色等)。输入的图像分别经过Dinov2和SigLIP后，输出的特征向量按通道维度进行拼接，即（H,W,C1） + （H,W,C2） -> （H,W,C1+C2 )

实验表明：与更常用的视觉编码器模块（如仅使用CLIP或者SigLIP）相比，增加Dinov2模块有助于提高LLM的空间推理能力。

# 双视觉编码器（预训练）：

DINOv2：提供低层次的空间信息（对机器人精准操作至关重要）提取细粒度的信息。

SigLIP：提供高层次的语义理解（有助于视觉泛化）提取image level的信息。

模型	核心功能	输出
DINOv2	无监督视觉特征学习	空间感知特征（物体形状、位置、纹理）
SigLIP	多模态（图像-语言）对齐	高层语义特征（物体类别、语义信息）

# （3）MLP projector 多层感知机

对每个视觉 patch 的特征向量做映射。

代码结构是：

（use_fused_vision_backbone = False）单视觉编码器：

代码结构是：

fc1: vision_dim -> llm_dim
GELU
fc2: llm_dim -> llm_dim

数学形式是：

$\mathbf{z}_1 = \mathrm{GELU}(\mathbf{x}W_1 + \mathbf{b}_1)$

$\mathbf{z}_2 = \mathbf{z}_1W_2 + \mathbf{b}_2$

（use_fused_vision_backbone=True）双视觉编码器：

代码结构是：

initial_projection_dim = 4 * vision_dim
fc1: vision_dim -> 4 * vision_dim
GELU
fc2: 4 * vision_dim -> llm_dim
GELU
fc3: llm_dim -> llm_dim

数学形式是：

$\mathbf{h}_1 = \mathrm{GELU}(\mathbf{x}W_1 + \mathbf{b}_1)$

$\mathbf{h}_2 = \mathrm{GELU}(\mathbf{h}_1W_2 + \mathbf{b}_2)$

$\mathbf{z} = \mathbf{h}_2W_3 + \mathbf{b}_3$

# （4）大语言模型：

Llama2 是 decoder-only Transformer。它本来的功能是：0

根据前面的 token，预测下一个 token

它是一个 自回归语言模型，输入一串 token，输出下一个 token 的概率分布。Llama2 官方介绍为 large language model，AWS 对 Llama2 的介绍也明确说它是 auto-regressive language model，用于生成文本。

数学上就是：

$p(x_{t+1}\mid x_1,x_2,\dots,x_t)$

Llama2 7B 是 Meta 发布的 纯语言模型，输入是文本 token，输出也是文本 token。官方模型卡明确写到：Llama 2 是 7B 到 70B 规模的生成式文本模型，7B 版本的输入是 text only，输出也是 generate text only。

在 OpenVLA 里，Llama2 的输出形式仍然是：下一个 token id

# 三、动作序列解码器

openvla 输入：单张分辨率128x128的图像+语言指令

Llama 2 7B输出?->Action DeTokenizer：一组含有终止信号、机器人末端执行器平移、旋转、夹爪开合程度的动作序列。

比如1 128 91 241 5 101 127 217

# 编码：

LLM（大语言模型）通常处理 离散 token（比如单词、子词）。机器人动作是 连续值向量，故需要把连续动作 映射到 LLM 可以输出的离散 token 空间。

为了使LLM能够直接输出动作参数，本文借鉴RT-2的做法，将每个动作维度的参数变化范围限定在[P1，P99]，其中第1百分位设为P1，表示有1%的数据<P1，然后将[P1，P99]离散为256个箱子(小区间)，最后用离散的箱子索引(0,1...255)替代连续的动作参数值。

比如，假设若”夹爪开合程度”这个动作维度的训练数据的取值范围为[0,120mm]，且有1%的数据<5，有99%的数据〈100

则

i）夹爪开合程度的取值范围为（5,100）

ii）箱宽 = （100-5）/ 256 ≈ 0.37

iii）若夹爪开合程度 = 5.5，则对应的索引为1

# 解码：

对于Llama生成的动作序列，比如1 128 91 241 5 101 127 217：直接返回各索引值对应箱子的中心值作为最终动作参数的输出。

注：由于Llama分词器词汇表中为微调保留的特殊token仅为100个，这<256，因此本文借鉴RT-2的做法，将Llama分词器词汇表中使用频率最小，即位置最靠后的256个token覆盖为动作序列的token。

# RT-2（Robotics Transformer 2）：

RT-2 用 Transformer 模型，把机器人动作离散化成“token”，就像生成文本一样生成动作。

#

# ⚙️ 内容

# 💡 创新点

# 🧩 不足

# 🔁 研究内容

# 💧 数据

基于 Open X-Embodiment（包含 97 万条机器人操控轨迹）上对其进行了微调。该数据集涵盖了广泛的机器人实体、任务和场景。

（1）确保所有训练数据集输入一致、输出一致。

对此，本文只保留具有第三人称摄像头视角并采用单臂末端执行器控制的操作数据。

(2)确保最终训练混合数据集中包含平衡的机器人形态、任务和场景比例。

对此，本文采用Octo的数据混合权重策略，对多样性较低的数据集进行降权处理或剔除，同时提升包含更多任务和场景多样性的数据集的权重。

（3）过滤掉所有无效或异常的数据，如零值动作。

注：在训练初期，加入了10%的DROIO(但由于该数据集成功率太低，在训练最后1/3的时间里删除了DROIO，并在其它数据集中重新分配混合权重。

训练时间:使用64张A100，batchsize=2048，用时14天。

# 👩🏻‍💻 方法

# 🔬 实验

# 实验一：测试不同机器人平台、环境、人物的效果：

实验一分别在WidowX和Google机器人平台上做了测试。在WidowX机器人平台上，用BridgeDataV2数据集测试泛化能力。测试了4种OOD泛化类型+1种语言定位的任务。

# 1.在WidowX平台（BridgeDataV2）：

视觉泛化：不同背景、干扰物、颜色/外观；

比如将茄子放入锅中的任务，简单版OOD是指使用一只外观与BridgeDataV2训练数据集中的锅不同的纸锅。普通版OOD=简单版+改变机器人的末端执行器的初始位置。杂乱版OOD=普通版+场景有干扰物。

运动泛化：对象位置/朝向未见过；

物理泛化：对象大小/形状不同；

语义泛化：未见过对象或任务指令；

语言条件：在多对象环境中操控特定对象；

比如先把茄子放在锅中，在放在红瓶子中。

# 2.在Google 移动操作机器人：

实验一结论：

1.OpenVLA 在视觉、运动、物理和语言条件任务中性能最优

2.RT-2-X 在语义泛化任务略好（受益于大规模 Internet 数据预训练）

3.Octo 和 RT-1-X 在含干扰物、多对象任务中表现差 → 缺乏 VLM 预训练的泛化能力

# 实验二、探讨在新的机器人配置和任务上的微调能力

本实验在两种新的机器人配置进行测试。

Franka-Tabletop：一个固定在桌面的Franka Emika Panda 7 自由度机器臂。

Franka-DROID： 一个安装在可移动的站立式桌子上且来自于DROID数据集的Franka机器臂。

两种配置分别使用5Hz和15Hz的非阻塞控制器。

微调设置：

小数据集：10–150 条示例
机器人平台：Franka-Tabletop / Franka-DROID
微调方法：
- Full fine-tuning（全模型参数）
- LoRA（低秩适配）
- 与 Diffusion Policy / Octo 对比

任务类型：

单指令任务（narrow, 单对象）
多指令任务（diverse, 多对象 + 干扰物）
视觉鲁棒性任务（不同场景）

OOD指未见过的目标物体、桌面背景、干扰物、初始位置或朝向。

DIffusion Policy (matched)：指与OpenVla的输入输出维度想匹配的Diffusion Policy。

Openvla（scratch）：指未经OpenX数据集微调的OpenVLA

实验二结论：

Diffusion Policy 擅长单指令任务

OpenVLA 和 Octo 对多指令、多对象任务更强 → 利用 OpenX 预训练数据进行语言 grounding

OpenVLA 平均成功率最高，>50% 成功率覆盖所有任务

LoRA 微调只需训练 1.4% 参数，性能与 Full FT 接近，训练时间 10–15h（单 A100 GPU）

# 实验三：探讨如何高效地参数微调

方法：

Full FT（全模型）
Last-layer only
Frozen vision
Sandwich（unfreeze vision encoder + last layer + embedding）
LoRA（rank 32 / 64）

结果（Table 1, 页 10）：

方法	成功率	训练参数	VRAM
Full FT	69.7%	7,188M	163 GB
Last-layer only	30.3%	465M	51 GB
Frozen vision	47.0%	6,760M	156 GB
Sandwich	62.1%	914M	64 GB
LoRA r=32	68.2%	97.6M	59.7 GB

LoRA 微调在 成功率 / 显存 / 参数量 之间达到最佳平衡

实验四：探讨量化技术能否实现高效推理

方法：

bfloat16（默认）
int8
int4

结果（Table 2 & 图 6, 页 10）：

int4 → 成功率 ≈ bfloat16，显存减半
int8 → 推理慢，低于训练控制频率
推理速率：RTX 4090 ~ 6Hz（bfloat16）
int4 → 3Hz，但性能保持

# 📜 结论

# 🤔 个人总结

Tips: 你对哪些内容产生了疑问，你认为可以如何改进？

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

Afford-VLA--Action-Aligned-Visual-Planning-via-Internalized-Affordance-K2U43GTL

2026-06-04T05:03:11.000Z

# (2026) Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance

<!-- -->
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">作者:</span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"> Runze Wang; Yuqian Fu; Yu Li; Tao Lin; Tianwen Qian; Mohamed Elhoseiny; Bo Zhao; Yanwei Fu; Yu-Gang Jiang; Xiangyang Xue;</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">期刊: </span></span><span style="color: rgb(255, 0, 0);"><span style="background-color: rgb(243, 250, 244);">, </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">期刊分区:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">本地链接: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);"><a href="zotero://open-pdf/0_RBZ9L22W" rel="noopener noreferrer nofollow">Wang 等 - 2026 - Afford-VLA Action-Aligned Visual Planning via Internalized Affordance.pdf</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">DOI: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);"><a href="https://doi.org/10.48550/ARXIV.2605.24203" rel="noopener noreferrer nofollow">10.48550/ARXIV.2605.24203</a></span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">摘要: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">Vision-language-action (VLA) models have shown strong potential for generalist robot manipulation, yet they remain limited by insufficient spatial reasoning, particularly in determining where to interact in complex visual scenes. While recent efforts introduce various forms of visual planning to address this issue, existing approaches either rely on global geometric cues, symbolic intermediate representations, or externally generated visual signals, which are often weakly coupled with downstream action prediction. In this work, we revisit visual planning in VLA systems and argue that effective planning should be local, visually grounded, internally generated, and directly aligned with action. Based on this insight, we propose Afford-VLA, a unified framework that internalizes task-conditioned affordance as an explicit visual planning interface within VLA models. Concretely, we introduce learnable tokens to query task-relevant interaction regions, decode affordance masks from multimodal features, and convert them into compact embeddings that directly condition action generation. This design enables affordance to be both generated and utilized within the VLA, forming a tightly coupled perception–action pathway. To further support this integration, we adopt a training strategy that allows the affordance pathway to be jointly optimized with action prediction, improving its effectiveness for downstream control. We evaluate our method on multiple simulation benchmarks, including LIBERO, LIBERO-Plus, and SimplerEnv, achieving consistent state-of-the-art performance, along with strong real-world results. These findings demonstrate that internalizing affordance as action-aligned visual planning provides a powerful paradigm for improving VLA systems. Codes and Models will be released at Afford-VLA.</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(219, 238, 221);">标签:</span></span>
<span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">笔记日期: </span></span><span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(243, 250, 244);">2026/6/4 13:01:45</span></span>

# 📜 研究核心

Tips: 做了什么，解决了什么问题，创新点与不足？

# ⚙️ 内容

# 💡 创新点

# 🧩 不足

# 🔁 研究内容

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# 🤔 个人总结

Tips: 你对哪些内容产生了疑问，你认为可以如何改进？

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

两数之和

2026-06-02T08:57:28.000Z

class Solution {

public:

    vector<int> twoSum(vector<int>& nums, int target) {

        int n = nums.size();

        for (int i = 0;i<n;i++){

            for (int j=i+1;j<n;j++){

                if (nums[i]==target - nums[j]){

                            return {i, j};

                            }

                    }

        }

        return {};
    }

};

第02章_数字图像基础

2026-06-02T06:47:48.000Z

# 第 2 章数字图像基础

# 本章概括

本章介绍数字图像的底层基础，包括视觉感知、光与电磁波谱、图像获取、采样与量化、像素邻接关系、距离度量、图像基本运算和概率方法。这些概念是后续增强、滤波、分割和识别算法的基础。

# 2.1 视觉感知要素

人眼视觉系统决定了图像处理结果的主观评价。亮度、对比度、空间分辨率和颜色感知都会影响观察效果。PPT 中关于视觉错觉和亮度适应的图说明：同一灰度值在不同背景下会产生不同视觉感受，因此图像增强不能只看像素值，还要考虑视觉感知。

亮度适应说明人眼对绝对亮度不敏感，而对局部对比度更敏感。数字图像处理中常利用这一点，通过对比度拉伸、直方图均衡等方法增强可见细节。

# 2.2 光和电磁波谱

光是电磁波的一部分，可见光只占电磁波谱的很小范围。不同成像系统可以利用不同波段，如 X 射线用于医学影像，红外用于夜视和热成像，微波用于雷达遥感。

光子能量与频率关系为：

$E=h\nu$

其中 $E$ 为光子能量， $h$ 为普朗克常数， $\nu$ 为频率。频率越高，单个光子的能量越高。

波长与频率满足：

$\lambda=\frac{c}{\nu}$

其中 $\lambda$ 为波长， $c$ 为光速。该关系用于理解不同波段成像的物理差异。

# 2.3 图像感知和获取

图像获取通常经历“照射源照射目标、目标反射或透射能量、传感器接收能量、数字化输出图像”的过程。单个传感器可通过扫描形成二维图像，传感器条带和传感器阵列可直接获取二维数据。

# 图示说明

图像获取示意图强调两个关键环节：成像能量源和传感器响应。若照明不足或传感器噪声较大，后续图像会出现低对比度、噪声或模糊。

# 2.4 图像采样和量化

连续图像数字化包括采样和量化。采样决定空间坐标离散化程度，量化决定灰度值离散化程度。

图像存储量为：

$b=M\times N\times k$

其中 $M,N$ 为图像尺寸， $k$ 为每个像素的比特数， $b$ 为存储总比特数。当 $M=N$ 时， $b=N^2k$ 。

采样间隔过大会造成空间细节丢失和混叠；量化级数过少会出现伪轮廓。提高空间分辨率可以保留细节，提高灰度分辨率可以改善灰度过渡。

# 2.5 像素间关系

像素关系是区域分析、连通域标记和形态学处理的基础。

# 邻域与邻接

对像素 $p=(x,y)$ ：

4 邻域 $N_4(p)$ 包含上、下、左、右四个像素。
对角邻域 $N_D(p)$ 包含四个对角像素。
8 邻域 $N_8(p)=N_4(p)\cup N_D(p)$ 。

邻接不仅要求空间相邻，还要求像素灰度属于指定集合 $V$ 。因此 m 邻接用于减少 8 邻接可能导致的连接歧义。

# 通路与连通

从 $p$ 到 $q$ 的通路是一个像素序列，相邻像素之间满足指定邻接关系。若两个像素之间存在通路，则称它们连通。连通性是分割和连通域提取的基础。

# 距离度量

欧氏距离为：

$D_e(p,q)=\sqrt{(x_p-x_q)^2+(y_p-y_q)^2}$

它表示两点间的直线距离。

城市街区距离为：

$D_4(p,q)=|x_p-x_q|+|y_p-y_q|$

它对应 4 邻接下的最短路径长度。

棋盘距离为：

$D_8(p,q)=\max(|x_p-x_q|,\ |y_p-y_q|)$

它对应 8 邻接下的最短路径长度。

# 2.6 图像基本操作

# 2.6.1 阵列操作

阵列操作直接作用于像素矩阵，如访问像素、截取子图、改变图像尺寸或通道。它是所有算法实现的基础。

# 2.6.2 逻辑操作

逻辑操作包括与、或、非、异或，常用于二值图像处理。例如用掩膜保留目标区域，用逻辑与删除背景。

# 2.6.3 算术操作

图像加法可用于叠加、平均降噪；减法可用于变化检测；乘法常用于掩膜处理；除法可用于校正非均匀照明。

带噪图像模型常写为：

$g(x,y)=f(x,y)+\eta(x,y)$

其中 $f(x,y)$ 为原图， $\eta(x,y)$ 为噪声， $g(x,y)$ 为观测图像。多幅同场景图像求平均可以降低随机噪声。

# 2.6.4 集合与逻辑操作

二值图像可看成像素集合，因此集合并、交、差、补与逻辑运算对应。形态学图像处理正是建立在集合观点之上。

# 2.6.5 空间操作

空间操作包括单像素变换、邻域处理和几何变换。邻域处理常通过模板或卷积核完成，几何变换用于平移、旋转、缩放和配准。

仿射变换可写成齐次坐标形式：

$\begin{bmatrix} x\\ y\\ 1 \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} & t_x\\ a_{21} & a_{22} & t_y\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} u\\ v\\ 1 \end{bmatrix}$

矩阵中的线性部分控制旋转、缩放和剪切， $t_x,t_y$ 控制平移。

# 2.6.6 图像变换

图像变换将图像从空间域转换到其他域，例如傅里叶变换用于频率分析，余弦变换用于压缩，小波变换用于多尺度分析。

# 2.6.7 概率方法

概率方法用于描述图像灰度分布、噪声模型和统计特征。直方图可看成灰度概率分布的估计，是直方图均衡、阈值分割和统计识别的基础。

README

2026-06-02T06:47:48.000Z

# 数字图像处理笔记目录

本目录按课程学习顺序整理 13 份 PPT 对应的 Markdown 笔记。每份笔记保留原课件知识顺序，并补充公式解释、图示说明、算法步骤和代码参数说明。

章节	笔记	主要内容	复习重点
第1章	第01章_绪论.md	图像处理概念、系统组成、应用领域、课程内容框架	图像处理与图像分析/理解的区别；图像矩阵表示；典型应用与处理目标
第2章	第02章_数字图像基础.md	视觉感知、采样量化、像素关系、距离度量、图像基本操作	采样/量化；4/8/m 邻接；距离公式；噪声模型；空间操作与图像变换
第3章	第03章_灰度变换与空域滤波.md	灰度变换、直方图均衡/规定化、平滑滤波、锐化滤波	灰度映射公式；均衡 CDF；均值/高斯/中值滤波差异；Sobel 与 Laplacian 模板
第4章	第04章_频率域滤波.md	DFT、频域滤波流程、低通/高通、同态滤波、陷波滤波	频谱含义；理想/Butterworth/高斯滤波差异；同态滤波模型；周期噪声陷波
第5章	第05章_形态学图像处理.md	结构元、腐蚀膨胀、开闭运算、形态学算法、灰度形态学	腐蚀/膨胀定义；开闭运算效果差异；边界/填洞/连通分量公式；顶帽和黑帽
第6章	第06章_彩色图像处理.md	彩色基础、颜色模型、伪彩色、彩色增强、彩色分割、噪声与压缩	RGB/CMY/HSI 转换；HSI 分量含义；亮度与色度分离处理；彩色分割思路
第7章	第07章_图像分割.md	边缘检测、Canny、阈值分割、区域分割、分水岭	分割条件；Sobel/Laplacian/Canny；阈值选择；区域生长；标记分水岭
第8章	第08章_CNN.md	卷积层、池化、ReLU、BN、VGG、ResNet	卷积参数和输出尺寸；池化作用；ReLU/BN 公式；残差连接
第9章	第09章_Transformer.md	Seq2seq、Encoder/Decoder、自注意力、Q/K/V、多头注意力	Q/K/V 公式；softmax 权重；scaled attention；multi-head；mask 的作用
第10章	第10章_ViT.md	ViT patch embedding、Transformer Encoder、迁移学习代码、Swin Transformer	token 数公式；class token；位置编码；ViT 代码参数；window/shifted window
第11章	第11章_特征点检测与匹配.md	Harris、SIFT、SURF、ORB、特征匹配、SuperGlue、LoFTR	Harris 响应；SIFT 尺度空间；OpenCV 参数；匹配距离；RANSAC；学习式匹配
第12章	第12章_目标检测.md	目标检测指标、数据集、R-CNN 系列、YOLO、Anchor、Mask R-CNN、DETR	IoU/PR/AP/mAP；two-stage vs one-stage；anchor 数量；RPN；DETR 集合预测
第13章	第13章_语义分割.md	语义分割定义、数据集、mIoU、FCN、U-Net、SegNet、DeepLab	像素级分类；mIoU 公式；编码器-解码器；跳跃连接；空洞卷积和 ASPP

第03章_灰度变换与空域滤波

2026-06-02T06:47:48.000Z

# 第 3 章灰度变换与空域滤波

# 本章概括

本章讨论空间域图像增强。内容包括灰度变换基础、常见灰度映射、直方图处理、直方图均衡与规定化、空间滤波基础、平滑滤波和锐化滤波。重点是理解不同增强方法如何改变像素灰度或邻域结构。

# 灰度变换与空间滤波基础

空间域处理直接在像素坐标上操作，可表示为：

$g(x,y)=T[f(x,y)]$

其中 $f(x,y)$ 是输入图像， $g(x,y)$ 是输出图像， $T$ 是对单像素或邻域的处理算子。当邻域大小为 $1\times 1$ 时，处理退化为灰度变换。

灰度变换可写为：

$s=T(r)$

其中 $r$ 为输入灰度， $s$ 为输出灰度。它主要用于调整亮度、对比度或突出特定灰度范围。

# 常见灰度变换

# 图像求反

图像反转变换为：

$s=L-1-r$

其中 $L$ 是灰度级数。反转常用于增强暗背景中亮细节，类似底片效果。

# 对数变换

对数变换为：

$s=c\log(1+r)$

其中 $c$ 为比例常数。该变换扩展低灰度、压缩高灰度，常用于显示傅里叶频谱这类动态范围很大的图像。

# 指数变换与伽马校正

伽马变换为：

$s=cr^\gamma$

当 $\gamma<1$ 时，输出图像整体变亮；当 $\gamma>1$ 时，输出图像整体变暗。显示器和相机常用伽马校正补偿非线性响应。

# 分段线性变换

分段线性变换包括对比度拉伸、灰度级切分和比特平面分割。对比度拉伸把灰度范围扩展到更宽区间；灰度级切分突出某一灰度范围；比特平面分割把灰度值按二进制位拆分，便于观察不同位平面对图像细节的贡献。

# 灰度直方图

直方图统计每个灰度级出现的频数或概率：

$p(r_k)=\frac{n_k}{MN}$

其中 $r_k$ 是第 $k$ 个灰度级， $n_k$ 是该灰度级像素数， $MN$ 是像素总数。直方图反映图像亮度分布，但不包含空间位置信息。

# 直方图均衡

连续形式的直方图均衡变换为：

$s=T(r)=(L-1)\int_0^r p_r(w)\,dw$

其中 $p_r(w)$ 为输入灰度概率密度。该变换利用累计分布函数把灰度分布尽量拉平，从而增强整体对比度。

离散形式为：

$s_k=(L-1)\sum_{j=0}^{k}p_r(r_j)$

其中 $s_k$ 是灰度 $r_k$ 映射后的结果。均衡后图像细节通常更明显，但可能放大噪声或使局部区域过增强。

# 直方图规定化

规定化又称直方图匹配，目标是让输出图像具有指定直方图。其基本思想是先对输入图像均衡得到 $s=T(r)$ ，再根据目标分布 $G(z)$ 求逆映射：

$z=G^{-1}(s)=G^{-1}[T(r)]$

其中 $z$ 是最终输出灰度。规定化比均衡更可控，适合把图像调整到某种期望风格或亮度分布。

# 空间滤波基础

空间滤波使用模板在图像上滑动，输出像素由邻域像素加权计算：

$g(x,y)=\sum_{s=-a}^{a}\sum_{t=-b}^{b}w(s,t)f(x+s,y+t)$

其中 $w(s,t)$ 为滤波模板权重。模板权重决定滤波器是平滑、锐化还是检测边缘。

# 图示说明

模板滤波示意图展示了卷积核逐像素滑动的过程：每个输出像素由输入图像中对应邻域的加权和得到。核越大，参与计算的邻域越大，平滑效果越强，但边缘也越容易模糊。

# 平滑空间滤波器

# 均值滤波

均值滤波用邻域平均值替代中心像素，适合降低随机噪声，但会模糊边缘。 $n\times n$ 均值模板可写为：

$w(s,t)=\frac{1}{n^2}$

窗口 $n$ 越大，平滑越强，细节损失也越明显。

# 加权均值与高斯滤波

高斯滤波给中心像素更大权重，距离中心越远权重越小。二维高斯函数为：

$G(x,y)=\frac{1}{2\pi\sigma^2}\exp\left[-\frac{x^2+y^2}{2\sigma^2}\right]$

$\sigma$ 越大，平滑范围越宽，噪声抑制更强，但边缘模糊也更明显。

# 中值滤波

中值滤波用邻域灰度中值替代中心像素，对椒盐噪声尤其有效。与均值滤波相比，它能更好地保留边缘，因为极端噪声点不会直接参与平均。

# 锐化空间滤波器

锐化强调灰度突变，用于增强边缘、细线和细节。

# 一阶微分与梯度

梯度幅值可表示为：

$\nabla f=\begin{bmatrix}G_x\\G_y\end{bmatrix},\qquad |\nabla f|\approx |G_x|+|G_y|$

$G_x$ 和 $G_y$ 分别表示水平和垂直方向灰度变化。梯度越大，边缘可能性越高。

Sobel 算子的常用模板为：

$S_x= \begin{bmatrix} -1 & 0 & 1\\ -2 & 0 & 2\\ -1 & 0 & 1 \end{bmatrix}, \quad S_y= \begin{bmatrix} -1 & -2 & -1\\ 0 & 0 & 0\\ 1 & 2 & 1 \end{bmatrix}$

$S_x$ 检测垂直边缘， $S_y$ 检测水平边缘。

# 拉普拉斯算子

拉普拉斯是二阶微分算子：

$\nabla^2 f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)$

常用模板为：

$\begin{bmatrix} 0 & 1 & 0\\ 1 & -4 & 1\\ 0 & 1 & 0 \end{bmatrix}$

拉普拉斯对细节和噪声都敏感，实际增强时常先平滑再锐化。增强公式可写为：

$g(x,y)=f(x,y)-\nabla^2 f(x,y)$

其中 $g(x,y)$ 为锐化后的图像。

第01章_绪论

2026-06-02T06:47:48.000Z

# 第 1 章绪论

# 本章概括

本章建立数字图像处理课程的整体框架，主要包括数字图像的含义、为什么要进行图像处理、发展起源、典型应用领域、图像处理系统组成以及后续课程要学习的主要方法。重点是理解“输入和输出都是图像”的图像处理边界，以及图像处理、图像分析、图像理解之间的关系。

# 1.1 什么是数字图像处理

图像可以看成二维函数 $f(x,y)$ ，其中 $(x,y)$ 表示空间坐标， $f$ 的幅值表示该点的亮度、灰度或颜色信息。数字图像是对连续图像进行采样和量化后得到的离散数据，通常用矩阵表示。

图像处理关注对图像本身的变换，本课程中可把数字图像处理界定为：输入是图像，输出通常仍是图像的处理过程。它与图像分析、图像理解和计算机视觉相互衔接：图像处理强调改善或变换图像，图像分析从图像中提取数据，图像理解进一步给出语义解释。

# 图像表示

灰度图像可表示为：

$f(x,y)= \begin{bmatrix} f(0,0) & f(0,1) & \cdots & f(0,N-1)\\ f(1,0) & f(1,1) & \cdots & f(1,N-1)\\ \vdots & \vdots & \ddots & \vdots\\ f(M-1,0) & f(M-1,1) & \cdots & f(M-1,N-1) \end{bmatrix}$

其中 $M,N$ 为图像的行数和列数，矩阵元素是像素灰度值。彩色图像通常由多个通道组成，例如 RGB 图像包含红、绿、蓝三个通道。

# 图示说明

PPT 中多张示意图用于说明图像处理、图像分析、图像理解和计算机视觉之间的连续关系。复习时应把这些图理解为处理层次的变化：从像素级增强、恢复，到特征提取，再到目标识别和场景理解。

# 1.1 为什么要做数字图像处理

数字图像处理的目的主要有两类：一类是改善图像视觉质量，使人更容易观察；另一类是提取有用信息，使机器能够进一步分析。典型任务包括图像增强、复原、压缩、分割、特征提取、目标检测和图像生成。

常见动机包括：图像获取过程中存在噪声或模糊；图像对比度不足；需要压缩存储和传输；需要自动识别图像中的目标、边界或区域。

# 1.2 数字图像处理的起源

数字图像处理的发展与计算机、传感器和通信技术密切相关。早期应用包括报纸图像传输、航天图像增强和医学图像分析。随着计算能力提升，图像处理从基础增强扩展到遥感、工业检测、医学诊断、智能交通和生成式图像模型。

# 1.3 数字图像处理应用领域

PPT 中展示了多个应用领域，复习时可按“获取图像的传感器”和“处理目标”分类理解：

医学影像：如 X 光、CT、MRI 图像，用于增强结构、分割病灶和辅助诊断。
遥感与航天：处理卫星图像，完成地物分类、变化检测和目标识别。
工业检测：利用图像检测产品缺陷、尺寸误差和表面纹理问题。
安防与交通：用于人脸识别、车牌识别、目标跟踪和行为分析。
文档和生物识别：包括 OCR、指纹、虹膜和掌纹识别。
生成式图像：根据文本或条件生成图像、视频或三维内容。

# 图像处理效果图

应用示例图通常包含处理前后对比。处理前图像可能存在模糊、低对比度或噪声；处理后图像的边缘、目标区域或视觉层次更明显。复习时应能说出“用了什么处理”和“改善了什么问题”。

# 1.4 数字图像处理系统组成

典型数字图像处理系统包括图像采集设备、数字化器、处理计算机、存储设备、显示设备和输出设备。实际系统中还可能包含专用图像处理硬件、数据库和网络传输模块。

算法流程可以概括为：

图像采集：由相机、扫描仪、遥感器或医学设备获取图像。
数字化：完成采样和量化，得到像素矩阵。
预处理：进行去噪、增强、几何校正等操作。
分析处理：提取特征、分割区域或检测目标。
输出结果：显示、保存、压缩传输或提供给后续识别系统。

# 1.5 数字图像处理主要研究内容

课程后续内容可按处理目标分类：

图像基础：采样、量化、像素关系、图像运算和颜色模型。
图像增强：通过灰度变换、直方图处理、空间滤波和频域滤波改善视觉效果。
图像复原：根据退化模型恢复尽可能接近原始场景的图像。
图像分割：将图像划分为有意义的区域或目标。
形态学处理：利用结构元分析目标形状、边界和连通结构。
特征与识别：提取角点、边缘、纹理和深度特征。
深度学习视觉任务：包括 CNN、Transformer、目标检测和语义分割。

# 1.6 数字图像处理应用举例

PPT 中列举了大量实际案例，如医学图像增强、遥感图像分析、指纹识别、车牌识别、图像分割、三维重建和基于文本的图像/视频生成。复习时不要只记应用名称，应理解每类应用对应的基础处理方法：增强用于改善可见性，分割用于定位区域，特征提取用于匹配识别，深度模型用于端到端学习高层语义。

第05章_形态学图像处理

2026-06-02T06:47:48.000Z

# 第 5 章形态学图像处理

# 本章概括

本章介绍数学形态学方法。核心思想是用结构元探测图像集合的形状。内容包括集合基础、结构元、腐蚀、膨胀、开闭运算、击中击不中变换、边界提取、孔洞填充、连通分量、凸壳、细化、粗化、骨架以及灰度形态学。重点是掌握结构元如何影响处理结果。

# 5.1 预备知识

二值形态学把图像看成 $Z^2$ 上的点集合。目标像素构成集合 $A$ ，结构元构成集合 $B$ 。结构元相当于一个小模板，用来探测目标的形状、大小、方向和连通性。

结构元的选择非常关键：小结构元保留更多细节，大结构元会删除更小的目标或间隙；方向性结构元可检测线段、边缘或特定形状。

# 如何使用结构元

结构元在图像上平移。每到一个位置，都判断结构元与目标集合的包含、相交或匹配关系。PPT 中的结构元示意图应理解为“用一个已知形状去探测图像中的未知形状”。

# 5.2 二值图像中的基本形态学运算

# 5.2.1 腐蚀

腐蚀定义为：

$A\ominus B=\{z\mid (B)_z\subseteq A\}$

其中 $(B)_z$ 表示结构元 $B$ 平移到位置 $z$ 后的集合。只有当结构元完全包含在目标集合 $A$ 中，位置 $z$ 才保留。

腐蚀的作用是收缩目标、消除小突出、断开细连接。结构元越大，目标收缩越明显。

# 图示说明

腐蚀示例图展示了目标边界向内收缩的效果：细小目标可能被完全删除，狭窄连接可能断开，因此腐蚀常用于去除小噪声或分离粘连目标。

# 5.2.2 膨胀

膨胀定义为：

$A\oplus B=\{z\mid (\hat{B})_z\cap A\ne\varnothing\}$

其中 $\hat{B}$ 是结构元关于原点的反射。只要结构元与目标集合有交集，该位置就被加入输出。

膨胀的作用是扩张目标、填补小孔、连接邻近断裂区域。结构元越大，扩张越明显。

# 对偶性

腐蚀和膨胀具有对偶关系：

$(A\ominus B)^c=A^c\oplus \hat{B}$

$(A\oplus B)^c=A^c\ominus \hat{B}$

其中 $A^c$ 表示补集。对偶性说明对前景腐蚀等价于对背景膨胀。

# 5.3 开运算和闭运算

开运算为先腐蚀后膨胀：

$A\circ B=(A\ominus B)\oplus B$

它可以去除小目标、断开细连接、平滑目标轮廓，但总体不会明显扩大目标。

闭运算为先膨胀后腐蚀：

$A\bullet B=(A\oplus B)\ominus B$

它可以填补小孔、连接窄断裂、平滑轮廓，但总体不会明显缩小目标。

运算	顺序	主要作用	典型影响
腐蚀	结构元完全包含才保留	收缩目标	去小噪声、断开细连接
膨胀	结构元与目标相交即保留	扩张目标	填小孔、连接断裂
开运算	腐蚀再膨胀	去除小亮目标	保留较大目标形状
闭运算	膨胀再腐蚀	填补小暗孔	连接近邻目标

# 5.4 击中击不中变换

击中击不中变换用于检测特定形状，要求一个结构元匹配目标，另一个结构元匹配背景：

$A\otimes B=(A\ominus B_1)\cap(A^c\ominus B_2)$

其中 $B_1$ 用于匹配前景， $B_2$ 用于匹配背景。它常用于端点检测、角点检测和细化中的模板匹配。

# 5.5 基本形态学算法

# 边界提取

边界可由原图减去腐蚀结果得到：

$\beta(A)=A-(A\ominus B)$

腐蚀去掉边缘像素，因此差集保留目标边界。

# 孔洞填充

孔洞填充从孔内某个种子点开始，反复膨胀并限制在背景区域内：

$X_k=(X_{k-1}\oplus B)\cap A^c$

迭代直到 $X_k=X_{k-1}$ 。最后 $X_k\cup A$ 即为填洞结果。

# 连通分量提取

连通分量提取也可通过形态学重建完成。从一个目标像素种子开始反复膨胀，并与原集合 $A$ 相交，直到稳定：

$X_k=(X_{k-1}\oplus B)\cap A$

该方法可逐个提取连通区域。

# 凸壳、细化、粗化和骨架

凸壳用于得到包含目标的最小凸集合；细化逐步删除边界像素但保持连通性；粗化与细化相反，用于补充结构；骨架提取保留目标的中轴结构，适合形状描述和识别。

骨架可理解为目标内部到边界距离局部最大的点集合。PPT 中骨架示例图说明：骨架保留了目标拓扑和主要形状，但去除了宽度信息。

# 5.6 灰度级形态学

灰度形态学将二值集合运算推广到灰度函数。结构元不再只判断包含或相交，而是参与局部最大值和最小值运算。

灰度膨胀可写为：

$(f\oplus b)(x,y)=\max_{(s,t)\in b}\{f(x-s,y-t)+b(s,t)\}$

灰度腐蚀可写为：

$(f\ominus b)(x,y)=\min_{(s,t)\in b}\{f(x+s,y+t)-b(s,t)\}$

灰度膨胀会增强亮区域、扩展亮细节；灰度腐蚀会增强暗区域、收缩亮区域。灰度开运算可去除小亮结构，灰度闭运算可填补小暗结构。

# 灰度形态学算法

灰度顶帽变换用于提取比背景亮的小目标：

$T_{hat}(f)=f-(f\circ b)$

黑帽变换用于提取比背景暗的小结构：

$B_{hat}(f)=(f\bullet b)-f$

它们常用于非均匀背景校正、细小目标增强和缺陷检测。

第04章_频率域滤波

2026-06-02T06:47:48.000Z

# 第 4 章频率域滤波

# 本章概括

本章从傅里叶变换出发介绍频率域图像处理，包括采样、混叠、二维 DFT、频谱性质、频域滤波流程、低通和高通滤波、同态滤波、带阻/带通和陷波滤波。重点是理解频率与图像结构的关系：低频对应缓慢变化，高频对应边缘、噪声和细节。

# 4.1 傅立叶变换基础

傅里叶分析把信号分解为不同频率的正弦/余弦分量。图像中平滑区域主要对应低频，边缘、纹理和噪声主要对应高频。

一维连续傅里叶变换为：

$F(\mu)=\int_{-\infty}^{\infty}f(t)e^{-j2\pi\mu t}\,dt$

反变换为：

$f(t)=\int_{-\infty}^{\infty}F(\mu)e^{j2\pi\mu t}\,d\mu$

$F(\mu)$ 表示频率 $\mu$ 上的幅度和相位信息。

# 取样与混淆

采样频率不足会产生混叠，高频成分会错误地表现为低频成分。PPT 中采样和混淆示意图说明：图像中细密纹理、周期条纹和锐利边缘都容易出现混叠。

防止混叠的基本方法是在采样前进行低通滤波，并保证采样频率满足奈奎斯特条件。

# 4.1 离散傅立叶变换 DFT

二维 DFT 为：

$F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y) e^{-j2\pi(ux/M+vy/N)}$

二维反 DFT 为：

$f(x,y)=\frac{1}{MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v) e^{j2\pi(ux/M+vy/N)}$

其中 $(x,y)$ 是空间坐标， $(u,v)$ 是频率坐标。频谱中心化通常通过乘以 $(-1)^{x+y}$ 实现，使低频移动到频谱中心。

# 频谱图说明

频谱图中的亮点表示该频率成分强。中心区域通常是低频，远离中心为高频。若图像有明显周期纹理，频谱中会出现对称亮点；若图像边缘强，高频能量会增加。

# 频率域滤波基础

频域滤波流程为：

对输入图像 $f(x,y)$ 进行必要填充，减少周期卷积带来的环绕误差。
计算 DFT 得到 $F(u,v)$ 。
构造滤波器 $H(u,v)$ 。
相乘得到 $G(u,v)=H(u,v)F(u,v)$ 。
反变换得到输出图像 $g(x,y)$ ，再裁剪回原尺寸。

核心公式为：

$G(u,v)=H(u,v)F(u,v)$

$H(u,v)$ 决定保留或抑制哪些频率成分。

# 低通滤波器

低通滤波器保留低频、抑制高频，主要用于平滑和去噪。

理想低通滤波器为：

$H(u,v)= \begin{cases} 1,&D(u,v)\le D_0\\ 0,&D(u,v)>D_0 \end{cases}$

$D_0$ 是截止频率。理想低通边界突变，容易产生振铃现象。

Butterworth 低通滤波器为：

$H(u,v)=\frac{1}{1+\left[D(u,v)/D_0\right]^{2n}}$

$n$ 是阶数，阶数越高越接近理想低通，振铃风险也更大。

高斯低通滤波器为：

$H(u,v)=e^{-D^2(u,v)/(2D_0^2)}$

高斯滤波器过渡平滑，通常不会产生明显振铃。

# 高通滤波器

高通滤波器抑制低频、保留高频，用于边缘增强和锐化。低通滤波器 $H_{LP}$ 对应的高通形式可写为：

$H_{HP}(u,v)=1-H_{LP}(u,v)$

理想高通边界突变，可能导致振铃；Butterworth 高通可调过渡陡峭程度；高斯高通过渡最平滑。

# 效果图说明

PPT 中 $D_0=30,60,100$ 的高通结果体现了截止频率的影响： $D_0$ 小时保留更多高频，边缘和噪声都更明显； $D_0$ 增大时高通范围变窄，增强效果减弱。

# 同态滤波

图像可建模为照明分量和反射分量的乘积：

$f(x,y)=i(x,y)r(x,y)$

照明 $i(x,y)$ 通常变化缓慢，主要对应低频；反射 $r(x,y)$ 与物体细节相关，主要对应高频。取对数后：

$z(x,y)=\ln f(x,y)=\ln i(x,y)+\ln r(x,y)$

再进行傅里叶变换并用滤波器处理：

$S(u,v)=H(u,v)Z(u,v)$

最后反变换并指数还原。其作用是压低低频照明不均，同时增强高频细节。

# 带阻、带通与陷波滤波器

带阻滤波器抑制某一频带，带通滤波器保留某一频带。陷波滤波器用于去除周期噪声，通常在频谱中针对对称亮点设置抑制区域。

陷波滤波流程：

观察频谱，定位周期噪声对应的对称峰。
在峰值附近构造陷波阻止滤波器。
频域相乘后反变换。
检查图像中周期条纹是否减弱，同时避免损伤正常结构。

第06章_彩色图像处理

2026-06-02T06:47:48.000Z

# 第 6 章彩色图像处理

# 本章概括

本章介绍彩色图像的基本原理和处理方法，包括彩色感知、CIE 色度图、RGB/CMY/CMYK/HSI 模型、伪彩色增强、全彩色处理、彩色变换、彩色平滑锐化、彩色分割、彩色噪声与压缩。重点是理解不同颜色空间适合解决的问题。

# 6.1 彩色基础

彩色图像包含亮度和色度信息。人眼对颜色的感知可由亮度、色调和饱和度描述。色调表示颜色类别，饱和度表示颜色纯度，亮度表示明暗程度。

CIE 三刺激值 $X,Y,Z$ 可转换为色度坐标：

$x=\frac{X}{X+Y+Z},\quad y=\frac{Y}{X+Y+Z},\quad z=1-x-y$

色度坐标去除了整体亮度影响，用于描述颜色本身。

# 色度图说明

PPT 中的色度图展示了可见颜色范围、白点位置和不同颜色模型覆盖区域。越靠边界颜色越饱和，中心附近颜色接近白色或灰色。

# 6.2 彩色模型

# 6.2.1 RGB 彩色模型

RGB 是加色模型，适用于显示器和相机。彩色图像可看成三个灰度图像的组合：

$f(x,y)=\begin{bmatrix}R(x,y),G(x,y),B(x,y)\end{bmatrix}$

每个通道的范围通常为 $0$ 到 $255$ 。最亮红色可表示为 $R=255,G=B=0$ 。

# 6.2.2 CMY 和 CMYK 彩色模型

CMY 是减色模型，常用于印刷：

$C=1-R,\quad M=1-G,\quad Y=1-B$

CMYK 在 CMY 基础上增加黑色通道 $K$ ，可降低油墨消耗并改善深色表现。

# 6.2.3 HSI 彩色模型

HSI 将颜色分为色调 $H$ 、饱和度 $S$ 和亮度 $I$ ，更接近人类描述颜色的方式。图像增强常只处理 $I$ 分量，从而尽量避免改变颜色。

RGB 到 HSI 的亮度分量为：

$I=\frac{1}{3}(R+G+B)$

饱和度可表示为：

$S=1-\frac{3}{R+G+B}\min(R,G,B)$

其中 $S$ 越大颜色越纯， $S=0$ 接近灰度。

# 6.3 伪彩色图像处理

伪彩色把灰度值映射为颜色，用于增强人眼对细微灰度差异的感知。常见方法包括强度分层和灰度到彩色变换。

强度分层把灰度范围划分为若干区间，每个区间赋予不同颜色。适用于医学热图、遥感高度图和温度分布图。

# 6.4 全彩色图像处理

全彩色处理直接处理彩色图像。可以分别处理 RGB 三通道，也可以转换到 HSI、YCbCr、Lab 等空间后只处理亮度或色度分量。

彩色变换的一般形式为：

$s_i=T_i(r_1,r_2,\cdots,r_n),\quad i=1,2,\cdots,n$

其中 $r_i$ 是输入颜色分量， $s_i$ 是输出颜色分量。若在 RGB 空间中处理，则 $n=3$ 。

# 6.5 彩色变换

对 RGB 三通道直接做相同线性变换会改变亮度，但通常不改变色调方向；若不同通道变换不同，颜色可能发生偏移。因此亮度增强更常在 HSI 的 $I$ 分量上进行。

# 图示说明

PPT 中关于 H 通道是否变化的示例说明：对图像整体亮度做一致线性变换时，色调通常保持稳定；对单个通道单独调整时，色调会变化，可能造成偏色。

# 6.6 彩色图像平滑和锐化

彩色平滑可以分别对每个通道滤波，也可以只对亮度分量滤波。若对 RGB 分量分别平滑，可能引入颜色边界模糊；若在 HSI 中处理 $I$ 分量，可较好保留色调。

彩色锐化同理。直接锐化三个通道会增强颜色噪声，只锐化亮度分量通常更自然。

# 6.7 彩色图像分割

彩色分割利用颜色空间中的距离或阈值分离目标。常见方法包括 RGB 阈值、HSI 阈值、颜色聚类和区域生长。

在 HSI 中，色调 $H$ 对颜色类别敏感，饱和度 $S$ 可排除灰色区域，亮度 $I$ 用于限制过暗或过亮区域。PPT 中二值饱和度模板示例说明：低饱和区域常被当作背景或无效颜色区域。

# 6.8 彩色图像中的噪声

彩色噪声可能出现在单个通道，也可能在多个通道相关出现。RGB 空间中的通道噪声会表现为彩色斑点；亮度噪声主要影响明暗；色度噪声主要造成颜色不稳定。

去噪时应根据噪声类型选择处理空间：亮度噪声可处理 $I$ 或 $Y$ 分量，色度噪声可处理色度通道。

# 6.9 彩色图像压缩

彩色图像压缩常利用人眼对亮度更敏感、对色度相对不敏感的特点。JPEG 等方法通常把 RGB 转换到亮度-色度空间，对色度通道进行更强压缩。

第08章_CNN

2026-06-02T06:47:48.000Z

# 第 8 章卷积神经网络 CNN

# 本章概括

本章介绍 CNN 在图像任务中的基本结构，包括卷积层、池化层、ReLU、批归一化、经典网络 VGG 和 ResNet。重点是理解卷积如何提取局部特征，以及深层网络如何通过残差连接提高训练稳定性。

# 卷积神经网络概述

CNN 适合处理图像，因为它利用局部连接、权值共享和平移等变性。图像输入通常为 $H\times W\times C$ 张量，卷积层提取局部特征，池化层降低分辨率，最后通过全连接层或全局池化完成分类。

# 卷积 Convolution

二维卷积输出可写为：

$y(i,j)=\sum_m\sum_n x(i+m,j+n)w(m,n)+b$

其中 $x$ 是输入， $w$ 是卷积核， $b$ 是偏置。卷积核学习边缘、纹理、局部形状等特征。

卷积层常见参数：

in_channels：输入通道数，例如灰度图为 1，RGB 图为 3。
out_channels：卷积核个数，也是输出特征图通道数。
kernel_size：卷积核大小，如 $3\times3$ 或 $5\times5$ 。
stride：步幅，越大输出尺寸越小。
padding：边缘填充，用于控制输出尺寸并保留边界信息。

输出尺寸为：

$H_{out}=\left\lfloor\frac{H+2P-K}{S}\right\rfloor+1$

其中 $H$ 为输入尺寸， $P$ 为 padding， $K$ 为卷积核大小， $S$ 为 stride。

# 池化 Pooling

池化用于降低特征图尺寸并增强局部平移鲁棒性。最大池化保留局部最大响应，适合突出显著特征；平均池化保留局部平均信息，平滑性更强。

# ReLU 激活函数

ReLU 定义为：

$\operatorname{ReLU}(x)=\max(0,x)$

它引入非线性，并缓解 sigmoid/tanh 的梯度饱和问题。负值被置零，正值保持不变。

# 批归一化 Batch Normalization

BN 对 mini-batch 中的特征进行归一化：

$\hat{x}=\frac{x-\mu_B}{\sqrt{\sigma_B^2+\epsilon}}$

再通过可学习参数恢复表达能力：

$y=\gamma\hat{x}+\beta$

BN 可稳定训练、加快收敛，并在一定程度上起到正则化作用。

# 经典 CNN 结构

# VGG

VGG 使用大量 $3\times3$ 卷积堆叠构建深层网络。小卷积核叠加可以扩大感受野，同时减少参数量并增加非线性层数。

# ResNet

ResNet 引入残差连接：

$y=F(x)+x$

其中 $F(x)$ 是残差分支， $x$ 是捷径连接。残差连接让网络学习输入与输出之间的差值，缓解深层网络退化问题。

# 代码整理

这段代码用于加载预训练 ResNet50，并自动选择 GPU 或 CPU。

import torch
from torchvision import models

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = models.resnet50(pretrained=True).to(device)
model.eval()

torch.device() 用于选择运行设备；models.resnet50(pretrained=True) 加载在大规模数据集上预训练的模型；.to(device) 把模型移动到 GPU 或 CPU。若改为训练模式，需要调用 model.train()，并配合损失函数和优化器更新参数。

第10章_ViT

2026-06-02T06:47:48.000Z

# 第 10 章视觉 Transformer ViT

# 本章概括

本章介绍 Transformer 在视觉任务中的应用。ViT 将图像划分为 patch，把每个 patch 映射为 token，再输入 Transformer Encoder。后续 Swin Transformer 通过窗口注意力和移动窗口构建层次化视觉特征。重点是理解图像如何被序列化以及窗口注意力如何降低计算量。

# ViT 基本思想

ViT 把图像划分为固定大小的 patch。每个 patch 展平成向量后通过线性层映射为 token，并加入位置编码。若图像大小为 $H\times W$ ，patch 大小为 $P\times P$ ，则 token 数为：

$N=\frac{HW}{P^2}$

patch 越小，token 越多，细节更丰富，但注意力计算量更大。

# Patch Embedding

每个 patch $x_p$ 映射为嵌入向量：

$z_0=[x_{class};x_p^1E;x_p^2E;\cdots;x_p^NE]+E_{pos}$

$x_{class}$ 是分类 token， $E$ 是 patch 投影矩阵， $E_{pos}$ 是位置编码。分类任务通常使用最终的 class token 表示整幅图像。

# Transformer Encoder

ViT 使用标准 Transformer Encoder，包括多头自注意力、MLP、残差连接和 LayerNorm。自注意力让任意 patch 之间可以直接交互，因此能建模长距离依赖。

# ViT 代码整理：加载预训练模型

这段代码用于加载预训练 ViT，并在测试集上做分类评估。

import torch
from torchvision import datasets, transforms, models

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = models.vit_b_16(pretrained=True).to(device)
model.eval()

transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225])
])

test_dataset = datasets.ImageFolder("/path/to/val", transform=transform)
test_loader = torch.utils.data.DataLoader(
    test_dataset, batch_size=32, shuffle=False, num_workers=4
)

Resize((224,224)) 把输入调整到 ViT 预训练尺寸；Normalize() 使用 ImageNet 均值和标准差；batch_size 越大吞吐可能越高，但显存占用也越大。

# ViT 代码整理：微调分类头

这段代码用于把预训练 ViT 迁移到新的分类任务。

import torch.nn as nn
from torchvision import models

num_classes = 10
model = models.vit_b_16(pretrained=True)
model.heads.head = nn.Linear(model.heads.head.in_features, num_classes)
model = model.to(device)

替换 model.heads.head 后，模型输出类别数变为下游任务类别数。若训练数据较少，可冻结 backbone 只训练分类头；若数据充足，可全模型微调。

# Swin Transformer

Swin Transformer 使用窗口自注意力，把注意力限制在局部窗口中，从而降低计算量。普通全局注意力复杂度约为 $O(N^2)$ ，窗口注意力只在窗口内计算，复杂度明显降低。

移动窗口 shifted window 让相邻窗口之间交换信息，弥补固定窗口无法跨窗口建模的问题。Swin 还通过 patch merging 构建层次化特征，类似 CNN 中分辨率逐步降低、通道数逐步增加的结构。

# 图示说明

ViT 图示重点看三步：图像切 patch、patch 变 token、token 输入 Transformer。Swin 图示重点看窗口划分和移动窗口：前者降低计算量，后者实现跨窗口信息交互。

第07章_图像分割

2026-06-02T06:47:48.000Z

# 第 7 章图像分割

# 本章概括

本章讨论把图像划分为目标区域的基本方法，包括分割定义、点线边缘检测、Canny 边缘检测、阈值处理、区域生长、区域分裂合并和分水岭算法。重点是理解边缘型分割、阈值型分割和区域型分割的适用条件。

# 7.1 基础知识

图像分割的目标是把图像区域 $R$ 划分为若干互不重叠的子区域：

$R=\bigcup_{i=1}^{n}R_i,\qquad R_i\cap R_j=\varnothing\ (i\ne j)$

每个区域内部应满足某种一致性准则 $P(R_i)=\text{TRUE}$ ，而不同相邻区域合并后不再满足该准则：

$P(R_i\cup R_j)=\text{FALSE}$

这里的一致性可以是灰度、颜色、纹理、边缘或语义类别。

# 7.2 点、线和边缘检测

# 7.2.1 背景知识

点、线和边缘检测本质上都是寻找灰度突变。模板响应可写为：

$R=\sum_{k=1}^{9}w_k z_k$

其中 $w_k$ 是模板系数， $z_k$ 是邻域像素值。不同模板对孤立点、线段或边缘有不同响应。

# 7.2.2 孤立点检测

孤立点检测常使用拉普拉斯类模板。若模板响应绝对值超过阈值，则认为该点与邻域差异明显。

# 7.2.3 线检测

线检测使用方向性模板，如水平、垂直、 $45^\circ$ 和 $-45^\circ$ 模板。某方向模板响应最大，说明图像中可能存在该方向线结构。

# 7.2.4 边缘模型

常见边缘包括阶跃边缘、斜坡边缘和屋顶边缘。实际图像中由于成像模糊和噪声，理想阶跃边缘常表现为斜坡边缘。

一阶导数在边缘处出现峰值，二阶导数在边缘附近出现零交叉。边缘检测常利用梯度幅值和方向。

# 7.2.5 基本边缘检测算子

Sobel 模板为：

$S_x= \begin{bmatrix} -1 & 0 & 1\\ -2 & 0 & 2\\ -1 & 0 & 1 \end{bmatrix}, \quad S_y= \begin{bmatrix} -1 & -2 & -1\\ 0 & 0 & 0\\ 1 & 2 & 1 \end{bmatrix}$

$S_x$ 对垂直边缘响应强， $S_y$ 对水平边缘响应强。

Laplacian 离散形式为：

$\nabla^2 f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)$

它对灰度突变敏感，但也容易放大噪声。

# 7.2.6 Canny 边缘检测

Canny 是常用的最优边缘检测方法，目标是低错误率、边缘定位准确、单边缘响应。

算法步骤：

用高斯滤波平滑图像，降低噪声。
计算梯度幅值和方向。
进行非最大抑制，保留局部梯度最大点。
使用双阈值区分强边缘和弱边缘。
通过边缘连接保留与强边缘相连的弱边缘。

高斯平滑为：

$f_s(x,y)=G(x,y)*f(x,y)$

梯度幅值和方向为：

$M(x,y)=\sqrt{g_x^2+g_y^2},\qquad \alpha(x,y)=\arctan\frac{g_y}{g_x}$

双阈值中，高阈值 $T_H$ 保留可靠边缘，低阈值 $T_L$ 保留候选边缘。 $T_H$ 过高会漏检， $T_L$ 过低会引入噪声边缘。

# 7.3 阈值处理

阈值分割根据灰度值把像素分为目标和背景：

$g(x,y)= \begin{cases} 1,&f(x,y)\ge T\\ 0,&f(x,y)<T \end{cases}$

$T$ 为阈值。全局阈值适合光照均匀且目标/背景灰度差异明显的图像；局部阈值适合光照不均或背景变化明显的图像。

多阈值分割可把图像划分为多个灰度区域，适合多个目标类别或多层结构图像。

# 7.4 基于区域的分割

# 区域生长

区域生长从种子点开始，把满足相似性条件的邻域像素加入区域。关键是选择种子点和相似性准则，如灰度差、颜色距离或纹理相似度。

算法流程：

选取一个或多个种子点。
检查种子邻域像素。
若满足相似性准则，则加入区域。
重复扩展直到没有新像素可加入。

区域生长能得到连通区域，但对种子选择和噪声敏感。

# 区域分裂与合并

分裂合并先把图像划分为较大区域，若区域不满足一致性则继续分裂；相邻区域若合并后满足一致性则合并。它适合区域内部性质较稳定但目标位置未知的情况。

# 7.5 分水岭分割算法

分水岭把灰度图像看成地形表面，灰度值表示高度。局部极小值形成集水盆地，盆地边界即分水岭线。

# 水坝构建

水从局部极小值开始上涨，不同盆地即将合并时修建水坝，水坝位置形成分割边界。

# 标记控制分水岭

直接分水岭容易过分割，因此常使用标记控制：

对图像预处理，去噪并增强边界。
生成前景标记和背景标记。
修改梯度图，使标记位置成为极小值。
在修改后的梯度图上执行分水岭。

标记控制可以显著减少过分割，使分割结果更符合目标区域。

第09章_Transformer

2026-06-02T06:47:48.000Z

# 第 9 章 Transformer

# 本章概括

本章介绍 Transformer 的序列建模框架，重点包括 Seq2seq、Encoder、Decoder、自注意力、Q/K/V、Softmax 权重、多头注意力和训练流程。核心是理解注意力如何让每个 token 动态聚合其他 token 的信息。

# Seq2seq 与 Encoder-Decoder

Seq2seq 模型用于把一个序列映射为另一个序列，如语音到文字、机器翻译或图像描述。Encoder 负责编码输入序列，Decoder 根据编码结果逐步生成输出序列。

# Self-attention

自注意力让序列中每个位置都能关注其他位置。对输入向量 $a_i$ ，先线性变换得到 Query、Key、Value：

$q_i=W_q a_i,\qquad k_i=W_k a_i,\qquad v_i=W_v a_i$

$q_i$ 用于发起查询， $k_i$ 用于被匹配， $v_i$ 是被加权汇聚的信息。

# Scaled Dot-Product Attention

实际 Transformer 使用缩放点积注意力：

$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$

$d_k$ 是 key 的维度，除以 $\sqrt{d_k}$ 可避免点积过大导致 softmax 梯度过小。

# Multi-head Attention

多头注意力把 $Q,K,V$ 投影到多个子空间中并行计算注意力：

$\operatorname{MultiHead}(Q,K,V)=\operatorname{Concat}(head_1,\cdots,head_h)W^O$

不同头可以关注不同关系，如局部关系、长距离依赖或语义相关性。

# Encoder

Encoder 通常由多层堆叠组成，每层包含多头自注意力、前馈网络、残差连接和层归一化。残差连接帮助梯度传播，层归一化稳定训练。

# Decoder

Decoder 包含 masked self-attention、encoder-decoder attention 和前馈网络。Masked self-attention 防止当前位置看到未来输出，保证自回归生成。

# Training

训练时常使用 teacher forcing，即 Decoder 输入真实前缀，预测下一个 token。损失函数通常为交叉熵。推理时模型逐步生成，每一步把已生成 token 作为下一步输入。

# 图示说明

PPT 中的 Q/K/V 和注意力权重图展示了自注意力的计算过程：先由输入生成查询、键和值，再用查询和键计算相关性，最后对 value 加权求和。复习时应能把图中的箭头对应到上述公式。

第12章_目标检测

2026-06-02T06:47:48.000Z

# 第 12 章目标检测

# 本章概括

本章介绍目标检测任务、评价指标、数据集和典型检测模型。内容包括 Precision-Recall、AP/mAP、PASCAL VOC、COCO、R-CNN 系列、YOLO、Anchor Based/Anchor Free、Faster R-CNN、Mask R-CNN、DETR 和 Mask2Former。重点是理解分类与定位同时完成的检测框架。

# 概述

目标检测需要同时回答“目标在哪里”和“目标是什么”。输出通常包含类别标签、置信度和边界框坐标。

边界框常用 $(x,y,w,h)$ 或 $(x_1,y_1,x_2,y_2)$ 表示。检测模型需要处理多尺度目标、遮挡、密集目标和背景干扰。

# 目标检测效果评估

IoU 衡量预测框与真实框的重叠程度：

$\operatorname{IoU}=\frac{B_p\cap B_{gt}}{B_p\cup B_{gt}}$

$B_p$ 是预测框， $B_{gt}$ 是真实框。IoU 越高，定位越准确。

Precision 和 Recall 为：

$\operatorname{Precision}=\frac{TP}{TP+FP},\qquad \operatorname{Recall}=\frac{TP}{TP+FN}$

Precision 表示预测为正的结果中有多少是真的，Recall 表示真实目标中有多少被检测出来。

# 计算 Precision-Recall 曲线

按置信度从高到低排序预测框，逐步改变阈值，可得到一系列 Precision 和 Recall 点。阈值高时误检少但漏检多；阈值低时召回高但误检增加。

# AP 与 mAP

AP 是 Precision-Recall 曲线下的面积。PASCAL VOC 早期使用 11 点插值：

$AP=\frac{1}{11}\sum_{r\in\{0,0.1,\cdots,1\}}p_{interp}(r)$

mAP 是多个类别 AP 的平均值：

$mAP=\frac{1}{C}\sum_{c=1}^{C}AP_c$

COCO 常用 $mAP@0.5:0.95$ ，在 IoU 从 0.5 到 0.95 的多个阈值上求平均，比单一 $mAP@0.5$ 更严格。

# 数据集

# PASCAL VOC

VOC 是经典目标检测数据集，类别数较少，常用于早期检测算法评估。

# COCO

COCO 类别更多、场景更复杂，包含大量小目标和实例分割标注，因此更能反映实际检测难度。

# Two-stage 检测

Two-stage 方法先生成候选区域，再对候选区域分类和回归。代表方法包括 R-CNN、Fast R-CNN 和 Faster R-CNN。

# R-CNN 系列

R-CNN 使用选择性搜索生成候选框，再逐个提取 CNN 特征，速度较慢。Fast R-CNN 先对整图提取特征，再对 ROI 分类和回归。Faster R-CNN 引入 RPN 自动生成候选框，大幅提升速度。

RPN 对每个 anchor 预测目标置信度和边界框偏移。若输入图像经 backbone 下采样 16 倍， $800\times600$ 图像得到约 $50\times38$ 特征图，每点设置 9 个 anchor，则 anchor 数为：

$50\times38\times9=17100$

anchor 数量多可覆盖多尺度目标，但也带来较高计算和正负样本不平衡问题。

# One-stage 检测

One-stage 方法直接在特征图上预测类别和边界框，速度通常更快。代表方法包括 YOLO、SSD 和 RetinaNet。

# YOLO

YOLO 将检测视为单次回归问题，直接输出边界框、类别和置信度。它速度快，适合实时检测；早期版本对小目标和密集目标较弱，后续版本通过多尺度特征和更强 backbone 改进。

# Anchor Based 与 Anchor Free

Anchor based 方法在特征图每个位置预设多个 anchor，再预测偏移量。Anchor free 方法直接预测目标中心、关键点或边界距离，减少 anchor 设计。

例如 $80\times80$ 特征图每点 3 个 anchor，会产生：

$3\times80\times80=19200$

若使用 anchor free，每个位置只预测一次，候选数为：

$80\times80=6400$

这降低了预测框数量和后处理压力。

# Mask R-CNN

Mask R-CNN 在 Faster R-CNN 基础上增加 mask 分支，用于实例分割。它同时输出类别、边界框和目标掩膜。ROIAlign 用于解决 RoIPool 的量化误差，提高掩膜定位精度。

# DETR

DETR 使用 Transformer 和集合预测思想，把目标检测看成固定数量 object queries 的集合预测问题。它通过匈牙利匹配建立预测与真实目标的一一对应，减少对 NMS 和 anchor 设计的依赖。

# Mask2Former

Mask2Former 将实例分割、语义分割和全景分割统一为 mask classification 问题。它用 query 预测 mask 和类别，适合多种分割任务。

# 图示说明

检测模型结构图通常展示 backbone、neck 和 head：backbone 提取特征，neck 融合多尺度信息，head 输出类别和位置。对比图中，两阶段方法更重视候选区域质量，单阶段方法更强调速度。

第13章_语义分割

2026-06-02T06:47:48.000Z

# 第 13 章语义分割

# 本章概括

本章介绍语义分割任务、常用数据集、评价指标和典型网络，包括 FCN、U-Net、SegNet 和 DeepLab 系列。重点是理解语义分割是像素级分类任务，以及编码器-解码器结构如何恢复空间分辨率。

# 概述

语义分割为图像中每个像素分配类别标签。与目标检测只输出边界框不同，语义分割输出像素级区域；与实例分割不同，语义分割不区分同一类别的不同实例。

# 数据集

常见语义分割数据集包括 PASCAL VOC、Cityscapes、ADE20K 和 COCO-Stuff。不同数据集关注场景不同：Cityscapes 适合自动驾驶街景，ADE20K 场景类别更丰富，VOC 常用于基础算法比较。

# 评价指标

像素准确率为：

$PA=\frac{\sum_i n_{ii}}{\sum_i\sum_j n_{ij}}$

$n_{ij}$ 表示真实类别为 $i$ 、预测为 $j$ 的像素数。

类别 IoU 为：

$IoU_i=\frac{n_{ii}}{\sum_j n_{ij}+\sum_j n_{ji}-n_{ii}}$

mIoU 为所有类别 IoU 的平均：

$mIoU=\frac{1}{C}\sum_{i=1}^{C}IoU_i$

mIoU 同时考虑误分和漏分，是语义分割最常用指标。

# FCN

FCN 将分类网络中的全连接层改为卷积层，使网络能够输出空间特征图。通过反卷积或上采样恢复分辨率，并利用跳跃连接融合浅层细节和深层语义。

# U-Net

U-Net 采用编码器-解码器结构，并通过跳跃连接把编码器的高分辨率特征传给解码器。它在医学图像分割中应用广泛，适合数据量相对较少的场景。

# SegNet

SegNet 也是编码器-解码器结构。它在上采样时使用池化索引恢复空间位置，减少参数量，同时保留边界定位信息。

# DeepLab 系列

DeepLab 的核心思想包括空洞卷积、ASPP 和条件随机场后处理。

空洞卷积通过空洞率扩大感受野：

$y[i]=\sum_k x[i+r\cdot k]w[k]$

其中 $r$ 是空洞率。 $r$ 越大，感受野越大，但过大可能导致栅格效应。

ASPP 使用多个不同空洞率的并行卷积捕获多尺度上下文。DeepLabv3+ 进一步结合编码器-解码器结构，改善边界细节。

# 图示说明

PPT 中网络结构图可按“编码器提取语义、解码器恢复分辨率、跳跃连接补充细节”理解。分割结果图中，好的模型应同时做到类别判断正确、边界贴合准确、小目标不丢失。

终南山下，活死人墓

π0--A-Vision-Language-Action-Flow--9C6Y3H3P

# <span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(238, 249, 253);"> π0: A Vision-Language-Action Flow Model for General Robot Control</span></span>

# <span style="color: rgb(224, 255, 255);"><span style="background-color: rgb(102, 205, 170);">📜 研究核心</span></span>

# 提出三大挑战

# ⚙️ 内容

# 一、模型架构：

# 1.预训练数据集：

# 2.输入：

# 3.pi0模型**（改造 <span style="color: rgb(79, 79, 79);"><span style="background-color: rgb(255, 255, 255);">PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）</span></span>**：

# 4.输出：

# 二、代码：

# 💡 创新点

# 🧩 不足

# <span style="color: rgb(32, 178, 170);"><span style="background-color: rgb(175, 238, 238);">🔁 研究内容</span></span>

# 💧 数据

# 👩🏻‍💻 方法

# 🔬 实验

# 📜 结论

# <span style="color: rgb(0, 77, 153);"><span style="background-color: rgb(135, 206, 250);">🤔 个人总结</span></span>

# 🙋‍♀️ 重点记录

# 📌 待解决

# 💭 思考启发

Afford-VLA--Action-Aligned-Visual-Planning-via-Internalized-Affordance-4TU55GGU

# <span style="color: rgb(25, 60, 71);"><span style="background-color: rgb(238, 249, 253);">(2026) Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance</span></span>

# <span style="color: rgb(224, 255, 255);"><span style="background-color: rgb(102, 205, 170);">📜 研究核心</span></span>

# ⚙️ 内容

# introduce

# 1.背景

# 2.现有视觉规划方法

# 2.1 Geometry-based methods：基于几何的方法

# 2.2 Symbolic-based methods：基于符号的方法

# 2.3 Visually grounded methods：视觉 grounded 方法

# 3. Afford-VLA 的核心区别

# 3.1 Local：局部的

# 3.2 Visually Grounded：视觉 grounded 的

# 3.3 Internally Generated：内部生成的

# 3.4 Action-Aligned：与动作对齐的

# 4.Afford-VLA

# 💡 创新点

# 1. 指出了当前 VLA 系统中的关键缺失问题。

# 2. 提出了 Afford-VLA 框架。

# 3. 提出了一种有效的训练与集成策略。

# 前向传播（forward）

# 反向传播（backward）

# 🧩 不足

# <span style="color: rgb(32, 178, 170);"><span style="background-color: rgb(175, 238, 238);">🔁 研究内容</span></span>

# 💧 数据

# 👩🏻‍💻 方法

# 1、Formulating Affordance as Action-Aligned Visual Planning

# 1. 普通 VLA 的建模方式

# 2. Afford-VLA 的改动

# 3. Afford-VLA 的策略公式

# 4. 技术细节重点

# 6.1 action chunk

# 6.2 task-conditioned affordance

# 6.3 compact features

# 2、affordance mask 如何生成

# 1. 输入表示

# 2. <AFF> token

# 3. VLM backbone 处理过程

# 4. 为什么 <AFF> token 能表示任务相关区域

# 5. 视觉 patch 特征 PtP_tPt​

# 6. Affordance Head DaffD_{aff}Daff​

# 3、affordance 如何条件化动作预测

# 1. 降维GtG_tGt​

# 8. 推理阶段

# 5.拓展与实现细节

# 1.多视角拓展

# Action Head 输入

# 🔬 实验

# 实验前提：

# 1. 硬件条件

# 2. 模型实现条件

# 3. 训练策略

# 实验效果：

# 1.使用的仿真 benchmark

# 2.消融实验：

# 3.真实世界实验

# 📜 结论

# 3.pi0模型（改造 <span style="color: rgb(79, 79, 79);"><span style="background-color: rgb(255, 255, 255);">PaliGemma——增加额外的输入输出、引入流匹配时间步、加上动作专家权重）</span></span>：

# 2. `<AFF>` token

# 4. 为什么 `<AFF>` token 能表示任务相关区域

# 5. 视觉 patch 特征 $P_t$

# 6. Affordance Head $D_{aff}$

# 1. 降维 $G_t$