全身 VLA 概览
Roban 全身 VLA 将头部图像、机器人状态和任务指令输入模型，生成全身动作，再通过 CycloneDDS 发送给机器人端 HEFT 控制器执行。本模块以 LingBot-VLA v2 为部署示例，同时提供 OpenPI 和 Isaac GR00T N1.7 的使用入口。
使用流程
| 步骤 | 完成内容 |
|---|---|
| 数据准备 | 将采集好的 rosbag 转换为 LeRobot 数据集，检查图像、状态和动作布局 |
| 模型训练 | 选择模型，计算归一化统计并训练，保存模型及配套配置 |
| 通信准备 | 配置有线网络、ROS 相机、控制器切换工具和 CycloneDDS |
| 推理部署 | 启动模型 Server 与机器人 Client，完成真机联调 |
已完成训练的用户可以从通信准备开始。使用前安装 LeTools-Learning 主环境及所选模型的独立环境，参见 LETools 全身 VLA 教程。
数据与控制规格
| 项目 | 要求 |
|---|---|
| 状态 | 23 维：左臂 4 + 左爪 1 + 右臂 4 + 右爪 1 + 左腿 6 + 右腿 6 + 腰 1 |
| 动作 | 32 维：上述 23 维 + root_xyz 3 + root_rot6d 6 |
| 图像 | 仅头部相机 |
| 频率 | 训练与动作控制均为 50 Hz |
| 布局 | kuavo_data/modality_templates/roban_wholebody_modality.json |
维度顺序与 kuavo_data/roban_data/config.py 中的 WHOLEBODY_STATE_NAMES / WHOLEBODY_ACTION_NAMES 一致，不可替换为 Kuavo 双臂布局。
检查清单
- 数据满足 23 维状态、32 维动作、头部相机和 50 Hz 要求。
- 选择带
roban_wholebody的模型入口，不误用双臂 adapter。 - 推理使用匹配的 checkpoint、训练配置与归一化统计；LingBot 使用训练产出的
lingbotvla_cli.yaml。 - 边侧机能访问机器人网络并收到 ROS 相机数据，控制器切换请求可正常发送，机器人端已确认切换结果。
- DDS 网卡名、
heft.switch_cli和heft.switch_library_path均已改为本机实际配置。
真机联调
首次运行从安全、低幅度任务开始，确认急停可用并安排人员监护。软件停止或控制器回退不能代替硬件急停。