当 VLA(Vision-Language-Action,视觉-语言-动作)成为机器人具身智能的核心范式,一套能完整覆盖「数据→模型→训练→仿真→部署→数据飞轮」全链路的训练平台就成了刚需。这篇文章拆解我们开发的全栈 VLA 训练平台:架构怎么设计、技术怎么选、AI 决策怎么做、以及踩过的坑。
VLA 模型让机器人同时理解视觉输入(摄像头/RGB-D)、语言指令("把杯子放到盘子里")和本体状态(关节角度、夹爪开合),最终输出动作序列。代表模型如 Google 的 RT-2、OpenVLA、π0(扩散流匹配)、NVIDIA GR00T 双系统。
但训练一个 VLA 不是"跑个脚本"那么简单——它需要:采集海量多模态数据、清洗标注、预训练+SFT模仿学习+RL强化学习、仿真评测(Sim2Real)、量化部署、以及把真机失败案例回灌形成数据飞轮。这就是为什么需要一套工业级 MLOps 平台。
数据层 → 模型层 → 训练引擎 → 仿真评测 → 推理部署 → 数据飞轮
①喂什么 ②用什么 ③怎么训 ④怎么验收 ⑤怎么用 ⑥怎么进化
└────── ⑦ 平台运维层(横贯管理)──────┘
| 层 | 要解决的痛点 | 关键技术 |
|---|---|---|
| ① 数据层 | 数据稀缺 | LeRobot/OpenX/UMI/动捕 多源适配、仿真合成、世界模型扩充 |
| ② 模型层 | 模型组合 | SigLIP/DINOv2/Qwen-VL 主干 × RT-2/OFT/扩散/GR00T 动作头 |
| ③ 训练引擎 | 训练范式 | SFT 模仿学习、LoRA、RL(PPO/DPO)、FSDP 分布式 |
| ④ 仿真评测 | Sim2Real | ManiSkill/LIBERO/Isaac Sim、训评一体化、域随机化 |
| ⑤ 推理部署 | 落地延迟 | TensorRT/ONNX、INT8/FP16 量化、ROS 对接、边缘部署 |
| ⑥ 数据飞轮 | 持续进化 | 真机失败回灌、高价值难样本挖掘、VLM 语义打分 |
延续 Y2Ksoft 的单文件 HTML 架构——一个文件承载全部 12 个面板、16 个图表、8 大 AI 功能。部署零成本、迁移零阻力。视觉采用液体玻璃(Glassmorphism)设计规范,深空背景 + 毛玻璃卡片 + 青色光边,机器人平台的"科技感"拉满。
// schema.json 定义 15 张表
{ "tables": {
"robots": { "columns": { "id":"TEXT", "name":"TEXT", ... } },
"sims": { "columns": { "id":"TEXT", "succ":"REAL", "safety":"REAL", ... } },
"flywheel":{ "columns": { "id":"TEXT", "count":"INTEGER", ... } }
} }
一张 JSON 定义全部表结构,后端自动建表、自动生成 CRUD。FastAPI 提供自动文档、参数校验;SQLite WAL 零运维。改 JSON 就能加表,开发效率提升 10 倍。
| 模块 | 核心能力 |
|---|---|
| 📊 总览 | GPU集群趋势、训练任务、数据集构成、节点负载 |
| 📹 数据流水线 | 6 种数据源适配器、数据合成、预处理管线、质量治理 |
| 🤖 机械臂 | ALOHA/UR5e/Franka/宇树G1/AGV 遥操作采集 |
| 🗂️ 数据集 | 5 个数据集管理、质量雷达、异常分布 |
| 🧩 模型架构 | VLM主干 × 动作头组合矩阵、世界模型 |
| 🧠 训练引擎 | OpenVLA/RT-2/Diffusion/ACT、Loss收敛、成功率 |
| 🎮 仿真评测 | ManiSkill/LIBERO/Isaac Sim、训评一体化、域迁移 |
| ⚡ 训练调度 | 4 节点 GPU 资源、调度队列、AI 调度建议 |
| 🚀 推理部署 | 边缘/云端部署、INT8/FP16 量化、延迟分析 |
| 🔄 数据飞轮 | 真机回灌、失败案例挖掘、飞轮效应曲线 |
| 🤖 AI决策 | 8 大子功能(见下) |
| ⚙️ 设置 | 集群/清洗/告警/飞书通知 |
这是平台最亮眼的卖点,借鉴了海澜之家系统成熟的 AI 体系,做成 8 大子功能标签页:
AI 不是聊天框,而是主动告诉你:GPU 要满了、温度过高了、Loss 不收敛了、哪些失败案例值得回灌。规则引擎 + 真实数据驱动,比通用大模型更懂你的机器人平台。
上线前我们做了完整代码审计,发现并修复 6 个问题:
审计报告已保存至系统目录,前端 JS、后端 Python 全部语法校验通过。
# 1. systemd 常驻(开机自启 + 崩溃重启)
ExecStart=/usr/bin/python3 -m uvicorn main:app --host 0.0.0.0 --port 9542
Restart=always
# 2. Nginx 静态站点 + HTTPS
location ^~ /vla/ { alias /var/www/y2ksoft/vla/; index login.html; }
# 3. 防火墙开放 9542 后端端口
# 4. 端到端验证 health / login / 背景图
最终部署地址:https://www.y2ksoft.cn/vla/login.html(admin / admin888)。登录页使用仓库管理员的实景工作照做背景,呼应"机器人走向真实场景"的产品定位。
小结:VLA 是具身智能的"操作系统级"赛道,训练平台则是它的"生产车间"。Y2Ksoft 用单文件前端 + Schema 驱动后端 + AI 规则引擎这套被验证过 300+ 次的组合拳,交付了一套覆盖全链路、含 8 大 AI 决策功能的 VLA MLOps 平台——从数据到飞轮,让机器人越训练越强、越部署越聪明。