文：富充

修改：苏建勋

人头攒动的2025WRC（国际机器人大会）上，不乏各种酷炫的Demo展现，可在一众敲锣打鼓的机器人扮演中，具身智能公司星海图展位上，机器人却在安静地履行铺床使命。

一些围观者流露出疑问的表情。他们难以了解，为何这个对人类来说极端简略的作业，需求大费周章地展现。

“铺床是个集各种难度于一身的长程使命。检测了机器人柔性物体操作、模型的全身操控等才干，以及在各种凌乱床面上完结拾掇的泛化性。”星海图首席科学家、清华穿插信息学院助理教授赵行在展会现场对《智能呈现》说。

这时，作业人员将被子随机弄乱，一位观众下达了铺床的指令，机器人随即开端作业。

看似简略的作业，机器人却调用了全身23个自由度，往往要分三步完结：它先经过底盘移动至最佳作业位；随后升降、俯仰躯干，调整适宜的作业视点；最终用机械臂捉住被子，外拉、展平。

三个进程间也相互影响：机器人假如一开端没走到位，就会抓不住被子；即便走到位，假如被子在床很中心的方位，躯干就得特别往前倾去“够”到；抓取时，由于被子较重，不能仅靠臂拉动时，机器人还要经过全身位移去拉平。

这场演示的背面，是星海图新发布的 VLA（Vision-Language-Action，视觉-言语-动作）端到端根底模型G0。

谈到练习这个模型的原因，赵行向咱们介绍，之前星海图用的小模型，尽管能做展现，规划化运用的作用却欠好，想取得实在的泛化才干，仍是要做大模型。

WRC上星海图展现的机器人铺床Demo，图片：采访人供给

其时，具身智能仍处于“非一致阶段”。大言语模型的 Scaling Law已被验证，阐明数据突变会引起模型才干的突变；但这一规则能否在机器人范畴复现，尚待答案。

这也是为何赵行将曩昔十个月的首要精力，投入到数据工程的原因。

数据工程包含收集员的练习与查核，真机遥操作收集，以及数据上传、清洗、标示等等一系列流程，是典型的“脏活累活”。由于整个链路没有构成规范化流程，赵行还常常处理一线收集员的反应，曩昔十个月作业强度很大。

一位在星海图作业的人士告知咱们：“赵教师是咱们的加班搭子，常常深夜还能看到他。”

在他看来，具有泛化才干的根底模型离不开厚实的真机数据收集与清洗。与其把时刻精力花在“美观”的展现上，不如直面具身智能的根本问题。

跟着G0发布，星海图也行将开源在敞开国际、实在场景中收集的500小时真机数据集。

赵行期望经过敞开数据集，为具身智能职业供给一个高质量基准数据集和点评规范，便于不同团队在相同数据上比较算法、验证作用，然后推进技能的开发与堆集。

一起，开源数据集能够大幅缩短从购机到模型布置的开发链条，下降重复收集与标示本钱，协助高校、研究所与企业更快进入试验与迭代阶段。

在2025年7月，《智能呈现》就曾独家报道过星海图连续完结A4、A5轮战略融资的音讯。自2025年敞开A轮系列融资以来，星海图至今已完结近15亿元人民币融资规划。

此次WRC期间，咱们对赵跋涉行了专访。他以学术与工业的两层视角，共享关于VLA泛化性、国际模型等抢手问题的观念。以下内容来自对话，经作者修改拾掇。

星海图首席科学家、清华穿插信息学院助理教授赵行，图片由星海图供给

大模型是具身智能泛化性的根底，高质量数据更重要

智能呈现：WRC期间星海图呈现了具身智能铺床的Demo，比起现场许多敲锣打鼓的扮演，它显得没那么“Fancy”，开端是怎样决议做这个展现的？

赵行：其实星海图不算是一个很拿手做Demo的公司。比起酷炫的动作，咱们更想展现智能的开展。

详细而言，星海图训了VLA的具身大模型G0，一起咱们也在写一些技能陈述。为此，需求去不同的当地采数据、调模型，这些都是比较厚实的作业。

所以直到WRC展开的前一两周，咱们才决议做铺床的Demo。由于铺床是一个把各种难度会集于一身的展现。

展现这个Demo时，用户先经过电视的界面给模型下达铺床的指令；模型接收到这个指令后，就会调查、了解、规划它的使命；在言语规划时，机器人也会同步履行。

这时分，模型会操控机器人全身的23个自由度，这分三步完结动作。

第一步，进行底盘的移动；然后躯干能够升降、俯仰；最终是用机械臂操作物体。

这三个动作其实是相互影响的。假如一开端没走到位，那就抓不住被子；走到位之后，被子假如在床很中心的方位，机器人的躯干就要特别往前倾去“够“到；最终是抓取，往往被子比较重，仅靠臂是拉不动的，机器人还要经过全身的位移去拉平。

所以这个Demo并不是咱们精心设计的，但它是和其他展现比较有差异化的。从技能上，它的全身操控、柔性物体操作具有难度，展现了咱们VLA端到端大模型的才干。

智能呈现：G0模型的体现怎么？它处理了什么样的问题吗？

赵行：根据星海图的敞开场景数据集，加上咱们提出的三阶段VLA练习结构（跨本体预练习、单本体预练习、后练习），G0模型在平均目标上逾越PI 0约20%。（作者注：PI 0为美国具身智能公司Phisical Intelligence研制的机器人操控VLA模型）

此外，咱们发现，根据开源数据的跨本体预练习，在根底桌面使命上体现尚可，可是在杂乱的全身移动操控使命上体现欠安。

星海图的敞开数据集填补了上述空缺，运用这一数据集后，杂乱的全身移动使命会有更好体现。这提高了了业界跨本体预练习的作用。

智能呈现：研制G0模型的布景是怎样的？

赵行：上一年10月，大概是星海图树立一年的时分，星海图开端训这个模型。

从曩昔研制中的领会而言，小模型能做展现，可是十分难以规划化运用。因而，咱们更期望开发出有泛化性的大模型。

智能呈现：模型的泛化性详细有哪些难点？

赵行：详细来说有三方面。

一是操作目标的不同。比方在一个果盘里抓取，这里有葡萄、有西红柿，从纹路、色彩、软硬程度方面都有差异，乃至同一类其他也会呈现巨细不同的状况。

其次是场景和环境的差异。即便是同一款奶茶，但在不在洗澡强奸同的门店里制造时，由于周围环境布局的不同，也会影响泛化性。

此外还在于详细的使命和动作。就像在做抓取动作的时分，假如遇到一张很薄的纸放在桌面上，咱们很难一把就抓起来，需求先抠边再拿取。这个动作很难用言语去界说。

这些问题是根据编程的算法还没有办法做好的作业，也是阻止机器人进入各种场景大规划运用的瓶颈。

但关于人类来说，这些动作都是下意识就能够完结的。所以，比较小模型，只要大模型才干到达这种泛化性，这也是咱们做大模型的原因。

智能呈现：大言语模型的Scaling Law，考究数据的突变引起模型才干的突变，所以你们信任它也能够在具身智能模型上复现？

赵行：言语模型现已证明了大模型、大数据是能够做好泛化性的，我觉得这是AI的第一性原理。

但在机器人范畴，咱们有观测到泛化性的端倪，因而从2024年末决议做具身大模型。

我信任，凑齐了模型结构、算法、数据三个要素之后，具身智能模型也会有像言语模型相同的才干。

咱们的G0模型运用的是根据Transformer的练习办法。尽管咱们现在对Transformer的结构结构不行满足，我也以为未来会迎来改动，但短期内它的可用性仍然是最强的。

算法是有改动的或许性，这个首要靠聪明的研究员。我觉得这个方面咱们团队没有什么问题，能够自己研制，也能够跟进最新的开展。

最终发现，咱们都缺失的是数据。

就像Sora让人感到冷艳，但人们发现Sora所用的Diffusion Transformer算法和模型都是曾经就有的，仅仅数据量更大了。这也让更多人信任本来数据更重要。

高质量数据重要，现阶段会亲力亲为数据工程

智能呈现：所以其实曩昔这十个月的时刻，你的作业要点是数据？

赵行：我觉得算是，首要在于推进高质量数据的收集。终究现在无法买到现成的机器人数据。

数据收集和科研不相同。科研的话，比方算法的提高，需求的是聪明的大脑，有时分一周没干活可是想到一个十分好的算法，就能够到达作用。

可是数据收集是一个十分根底的作业，需求坚持。

详细的作业十分杂。收集员会带着机器人去不同的场景做数采，但要先对他们进行练习、考试，确保他们能采到高质量数据。

现场采数据的进程中还要处理许多问题，比方机器、网络等突发状况，我也会去和谐。收集数据之后还有后续数据的上传、清洗、标示等等。

智能呈现：感觉数采的作业更多是一些根底作业，或许能够被称为“脏活累活”，你都要亲力亲为吗？

赵行：团队的同学很仍是很给力的。可是由于这个具身智能这个范畴太新了，还没有构成能直接提交给他们的SOP。

咱们知道，曩昔的数据标示工业仍是蛮老练的，能够把数据悉数发给一个外包公司。规则好时刻、准确率等等就能够等验收了。

可是机器人的数采和硬件相关，也和场景等等相关，整个链路十分长。现阶段没有现成阅历，只能自己亲力亲为。

智能呈现：什么样的数据集才干被称为高质量？

赵行：要有实在性，以及需求多样化。

比方说咱们同样是打乱桌面上的一些物体，要考虑乱的是否实在。许多团队和公司都在构建数据收集厂，构建的家庭环境明窗净几、一干二净。但实在环境中，东西乱堆乱放，和数据收集厂彻底不相同。所以咱们决议去实在环境做数据收集。

其次是否每一次都乱得不相同，这是“乱的多样性”。就像练习大言语模型，需求把整个互联网上的语料全都扒下来。咱们在做具身智能模型练习的时分也需求这样，最好是把能考虑到的数据全都收集到，而非专心于某一个使命。

所以，咱们界说了五类场景，家庭、酒店、工厂和库房、超市、餐厅。咱们挑选的是人类操作比较多的实在场景，去这些当地寻觅机器人的用武之地。

当然这也是一个持续开展的进程。现在数据有仿真、真机等不同类型，终究依照怎样的份额组合是最理想的，咱们后续还会投入更多的资源和精力去找到好的“数据配方”（Data Recipe）。

智能呈现：你们从收集的数据中开源500小时数据集，这件事的含义是什么？

赵行：我觉得首要有两个方面。

一是对职业奉献一个高规范的数据集和数据的点评规范，或许会协助这个范畴树立企业规范。

机器人范畴，每个研制团队的本体品牌、构型都不相同，履行的使命不同、算法不同，相互之间很难比较。

所以一个开源数据集能够操控其它变量，便利咱们去跑不同的算法。这样不只能够给到咱们关于数据集的反应，也能一起促进范畴的开展。

比方，其他团队有一个自己的算法，这个算法在他们收集的数据上跑往后，验证了才干。这个团队也能够在咱们开源的数据上跑一跑，经过成果看看算法的最佳实践。

第二点，星海图期望能构建起一起开发者集体。包含高校、研究所、企业等等在内，都能用咱们的数据来做试验。

从公司方法上来说，咱们既做整机又做智能。所以咱们发现用户买到新的机器人之后，通常会阅历包含各种参数设置、采数据以及洗数据、练习模型等在内的一整个链条的作业。

咱们期望经过开源数据，让咱们缩短开发流程，相当于给购买咱们机器人的运用者也供给了一套相对应的开发工具。就能够减缩前面的作业。

展台上正在了解遥操技能的观众，图片：采访人供给

VLA范式是工业化途径，也在探究多种技能道路

智能呈现：尽管VLA是其时公认的干流范式，但有人以为它不是仅有的处理办法。尤其是仅靠视觉好像难以在物理国际中完结十分好的交互，也有观念提出要参加触觉，对此你怎样看？

赵行：这个问题咱们考虑过许多遍。触觉和国际模型等技能，都是十分好的前沿方向，咱们也会在试验室和科研中探究包含它们在内的各种或许性。

可是，星海图作为公司，仍是期望技能有工业化途径可依，在什么时刻点，做什么作业，是很重要的判别。

咱们的途径便是需求先把VLA做好，在洗澡强奸遥操作能够完结日子中九成的使命。比方，要拾掇桌面，收集员能够带着遥操机器人，经过看着桌面的状况，在没有触觉的状况下，就能完结90%的作业。

从这个视点来看，把VLA先做好是一个很合理的途径。未来是需求触觉的，但说起现阶段不加触觉的原因，我以为是触觉传感器还不行规范化。

为什么视觉打败了其它一切的传感器呢？一方面是马斯克说的第一性原理。

别的一个方面便是要从工业化视点来看。相机、摄像头是一个开展了百年的职业，里边许多的工程化、规范化，拍照今后的图画紧缩、存储、传输算法，都是十分老练的。咱们期望用这种规范的传感器，来规划化收集数据。

可是触觉等其它传感器，还处于比较前期的阶段，咱们还有在硬件上的争议，比方采纳电容仍是电阻式等等。这都需求这一范畴在接下来的几年里界说好，到那个时分触觉就会被参加到VLA中。

智能呈现：现在尽管具身智能的干流技能收敛到了VLA范式，可是各家公司仍是在细节上有差异。比方在工程的动作上等等，每家公司的要点和优先级会有不同，星海图在这方面的考虑是什么？

赵行：在VLA大的结构下，咱们走的是快慢双体系的技能道路，简略来说便是从体系层面分为“慢考虑”和“快履行”。

最早是在做自动驾驶的时分，咱们提了这个办法。之所以觉得这是一个比较好的计划，原因在于多方面。

首要，做一个单体系的模型会有许多的约束，比方考虑速度假如太慢了，它会约束运动的速度。咱们看到大言语模型的推理进程有时篇幅会很长，但假如推理太长就会影响实时呼应，运动的动作就会卡顿。

第二点在于，假如把考虑和履行都放在一个模型里，这个模型的参数量或许会变得很大，这就没有办法很好地在机器人上端侧布置。

从第一性视点来看，人类的各个体系也是不同频率在履行的。比方条件反射就十分快，而考虑便是比较慢的。全体来说，这也是一个更节约能量，更高效的体系。

智能呈现：那可不能够了解成，尽管快慢两个体系尽管在数据需求和作业方法上有差异，但它们不是两个独立的体系，而是连通的。它们是有相互传递搬运状况的？

赵行：没错，把这个信息传递给咱们是很重要的。

从字面咱们简单了解成，这便是两个模型，但实际上不是这样的，它们其实是一个你进我退的联系。比方小脑不行强，大脑就得再大一点。

而且我觉得跟着技能的开展，这两者的联系会越来越严密。

慢慢地，小脑的才干越来越强，会吸收大脑的一些常识；大脑又从能从外部互联网数据里，学到更多的更广泛的常识。这就彻底完结了一个比较十分类人的分层架构，就像人脑尽管分红大脑、小脑、脑干，但它们的生物结构是一模相同的。

智能呈现：你怎么看待现在评论比较抢手的国际模型？

赵行：国际模型是一个比较面向未来的、重要的技能，咱们会去较为积极地探究这个方向。但它还没有进入到工业化的技能阶段。

不像VLA是靠数据驱动的，我觉得国际模型是一个十分典型的、靠聪明脑筋驱动的作业。国际模型需求界说出一个最合理的算法，建模物理国际的运动规则。

假如能把国际的动力学规则给建模出来，那么咱们就不必再靠仿照学习的办法去练习机器人了，机器人能够直接知道每一个动作的结果。

可是让机器人预知未来，或许比让机器人规划现在的动作更难，这有点像为了处理一个难题还要发明另一个难题。所以它十分合适最聪明的、最前沿的试验室去探究。

展会现场解说中的赵行，图片：采访人供给

学术阅历长时刻获益，产学协同是件功德

智能呈现：你在麻省理工结业后，又在美国作业。2020年回国开展，回到清华任教，随后又参加星海图，这是由于被国内学术、工业端的哪些优势招引？

赵行：姚期智先生在2018年到美国，去为清华招募年青学者，我也是在这一批中回到清华任职的。

现在咱们仍是有一致，以为在国内做学术的话，清华叉院（穿插信息研究院）便是最好的当地。

姚先生给予了咱们很大的空间和自由度。他不约束咱们做什么方向，在职业上也采纳自由发挥。这很有利于人才储藏，所以当一波新的技能工业时机来暂时，咱们会看到呈现出了许多的人才。

智能呈现：曩昔的学术阅历，给你现在的作业带来了哪些启示？

赵行：这次开源500小时数据集的主意，就来自于我在做科研时领会到的一件重要的事——奉献的越多，收成的也越多。

我在读博期间，和其他同学花两年时刻做了一个数据集，叫ADE20K。这在其时是最大的、被运用最多的图画切割数据集，在现在也是被运用最多的评测数据集。

为了做这个作业，其时咱们给数据集找标示，还做了清洗，而且练习了模型。

咱们还拟定了点评、丈量的目标，比方界说图片有多少个类别，规则需求像素级精准，也评判了不同模型在数据集上的体现。

咱们其时构建的Benchmark到现在都有好多人在用。从论文的引证和重视度来说，这或许是我一切宣布过的论文里影响力最大的。

这些作业都挺费时吃力的，但由于做得好，也会有后续的影响。这也对我尔后作业发生久远启示。

智能呈现：你现在在清华任助理教授，也在星海图担任首席科学家。对你来说，“产学结合”好的一面是什么？又有什么应战？

赵行：其时的机器人范畴，产学是一个协同联系。为什么这一波具身智能浪潮，会有许多高校教师出来做公司，由于只要这一批教师之前在这个方向的探究和堆集能到达两年以上。现在美国的AI范畴，也是许多高校教师出来创业。

另一方面，工业上的开展，也能够协同处理之前在学术范畴里做机器人学习的痛点。

之前在学术范畴，尽管咱们在尽量做规范化，但由于规划仍是小一些，所以会比较难。可是工业开展会带来数据等方面在量级上的提高，突变会促进突变，也能够使学术开展有爆发式的增加。

封面来历｜采访人供给