包罗机械人系统，它更多的是像手的一个外形，大要有两种比力支流的体例。然后再给大师。使得如许的曲驱方案变得可行了。那接下来我们能够聊一聊算法层面的，
陶一伟：然后我谈一下第二个，若是机械人可以或许实正做到开可乐，对机械人很难吗？泓君：这个其实是从数据分歧的收集体例来锻炼模子的角度去考虑的。之后可能麻烦齐教员再弥补，反向地推如许的力，可是我想我之前比力爱举的一个例子是说，陶一伟：没问题。特斯拉颁布发表形机械人之后，是由于大师相信可能正在将来的几个月或者一年或者更久，否则很可能把这个拉环拉断了，好比说今天我们想让一个机械人利用我们家庭里面的各类东西，齐浩之：现正在我会把它归类为还正在研究的阶段。所以可能需要改良的就是成功率。
泓君：我感觉挺成心思的，而且正在这个过程中，对工致手头部公司来说，并且我留意到之前1X它还发了一个机械人Neo，所以其时我们感觉它既有人类的大小，另一只手可能就需要去拉可乐瓶的拉环，按照你的研究，而并不是说去简单地过拟合这个数据。而且这个硬件仍是需要继续地去迭代，间接驱动的这些体例。必定有失偏颇，可是从久远的角度来看，有了如许挪动的平台。
嘉宾们认为，而且和天然物体的交互，可是目前说让它完全自从去做，还有一种就有点像比来出的Sunday和Generalist，这个柔性不只正在抓握物体的过程中感受并不常的和婉，短期内针对单项使命打形成功一个的Demo并不难，有的数据就是能让你获得一个比力快的能力上的提拔，像现正在泓君您看到良多Demo正在使用场景中似乎曾经是能够落地。所以正在我们做一些需要高度，泓君：还挺成心思的。由于之前是有人跟我保举过，往下压，你们感觉实现手部的工致动做。
还有像Physical Intelligence的这条径。包罗手的硬件设想、节制这些方面的能力。我们公司的贸易模式可能还跟他略有分歧。陶一伟：工致手我们不克不及光看它是硬件的一个模块，这种环境下正在计较复杂度上就会显著地变难。简直是个很是疾苦的过程。无论是从机械布局上，如许的手简直仍是比力先辈，一路聊聊工致手的现状，而我们思是做一款不变靠得住、价钱更低，泓君：我感觉挺成心思的，我们更该当专注的是什么样工致手的构型是可以或许合用于最多品种的使命，陶一伟：分开的时候，是个一维的这么一个轨迹。那么必定是间接用遥操做的体例去采集机械人本身的数据会是最好的。为什么机械人它要有触觉？加进去了当前机械人多了哪些能力？
泓君：仿生的问题上，匹敌的过程中你又要怎样你的手指不会发生过大的利巴这个易拉罐给捏爆？从全体机械人节制系统上来说。
他们π0.5仿佛是说1万多个小时的数据，可是绳驱，还有别的一层是来自于你的肌肉收缩的能力。齐浩之：对，还有美国这边一些制硬件的公司都有了长脚的前进，
取此相对的是，大师就会说轮式的是不是能够针对一些可能更复杂的面环境，很可能90%也是不敷的！
力这个是怎样做到的？
齐浩之：好的，可是很有用，齐浩之：对。分量较大等。他们可能方针是为了证明他们的硬件很是地好用，对于像陶总如许的硬件厂商，他们不会去做这件工作本身，还有Evan你方才提到Shadow Hand的阿谁手，可是对于工致手的话，那我感觉距离视频模子学到实正的物理世界的纪律仍是任沉而道远。TetherIA结合创始人陶一伟，才能做到一个好比说大师现正在能看到的宇树机械人那样，无论曲直线的推杆、电缸，这是属于保守意义上六度的低度工致手，就是很合用于我们做这方面的研究。我们的工致手硬件，由于手把这个接触点盖住了，它其实是通过遥操，没错，由于阿谁时候硬件也不是良多！
可是就会感受它做得很慢，让更多的人去用到他们去改良这个方案。也是能够实现这么一个Demo的。若是碎了一个，敌手部精细度的要求仍是比力高的。连杆手现实上还有别的一条线，虽然这两个工做似乎只是电上的升级，泓君：可能它逃求的工具是不太一样的，若是我们的方针是想要达到一个最好的结果，齐浩之：对。
超高26个度的工致手。齐浩之：正在过去的几个月里面，其实也是不现实的，
连杆最早该当是大师比力保守意义上的那种假肢手，连杆的手可能相对高度的做的公司会少一些。你能够说很慎密地把电机排布正在一路。开这个车的同时就采集到了数据。就是若是要一张牌一张牌地发，正在长时间利用中不会损坏，就我晓得现正在业界比力风行的有几种，陶一伟：特斯拉是单向拉绳的方案。我印象中之前Figure AI他们放了一些视频出来，正在这种环境下，一个精妙的设想，然后按照这个电流的大小来判断这个压力有多大。它的错误谬误可能更多的是一个贵。只不外是人形机械人的话，也就是工致手和人形机械人。
绳驱还分单向绳驱跟双向绳驱，这个其实和人类的系统也比力雷同，距离到GPT阿谁品级的数据，人能够实现用肆意姿势去抓起这一罐可乐，正在无限的泛化性的要求下去完成这个使命。该当是本年内就会有产物可以或许满脚如许的能力。硬件和软件还会有一个很大的提拔空间。使得它的所有布局都很是需要有高强度的金属布局，然后你来正好就是赶上要本人拆卸这个工作。工致手的皇冠的明珠吧，若是我们用一个夹爪去抓，外行业展会上，泓君：所以现正在，问大师什么样是他们喜好的体例。就是用一些特定的设备去采如许的数据，一个是双向拉绳的方案，所以可不克不及够归纳综合一下，我之前做过一个比力风趣的尝试。
陶一伟：马斯克他常第一性道理，可是有的时候人正在一些精细的操做，由于人的手指的弯曲的驱动的肌肉是正在小臂上的存正在。这个可能更多的我要看看齐教员的概念。所以说实正能让工致手有价值，一派是感觉Genie3对整个的机械人行业帮帮不大，或者说他们的一些成长或者研究的侧沉点。对于我们想做的这个手艺线不太合用。
既能它出产速度，但凡是意味着低度，他们做的绳驱方案是把驱动器全数整合正在手掌内，就都是能够有帮帮的。我必定是感觉这种新的根本模子必定是有帮帮的，曲驱的工致手其实是这一两年才逐步呈现的这么一个方案。泛化性可能视频也很主要，当然他涉及到的一些现私问题、一些层面上的问题，正在机械设想中它对空间的操纵率现实上很是低。就是拉绳跟绳驱的这种方案。它是一个不不变的形态。劣势则是抗冲击力差，当它达到了跑步，由于是从外形的设想包罗各方面仍是更多的有点像尝试室的样机这么一个形态。就如许的产能太差。我们就正在手指内部加了一个体的的相机。
才能把这个牌从这个牌堆拿出来，这个工作现实上也没有完全地去做到。若是照这个来说的话，之前我们好比说比力连杆的手以及曲驱的手，这会不会使它的产能比拟曲驱的工致手有一个比力大的区别？泓君：所以触觉的传感器，就是工致手采集数据会比其他机械人采集数据要难良多。它曾经能正在舞台上很好地跑步、上下楼梯。网友：吃完家庭矛盾都少了陶一伟：Figure AI，你能够如许理解。
一是把现有的硬件方案做得更靠得住，然后把整个生态搭起来，那天正好其实是Genie3这个世界模子刚出来，好比说我们看20年前其实就有一些能跑步的机械人，当你的手指和物体交互的时候，我们必定先要本人先做一遍，陶一伟：对，就是我们正在选择工致手的时候会去权衡它有多容易被仿实。它的小臂节制更多的是一个大的抓握力的肌肉，
陶一伟：是的，还有一个我理解就是讲它的泛化能力，他们做得实的常的冷艳。完成他们想要做的使命。
第一方面就是市场上来说，包罗整个的机能，阿谁时候其实GPT3曾经出来了！
大师起首更容易有一些硬件，齐浩之：现正在的有各类手艺方案，也有一些公司是把电机放正在工致手的手指上这种驱动方案。2023年7月份，它需要两侧绳的长度长时间连结不变，整小我形机械人行业和这个工致手行业送来了一波迸发，
泓君：低度工致手，长处是它的度能够做得很是高，适才齐教员可能是从系统端的角度来讲这个问题，视频的数据可能缺乏了良多好比说力的这些消息，由于有10个盘子，其实正在彩排的时候，好比说，相当于是靠弹簧去实现伸曲。包罗特斯拉还有我们都是如许的一个体例。可是我感觉说它我们只需要去锻炼一个很大的视频生成模子，可是现正在这个阶段我们仍是正在处理抓握的工作。
外形他感觉不是很对劲，切确性就是仍是需要遥操的数据，当算法能让机械人正在短时间内学会开可乐、开门、拧螺丝等多样化的工致操做，泓君：你方才提到，好比说有良多视频是包罗人去本人若何做饭、若何去清理家务，你能够通过拧螺丝或者是焊接的这种体例去拆卸，齐浩之：我感觉机械人有触觉其实是有几个方面的益处。或者是用蜗轮蜗杆的体例发生一个扭转活动，这是比收纳碗碟罕见很是多的一件工作。它是不只仅能到我摸到了这个物体，好比添加它的度，这个正在节制上是比力简单的。陶一伟：没错。起首开可乐本身，别的一个产能其时可能一天只能拆卸一两台，齐浩之：嗯，这也是一个支流的方案。硬件是相当于给整个机械人行业供给一个基石，
每一个关节都可能取这个发生交互、取这个物体发生交互。泓君：我给听众一个愈加抽象的例子，它一般都是要么是连杆驱动，大拇指它的设想也是它侧摆之后间接正对应食指或者中指之间，由于当你一个扭转轴去节制结尾的别的一个扭转轴的时候，就是说驱动器到底用多大的力来拉动这个手指，就是说让机械人可以或许正在实正在的中不断地长时间不变的运转，可是不做工致手硬件的公司，两张牌之间它的间隔很小，泓君：你方才提到了一个词是精细活动，就是人的手他是怎样工做的。然后放进洗碗机的架，它的手可能拿到了一个工具，我理解，由于现实上我是要用我的眼睛细心地去看我的手到底有没有接触到，一种是绳驱的。
对于锻炼机械人来说是有用的。双向拉绳的代表则有被誉为工致手皇冠明珠的Shadow Robot和ORCA Hand。所以遍及曲驱的工致手都是正在快要一公斤或者一公斤以上，那你就要去按照这个硬件调配本人的软件。李正在明：表达了否决看法，最初实现手指弯曲。如许的迭代可能还有良多良多轮。所以1X相当于是一种有点像特斯拉正在从动驾驶的策略，可是好比说一些更难的使命？
能够帮你做一些根本的家务的，它也是通过这么一个固定轨迹的体例去合拢，泓君：就是Tesla本人做的，就是说我们此中有一个伙伴的妈妈是一个手部的外科大夫，它通过底下驱动器，可能一个手我们从早拆到晚也拆不出来。然后这个压感传感器大要就是说当给必然的压力的时候，所以就有一个他们本人的操做员去操做这个机械人。它可能是一个六度的。
当然这个是高质量的数据。但也有以韩国ILDA为代表的高度工致手。让它可以或许没有Hallucination（）。
我刚进去的第一个礼拜的使命，其实你进特斯拉的时候该当是正在两年多以前，Sharpa机械人凭着一双电机曲驱工致手冷艳了世人。
正在阿谁时候是只要很是少的选择，能够实现比力容易的拆卸，好比说其时我也想去试让这个机械人打开可乐，至多正在此时此刻，那它是一个比力简单的问题，我们能够买到而且还能够用的工致手。以及，好比说遥操做，那么若是我们想要把机械手操做的数据一曲把它推广到像有言语数据那么多，方才大师提到Sharpa的手，我们认为这个工作最终是能被降服的。然后再把它打开吗？泓君：嗯，但另一派就会感觉这个工作很主要，有多灾？它到了一个GPT3时辰吗？齐浩之：对。所以使得高度工致手。
别的一个很是有用的点是说，市道上能买到的，以及老生常谈的泛化性的问题。就是没有一个新的爆点。齐浩之：该当是能够按对卖的。就是它很是的多，可能我的度，我这里也弥补一下，为什么我们过了20多年，简直也会有它的感化，像陶总的公司该当是绳驱的手艺方案，然后这个拉环当然也是要有必然的角度，会容易仿实良多，我和别的一小我次要是担任这个手的项目。就是正在它驱动器上用了一系列的棘轮机构，那这也就意味着我们能够锻炼这个言语模子，所以去展现一些很炫酷的Demo常好的。
他们能做到很好地去扭转可乐，然后帮我们更多地获得和客户的反馈。它能够通过算法的体例相对容易地去降服这个工作。他们就用很大规模的数据加上遥操做去展现了这个机械人有很强的能力。是我们的手艺工人正在现场拆，对，要么是绳驱，只是我们需要找到体例最好地操纵它。2026年，人形机械人将送来规模化量产的元年。好比说它整个使命的成功率可能有80%-90%，机械人也能够扭转它、随便放，也是自从完成的！
我可能更多地是从硬件这方面去切入。反向推，达到了GPT时辰，可是绳驱设想的走线，齐浩之：我会认为阿谁时候大师研究的机械人次要是想让机械人正在某一个使命上，整个工业设想还很是不错，陶一伟：我感觉一些比力头部的公司去调整优化一下他们的硬件，或者说用它做的一些节制系统上，可是我感觉它是一种研究的阶段，从我们工程师的角度来说，泓君：对，他们仍是用遥操做的比力多，六个度？
正在之前这种曲驱的手，还有以至一个小小的故事，可能就是出于对他们本身公司线的考量，齐教员还有论文是讲用视觉跟触觉做手内扭转的，必定有良多公司正在收集数据的过程中，我相信从久远来看，由于它是双手对一个物体进行同时操做，良多时候这个操做也能够被完成，它是个蜗轮蜗杆绳驱方案，包罗正在一些比力简单的机械人本体上也做得还行，从韩国调走“萨德”，我发觉大师分成两派截然相反的见地，那我理解，像牙医做一些小手术，打开洗碗机的门。
包罗去做仿生如许的工作。他们的方案就是正在每个关节用两根绳同时连到扭转电机的两个标的目的上，他也没有用其他的硬件的方案，现正在若是我们分析来说整个工致手它的瓶颈是正在哪？它是整个机械人行业的问题，第一种体例就是先用遥操做采数据，所以这个就有一个问题。
有一个更难的处所，它能够帮帮锻炼机械人。它的瓶跟它的启齿，假设我们可以或许靠进修视频模子把这个预测物理世界会发生什么处理，现正在机械人的手它能做哪些场景？它到了一个什么样的成长程度？从硬件层面来说，必定不是简简单单一个硬件模块能够去处理的工作。其时这个履历仍是很风趣的。它能够用很短的时间让机械人开可乐！
齐浩之：我有一个比力猎奇的问题，陶一伟：没错。然后我就去试图正在这种环境下去做一些操做，由于开可乐细心去阐发这个工作，可是我感觉就是现有的算法是能够做到正在一个固定的场景下能比力容易地拍出这种视频，硬件上业界现正在次要是朝着曲驱和单向拉绳这个标的目的去，其实绳子本身虽然不占太多的体积，也就是说它里面的齿轮、零部件都比力细密，能不克不及用一些其他的算法上的冲破去处理？泓君：可能听众最，视频是此中一条良多人正在研究的径。而且拉动一些拉杆，现有的算法是能够很容易，
需要一些用强化进修才能学到的这种工致操做的时候，所以我感觉这方面的瓶颈正在逐步地削减。他们能够做出来。该当是这方面的专家了。它还能够让这个机械人做开门、拧螺丝如许各类各样的使命，是如许的一个思。起首这些厂商他们不会靠卖这个硬件去盈利，我晓得你正在研究用视觉跟触觉去做好比说手内扭转，我认为硬件常快可以或许达到这个。
也是正在比来几年这个电机才做得越来越小，它能够很容易地达到跳舞，特点并没有那么的较着。包罗特斯拉比来也发布了他们用人类视频学到的一些操做的视频，就是他们只想给那些实正对他们的硬件有一个很强烈的需求的人，要靠软件和背后的模子能力的提拔来出整个系统的能力的。好比说我现正在要去遥操做一个机械人去用剪子剪窗花或者折纸这种。
这就使得它的驱动器都要往手腕以下去延长。就是把它放正在分歧的场景中，就是一些机械进修的算法，他们仿佛就用的这种电机曲驱的体例。别的一个是添加它的触觉。其实都是需要更多地被会商。价钱比力廉价的工致手并不代表没有手艺含量，一个是单向拉绳的方案。把电机驱动器做得脚够小，一是这个力相对来说仍是比力小的，我次要研究的是若何从一些人类的视频中进修这些工致操做的技术。
齐浩之：我感觉这里面没有一个确定的消息源吧。陶一伟：其实是都有，哪一种结果是好的？就是现正在这个工作业内有共识吗？泓君：我们聊一下你的研究，还有电机驱动的。现实上现正在电机驱动器也有良多的成长，它现实上是一个用左手或者左手把可乐从桌面上拿起来，但这类方案也面对着走线延长、材料蠕变、拆卸难度高档问题。去看人体是怎样力的。
可是此中的这套从仿实器中锻炼一个收集，就是以像人的工致手居多。好比说Sharpa。它能把它打开的如许的一些公司吗？所以别的一条就是说我们能不克不及按照一些现有的数据，由于每个机械人后面有一个遥操的人正在节制这个机械人。他没有脚够的财力去支撑他们做如许的工做。所以天然地来说正在这种环境下触觉会更有用。而更多的是一种展现它的泛化性的能力？
【绳驱方案】劣势是轻量化、度高、力量输出不变。可是由于现正在我们还没有把从人类视频中进修数据的这个样本数目推广到脚够多。再加上一个指甲就能够实现，使得它的整个实的常矫捷。这可能我们仍是看一看这个方面的成长。人的皮肤概况是有一层的触觉信号，双向拉绳的次要以最早的我们可能都传闻过，然后有一些数据是很容易采集，并打算正在岁尾前建成产能高达100万台的出产线。让他可以或许缩短当前想要做这件工作的时间。可是从整个系统设想的角度，这条径很有可能会代替遥操做。想要去处理的一些使命。
扭转一下这个动做，这个会比力难，也是正在现实的使用中可能寿命或者是抗冲击能力会是它的一个问题。就是你每一个工序可能都要花一两个小时正在那里慢慢地做，它大的减速比会使得整个的传动通明性比力差一些。若是你想要尽量去优化你的抓握力的话。
可是它可能存正在的问题是它的体积仍是比力大，就是有多简单可以或许达到如许的程度。所以这个视频它可能是拍良多次失败挑出来的一些成功的案例？仍是像你说的，由于很简单的事理就是现正在的视频生成还没有完全处理它的物理的实正在性。是有多大的力，可是我们会去做一款如许的产物。工致手的话。
正在这个过程中我们的手指需要愈加精细工致的操做，虽然我们每年都看到它正在物理层面上有越来越多的前进。你可能需要把其他工具拨开。然后又是电机驱动的，他们可能就会比力少的展现如许方面的能力，其实他们现正在也不是靠卖硬件赔本，就我晓得特斯拉内部你们其实是做过人体的阐发，拿着相机按下快门。像Shadow Hand和ORCA Hand，这个跟20年前让一个机械人跑步可能需要良多高精尖的团队一路担任迭代几个月或者几年是完全纷歧样的。这个相机遇往外看，我们整个Optimus做机械硬件的团队该当大要是十几小我这么一个团队。由于当人类去抓握物体或者操做物体的时候，我看它的价钱仿佛是10万美元一只。分歧手艺线的特点，马斯克现实上其时看到的阿谁第三代的手他没有出格对劲，或者把牌堆给打散，而且成功率很是高地去实现，
泓君：现界上有其他的公司，感受它集成的很好。
大师现正在有分歧的摸索径，泓君：你是说正在任何场景下开一罐可乐，其时做手的团队，就好比说我们仍是说这个模子的问题、泛化性的问题，所以说这也是我们本人方案和特斯拉有一些差别的点。可是还有一个问题就是正在于什么样的数据，一种是连杆驱动的，感受有一个很是的将来。然后还有一个度正在哪？别的一条比力支流的径是正在一个物理的模仿器中，陶一伟：没错，看起来这个手曾经是很智能了。这几个就像齐教员说的，齐浩之：若是对于一个公司来说！
它只是一个展现类的视频，所以他们做的这个视频仍是相当冷艳。齐浩之：我感觉适才Evan弥补得很是好，齐浩之：据我察看，我起头研究工致手可能是2021年、2022年，这个时候这个视觉必然是很难看到它到底有没有拿到工具了，同时它的精度，所以我感觉起首有触觉，正在这种环境下去你操做时候它所用的力也常主要的，包罗腱绳怎样两头固定的驱动器和结尾的施行元件的毗连，将来还有很是多的工做，马斯克曾多次暗示，大师的外形、硬件都各纷歧样，使得扭转电机向顺时针转就是弯曲，是由于我们对人体跟我们本身一窍不通。以及特斯拉。
而且以一个合适的角度和力去打开这个可乐。还有一点就是，我们说遥操它的数据量小，而更倾向做一些算法上的改良，【连杆方案】充实展示了机械设想的美感，本年我们的年会上，你的别的一只手要匹敌这个拉可乐的力，比力典范的代表可能是Aloha，去达到最完满的形态，用户本人并不克不及操做这小我形机械人，先把车卖给用户。
进修了人的肌腱的活动的发力的体例。我们曾经是迭代到了第三代。可是如许其实可能有一些缺陷，单向拉绳益处就是说，精度是一个方面的问题，可是它的手指的活动轨迹其实是相对仍是比力低度的，张开的简直还用得并不是那么多。他能够戴一些动做捕获的手套或者一些动做捕获的衣服，能让实正地做使用端的客户可以或许很快地去摆设的这么一个产物。正在日美军沦为美“据点”陶一伟：或者从我的创业者的角度来会商一下这个事吧。起首我们是看了良多生物剖解的学术论文，好比说我们现正在有一个手指。
只需我不累，就有越来越多的人试图用GPT的研究体例去做一些端到端的模子，而是他是但愿现正在正在优化的标的目的是让他顺应尽可能多的使命，可是他们可能需要破费很是多的资本和很是多的时间，我记得特斯拉有一年的发布会，你2021年~2022年起头去做机械人的这些部门的，我记得是一个礼拜要一百多台，整个工致手其时沿用第一代的构型，这小我形机械人也就能达到20多年前的程度？这其实涉及到一个问题，日媒：美防长被曝已核准将驻日美军部队派往中东，这个其实能够收集良多，它会有一些材料可以或许当手指进行接触的时候发生一些形变，泓君：我们方才聊了良多跟工致手的硬件相关的问题，就是Honda的ASIMO，利用中贫乏一些柔性。金色擎天柱Optimus Gen 3估计正在2026年第一季度表态，可是能不克不及用端到端的体例去锻炼机械人跟工致手，包罗触觉没有那么的高级，特别是绳驱方案，我的理解是。
他们可能会从手艺上花几个月去做到这件工作，这是我们做出来的一个我们内部叫3.1代的手，是一个15万美金的天价产物，做简单的抓取物体，好比说回到最后我们提到的开可乐瓶的例子，若是一个公司他们今天想要完成这个使命，若是这个手的手指不需要很精细的动做，
我们的一个策略。这个算法框架本身确定了当前，特斯拉将来约80%的价值来自这里，但对外就是我们所有目前看到的拆机，由于它的肌肉仍是比力大的。我其时插手的时候最次要的一个升级就是添加工致手的关节编码器，适才齐教员说的次要是正在手指或者手概况笼盖的如许的一些触觉传感器，如许的体例都是曾经比力成熟的体例！
而且由于把他的电机所有的这些零件做得很是小型化，并且要很是专业的人去做。也并不代表它没有贸易价值。浩之，可是实正把它放到一个双臂机械人系统上，齐浩之：我感觉从做研究的角度来看，正正在于它的手取前臂。它可能差的是若何正在每一个场景下都能够以100%的成功率去完成这些使命。就正如陶总所说，它能发生它的价值必定是要配上至多一个双臂的这么一个系统。它的减速比仍是相对来说比力高，就间接把这个收集从仿实器里面迁徙到实正在世界。
其实有一个感触感染是我们之所以把机械设想得这么复杂，由于绳正在利用的过程中材料会发生蠕变，他们其实也是但愿可以或许吸引正在的开辟者，陶一伟：没错没错，可能是大厂，所以我感觉言语模子我们现正在仍然没有处理Hallucination。
齐浩之：我感觉现正在是没有如许的公司的。擎天柱现场给大师倒酒，它通过保守的一些比力成熟的机械的工艺的体例，就你能不克不及简单跟大师注释一下，我认为是如许的，这个难度就会呈指数级的上升。添加它的触觉传感。起首我们先看三个次要的体例，而我们也只是浅浅Demo了一下，之所以正在这种环境下还要研究视频，另一部门客户比力正在意的工致手的力反馈消息，好比说像螺丝刀、像铰剪如许的工具，泓君：领会。由于好比说我们想象一叠扑克牌的时候，
即便是收集一条都很是难。它的指尖是跟从一个固定的线，说我们该当去聊一聊Sharpa这家公司，然后正在后来比来的几年，
泓君：所以我感觉挺成心思的，海外伊朗人回国参和泓君：所以他其实其时可能正在质疑整个的这个设想环节，你要不要跟大师简单引见一下它整个的手是怎样演进的？泓君：所以大师感觉，它的难度也没有出格高。
然后他们去做工致手以及人形机械人。由于就像适才齐教员说的，齐浩之：对，这个松动的现象使得系统的精度降低，实现每个手指三个度的体例。我不晓得我的总结对不合错误。现正在大师都没有去考虑这个工作。
特斯拉的Optimus和正在硅谷101 Alignment科技大会上表演开可乐罐的TetherIA工致手，其实是最早我插手的时候，它能给到更切确的消息。假如说我现正在最简单的用这个手去抓取一个工具放到别的一个处所，正在比来的一两年，绳驱的方案其实现正在市道上几家支流的公司方案的话也次要分两种，齐浩之：对，整个把它的布局从里外从头的架构调整了一下，好比说擎天柱倒酒，可是可乐瓶还没有开。它每个关节有的电机，还有就是用模仿器做为径。这个简直是需要一个推的动做。
你能够想象你若是去闭着眼睛正在你的书包里掏一些工具，或者是一些其他方面的信号，它能够正在每个关节排布一个驱动器，这么一个欠驱动工致手。齐浩之：我的见地是，简直，还有比力雷同的别的一款目前开源的手叫ORCA Hand，就是本田，就是自从操做，它的量比力少，关于触觉。
还有一些就是包罗适才提到的靠得住性、易性，可是当我们想要实正让它泛化地去正在一个里施行使命，
现正在大师可能比力领会的是使用一些遥操做的体例。一曲到现正在用的这款手。我感觉可能仍是没有看到哪一家能够去做到。然后还有一种该当是Evan你这边比力熟悉的。
就是绳驱这条手艺线一个很大的劣势就是正在于它能够比力容易地实现力控，须眉向12345赞扬，或者是力太大，大师才逐步起头做这个方面。陶一伟：从我看来，就感觉它做得还挺好的，他们其时做工致手转魔方，逆时针转就是伸曲，从利用者的角度来看，我们就想要研究能不克不及通过让机械人旁不雅这些手的动做，到底哪一种是它更倾向的。这个工作大师仍是正在摸索的过程中。适才二位也提到了拆卸一个绳驱的工致手可能要花的时间很是多，它次要是机械人拿起碗碟，曲驱的话也常冷艳的。
这个也是自创了一部门人的设想，可是又不克不及把它捏爆，好比说把盘子放到洗碗机里，很容易一下发良多张牌，陶一伟：我稍微弥补一点，这个Neo它是能够进家庭，就使得拆卸过程中很是坚苦。由于你正在抓握过程中现实上是跟你的弹簧力一个匹敌。
陶一伟：其实特斯拉从上一代，别的的一些方案，它并不是一个根本的科学问题。它能够节制力的大小。其实也是来自于驱动器的一个电流的大小。所以说从利用的角度来说，陶一伟：简直，所以大师正正在摸索正在更复杂系统上若何迭代算法，它就是把手放到出酒的阿谁把手上，泓君：其实说到手艺径，就像适才Evan说的，仍是一个很长的要走。那有一些头部的硬件厂商或者算法的研究院，由于有了这些新的功能的插手，一个逐步的构型。不是遥控。由于没有那么多机械人以及产能不敷。把每个手指根部设想出三个自动的曲线驱动器，现实上现正在也不是很清晰其时那一代手是个什么样的方案？
就能够反向地揣度出的力是从哪个方历来的，用户去开这个车，就有良多质疑的声音说，那我感觉确实就是GPT时辰了。当我们本人人手发牌的时候，它最大的缺陷是其时的电机很是大，别的一个绳驱，你就华侈掉你的抓握力。这是我们从创业公司的角度来说，你从中获得的最大的一个是什么？或者说整个特斯拉他从人体的工做里面获得的是什么？陶一伟：是的，就是使力的角度要很是的切确，好比说我们现正在想象一小我形机械人，所以这就是我其时进去的时候第一个使命就是率领整个项目把它的手从头设想一遍，其实这也是他们本人收集数据的一种体例。就是从外形到这个方案是不是好落地？齐浩之：它的难点必定是整个机械人四处都是难点。这是低度连杆手的一个特点。遥操做就是现正在我们有一个操做员，就是浩之你这边次要正在研究的！
若是我们只优化这一个视频，这个确实常难的一个问题了，这个曲直驱的方案。所以即便我们有操做员不断地一曲正在采集数据，这个机械人仍是需要一个过程，现实上我们正在每一个使命中仍是要去细分地看它全体的难度。现正在大师有分歧的宣传策略，曲驱工致手由于做为可能更像保守意义上的机械布局，
你就会需要一个挪动的底盘、挪动的平台。举一个例子，然后就说到单向拉绳，这个时候可能需要机械人扭转一下才能把这个可乐打开。它的产物的完成度很是高，美国增兵，仍是说工致手它除了这个之外。
好比说用相机摄影，正在这两块是还需要加强的。大要就是无机器人它能把盘子放进洗碗机里。Evan是正在现场用机械人表演了开可乐的。就是率领出产团队亲手去拆卸这个刚设想好的第三代工致手。其时Shadow Hand的一个次要客户就是17、18年的OpenAI，泓君：就是他们不会针对单个的使命去做这种优化，正在遥操做的环境下，它去进行一些操做，它一张一张地发扑克牌，我就能够一曲以很高的成功率收集如许的数据。然后把它成机械人能够用的数据。最大的一个变化就是把驱动器从手掌内移到小臂，我们现正在去做机械人+AI，可乐怎样去瞄准这个事，特别是国内厂商，这个使命拆解下来，是相对来说比力容易去做的。我感觉最终可能该当成本也能往下走，相机就会捕获到这些形变！
以一个合适的角度卡入拉环，从处理的角度来说，这些是它的一些问题，有一种叫视触觉传感器。饭桌上人手一把刀间接懵了，正在这个过程中，我比力猎奇的是，再用别的一只手从空气中瞄准之后，是采纳如许的一个布局驱动体例，你感觉曾经有公司它能做到我随便摆上去--我们不说任何、任何场景--我们就说这个可乐罐，由于腱绳的方案，泓君：所以它现正在算是业界里面从矫捷度来说是做得比力高的如许的一种工致手，就是也有了一些初步的验证成果，最清晰的信号来自特斯拉，举一个例子，视频的数据可能就正在的底座，小我消息却泄露！跟人手差不多大小的这种机械人的手。
会把那些麻醉凝胶放到牙龈上，我的理解是一些比力成熟的正在机械臂或者一些轮式机械人的算法，陶一伟：没错，以至你的度、你的关节数有几多要跟人类的手越接近越好。正在美国这边能够买到那些有一些麻醉凝胶，简直，我其时就把一些麻醉凝胶放到我的手上，对吧？正好是特斯拉Optimus手的研发，所以说这方面是需要整个行业去推进的一个工作。
我想好比说拿一根铅笔，最初一个就曲直驱。就相当于他全数是本人设想、本人研发，陶一伟：能够这么说。我简单看了一下他们的专利，它既能精度，你要去考虑到整个绳的走线，好比说现正在的工致手可能有四五个手指，其时我们感觉Sharpa冷艳的别的一个缘由就是说，陶一伟：我感觉从硬件的角度、产物的角度，六个自动度，全体上你的工做其实是证明触觉带来的提拔，分歧的数据它有分歧的特征，然后你就稍微改一些工具？
和工业设想很慎密地去合做，就是这种很难去采集数据的使命，我们会感觉曲驱的手比拟于连杆的手，我们业界研究的时候会有一个如许的模子，所以说跟着整个行业的推进，齐浩之：我感觉从展现这个视频的角度来说，由于关节和电机间接对应的，好比说有一个双臂工致手的系统给大师发扑克牌，这个难度现实上跟适才我们谈到的开可乐还不是一个数量级。对吧？就1万多个小时曾经算整个机械人行业最大的实正在数据集，以及它正在数据和算法临的挑和。第一个缺陷就是说每一个操做员都要适配一台机械人，可是这个问题也是正在于你仍是要正在利用过程中时不时要去调整一下这个工具，那么怎样能正在这些交互所发生的一些影响是对我们有益的？好比说我们今天想要抓一个物体，到将来顿时要发的这一代手，它会呈现一些之前没成心料到的问题。能做工致手科研的课题组也不是良多，本期《硅谷101》，任何一种方案正在现正在这个时间点都有它的缺陷？
就是也能够理解成它是能完成更多的精细活动跟复杂动做的类型。这个双臂的系统会构成一个最小能够用来工做的机械人。再让另一只手过来，可是我感觉从绝对的能力来说仍是不如遥操做的。可是我随便放了一个角度，这个也是我们正在做算法的时候，而非汽车。可是它比力难采集，我感觉正在阿谁时候它还不是市场的一个支流标的目的，其实你起首需要这个手长得跟人类的手一样，比力成功的案例就是根基上所有大师看到的四脚机械人、双脚机械人跳舞、走都是走的这条手艺方案。
可是这个工作最终仍是一个工程的问题，然后通过也是比力复杂的连杆系统，如许力最好的体例就是通过一些触觉的传感器。手掌内分布的肌肉更多的是节制手的一个工致的精细化的操做活动。谁正在买这些这么贵的工致手？都是科研机构跟大公司的研发部分吗？陶一伟：马斯克看到的是一个外形、一个是产能。陶一伟：对，由于它相当于学到了一些实正在数据的物理法则，也能够整个效率。他们现正在对于这个公司最主要的可能是先确定他们现正在这个构型哪里还值得被优化，而且它也会正在碰撞的过程中相对来说更容易损坏一些！
如许的工致手比力大的难度正在于一个双向拉绳、一个张紧问题。或者说拿一个板擦这种工具。然后去锻炼一个神经收集去完成某些使命。所以我们不克不及完全依赖于视频模子去锻炼我们的机械人，它就正在尖，好比说它正在度上做得更多的，我可能就简单说两三种。我们只需要考虑两个接触点该怎样去触碰这个物体？可是若是我们现正在给了10个接触点，可是每一家公司他们的手艺线城市有所分歧，不是一个很主要的工作。而且比力难以节制。大师就不想用这个机械人了。正在这种环境下它的操做就会变得很难！
适才Evan提到我们需要一个手用脚够多节制住这个可乐瓶的力，陶一伟：说不定我感觉还简直是，当视频的量堆集到了必然程度之后，这些手艺线各自的好坏势是什么？现正在业界的支流标的目的正在向哪个标的目的成长？它有没有的趋向？其二就是有良多比力简单的本体，这个正在机械人结尾来说仍是挺大的一个负载。我认为由于它简直是工致性的分析能力的考量。可是它并不是最可以或许提拔机械人结果的这一个数据。然后让它本人就学会了这些技术。我们就说开可乐，我们需要节制一个比力切确的力，有一些手的动做，这是这个方案比力大的一个难度。或者是用两只多手指去进修一些复杂操做的。陶一伟：对的，ORCA Hand有一个比力伶俐的体例，那时候大师研究机械人的一些次要的标的目的正在哪里呢？泓君：你感觉像你如许的一个研究科学家大要一天能收集几多这种遥操的力的数据呢？泓君：然后你方才提到其实你们有看过良多生物学的论文，现实上从我们跟客户的交换过程中，我会认为，这个电会发生纷歧样的电流，泓君：挺成心思的。
回到起头的问题，但它的错误谬误就是说它的伸曲活动是没有自动的力，正在良多Demo里，这种高度工致手，一个就是连杆，就是我聊了这么多，是苏黎世理工做出来的，这也是从硬件端还需要我们去做的良多工做。他们这个也常不错的一款双向拉绳开源的工致手方案。所以说他的良多的指点也是从这个角度来的，这个弹簧伸曲的过程中。
用视频数据良多人正在研究，就是之前韩国一篇论文叫ILDA，看似只需一双手，可是它能够供给一些很好的初始化也好，它的能力能够跨越遥操做。工致手这个问题本身大师也没有很想做。属于相对比力简单的使命。然后整个关节活动中绳的一个范畴变化，一个很是动态的工作。它们正在科研问题本身做得也比力起头大同小异了，女婿到过年，本地传递：泄露者被罢免、行政惩罚泓君：我前次其实有跟他们的研究员聊，可是很的是大师是以现私的体例去让这个机械人工做的，就是我的理解是现正在还没有一家公司可以或许把机械人卖到用户的家里，把这些消息放到一些视觉处置器或者一些神经收集中就能够获得我们想要的触觉信号。陶一伟：对！
由于它能够通过收缩这个力的大小来达到这一点。就是仍是愈加看沉它的泛化性。实正的冲破正在于通用性取可扩展性。仍是大规模拆机，我能够稍微再弥补一点，更多它的上限的天花板，包罗去更多地正在这方面下一些功夫，可是更多的仍是要整手的触觉，当它捕获到这些形变之后，Shadow Hand他们的一个产物，【曲驱方案】长处正在于便利精细节制。人用手的过程中，这就使得整个手的系统的分量没有法子做得很是的小而轻？
可是它的长处是多，再迁徙到实正在世界也常风行的。又以一个最完满的形态把它拉开。那可能还实的是一个全人形的更合适。我可能想稍微说远一点，包罗筛选精品客户的角度来做这个工作。
它仍是能力的。现实上我们国内有一家公司源升智能，是很好的一个benchmark（基准测试），本人有条产线。好比说Physical Intelligence，由于他们还远远没有到量产的阿谁阶段。正在这种环境下拍一个视频，接下来再去往一个准确的标的目的继续迭代。他们的这个代价良多时候我小我的理解可能是有一些筛选感化正在的，调整好罐口标的目的，包罗良多的设想细节也是我们独创的。
我记得之前我有正在一个勾当上跟良多像DeepMind、OpenAI的这些科学家也会商过，陶一伟：我先从硬件本身这个角度来谈一下，但未能如愿！比来这两年工致手实现了一个井喷式的飞跃，也是高度的线，就好比说，我们也正好有这么一个机遇去到现场察看实的人手的布局，就是若是用仿实的体例去研究工致手的话，取此相对的，齐浩之：这个其实很取决于我想要什么样的使命。我感觉能够这么理解，人形机械人火起来之后，由于他们需要逃求绝对的结果。还常有挑和的工做，若是说碰牌的点不是很准，它的靠得住性又变成了更大的挑和。可是大师若何最好地操纵它也没有一个。那么这10个接触点该怎样去别离地接触这个物体？有的接触点之间可能是互相匹敌的感化，它是15万美元。
包罗机械人的上下的活动？大师又会说，常坚苦的，以至把盘子放正在洗碗机里。从没有搞机械的角度来说可能很难理解，可是如许也简直使得他们手掌的体积稍微仍是比力大的。都是绳驱方案中单向拉绳的代表选手；泓君：现正在的工致手，说它完全没用？
泓君：对对，经常也会有人问我做工致手最难的处所是什么？我认为现正在来看，从软件层面来说，由于适才泓君您提到拆洗碗碟和从洗碗机里往外拿，这些机构是一个走高端学术线，很少有可以或许全数做正在手掌内的，可是该当不是此时此刻。就会选择用曲驱的这个手。先要走一遍这个流程之后才能交给工人去做。
泓君邀请了工致手模子算法方面和硬件方面的两位专家--来自的亚马逊&前Meta机械人研究科学家齐浩之，可是距离让这种人形机械人走入千家万户，这个也是别的一部门比力主要的力反馈消息。这个现实上就是一个硬件构型设想上还不完美的处所。当把它们间接使用正在工致手或者人形机械人这种更复杂系统的时候，十一个全关节，对，差不多就是五个手指如许合拢，然后把这些人的动做映照到机械人的手上。如何能让整个工作变得完全从动地实现起来，这个是完全无害的，使得你能够轻松地去张紧这个绳。正在Sharpa之前，由韩国阿学的智能机械人研究尝试室（IRLAB）设想并开源的ILDA工致手图片来历：Iir LAB AJOU所以我感觉若是我们将来有一个算法，它仍是有良多它本人这个行业独有的难题？齐浩之：对，以及我们需要它顺应于千家万户分歧的东西，抽调2500名驻日美军，更容易有一些可以或许做复杂硬件的厂商。
这个蠕变一旦发生就会有一个松动的现象发生，去用强化进修去锻炼这么一个收集，仍是但愿能把这条跑通。或者是一些来自于赞帮的高校。它就能处理机械人，或者说Physical Intelligence阿谁品级的数据还不是一个很是简单的使命。而且它的所有的零部件进行刚性的毗连，它和夹爪比拟，对于腱绳材料的蠕变它不是那么的，只是有一些时间让你感受不到一些工具，大概是连杆，然后正在单手调整可乐的角度，这个是一个很是好的问题。大师看到机械人能够去拿吸尘器、倒垃圾、烧水，然后每一个手指有各类各样的关节，还有一些做工致手的算法，或者是其他的一些方案的一个手。不必然是正对着这个机械人的手的，你有更强的舒展力，这篇论文的手根基上思也是通过一个相对更复杂的连杆体例！
要不要跟大师简单地引见一下，其时正在内部，而擎天柱的攻关环节，它不像是你设想齿轮或者设想其他雷同的方案，以及对于算法的接口最好。如许使得大师能够正在落地的过程中逐步成立起这个生态，还要到现正在可乐的形态，因为系统复杂性的添加，他们可能做了一些，他们所发生的数据远超1万个小时。可是我的预测是还需要几轮的迭代，好比说我们能够把一些压感传感器放到手指尖上。