Vision даёт роботу-манипулятору карту, но не даёт ему хват.

Попробуйте поднять яйцо, имея только данные с камеры и нулевую обратную связь по силе: вы либо раздавите его, либо уроните. Нет сигнала, который скажет исполнительному механизму: «ты на 80% от давления, при котором оно треснет, ослабь хват».
Этот сигнал существует только в виде данных о тактильных ощущениях: сила, крутящий момент, тактильное давление, обнаружение проскальзывания.
Поэтому «Embodied AI bottleneck» («узкое место воплощённого ИИ») — это уже не проблема зрения. Это проблема осязания. Можно иметь идеальную 3D-модель дверной ручки и всё равно не суметь повернуть её, если захват не знает, насколько сильно он сжимает и когда начинается проскальзывание.
Именно эту проблему модель Teleop-to-Earn от @InvLambda и создана решать. Вместо надежды, что симуляция сможет приблизить реальное трение и податливость, T2E включает людей в контур управления: реальные руки, реальная ловкость, которые генерируют мультимодальные (визуальные + тактильные) датасеты, которые сим-среды не могут подделать.
Зрение говорит роботу, где находится мир.
Тактильные ощущения говорят ему, как к нему прикасаться.
Вторая задача — сложнее, и именно она сейчас действительно решается.
@InvLambda #InvertedLambdaTheBreach #InvertedLambda #Robotics #Teleoperation #SecondContact #SecondContactTheBreach