Добро пожаловать в Shenzhen Mingjiada Electronics Co., Ltd.

По сообщениям зарубежных СМИ, 30 декабря по местному времени компания Apple объявила о выпуске нового робота ARMOR. Новая система предотвращения столкновений с препятствиями разработана компанией Apple и американским университетом Карнеги-Меллон (Carnegie Mellon University) в рамках сотрудничества в области исследований и разработок.

Как выглядит система ARMOR

В настоящее время традиционные гуманоидные роботы обычно полагаются на централизованную камеру и лидар, установленные на голове или туловище для обеспечения осведомленности об окружающей среде. Хотя такой подход прост в интеграции и обеспечивает хорошее поле зрения, он может быть сильно затенен в области рук и кистей.

Хотя в некоторых исследованиях предпринимались попытки интегрировать технологию тактильного восприятия в роботизированные конечные эффекторы, такие решения являются дорогостоящими и трудно применимыми в роботизированных руках в больших масштабах. Между тем, эффективное использование тактильных датчиков в рамках стратегического обучения остается актуальным вопросом.

Однако в системе ARMOR от Apple используется интегрированный программно-аппаратный дизайн. С аппаратной стороны система использует централизованную RGBD-камеру, которая захватывает сразу все детали в плотных кадрах. Исследовательская группа также выбрала лидар SparkFun VL53L5CX time-of-flight (ToF) в качестве базового сенсорного устройства. Разрозненное зондирование с помощью нескольких датчиков создает «самоцентрированную» модель восприятия.

Датчик имеет размеры 6,4 x 3,0 x 1,5 мм и обеспечивает изображение глубины с разрешением 8x8 при частоте 15 Гц, диагональным полем зрения 63° и дальностью действия 4 000 мм. Команда сконфигурировала каждую руку робота с 20 такими датчиками, в общей сложности 40 датчиков, чтобы создать распределенную сенсорную сеть.

Каждый из четырех датчиков подключен к микроконтроллеру XIAO ESP, данные с которого считываются по шине I2C и передаются по USB на бортовой компьютер робота (Jetson Xavier NX). Наконец, данные передаются по беспроводной связи на хост-компьютер с ОС Linux, оснащенный графическим процессором NVIDIA GeForce RTX 4090, для обработки, чтобы система поддерживала частоту обновления 15 Гц.

Что касается программного обеспечения, то исследовательская группа разработала архитектуру кодека Transformer, основанную на ARMOR-Policy, которая аналогична Action Chunked Transformer (ACT). Благодаря имитационному обучению стратегия способна учиться на демонстрациях человеческих движений без столкновений. Для обучения стратегии команда использовала 311 922 реальные последовательности человеческих движений (общей продолжительностью около 86,6 часов) из набора данных AMASS, который охватывает широкий спектр релевантных человеческих движений, таких как манипуляции, танцы и социальное поведение.

Команда перерисовала траектории движений человека на конфигурации суставов робота и создала компактные области препятствий вокруг траекторий, чтобы гарантировать, что траектории не столкнутся друг с другом. Кроме того, исследователи использовали три стратегии - движение с обходом препятствий, экстренная остановка и движение без столкновений - для получения обучающих данных.

Сетевая архитектура ARMOR-Policy учитывает существование нескольких эффективных решений для планирования движения. Благодаря введению дополнительного кодирующего слоя, который определяет скрытую переменную z, политика способна генерировать различные решения-кандидаты на траекторию движения путем корректировки переменной z.

На этапе вывода система параллельно вычисляет N траекторий-кандидатов и выбирает наилучшую траекторию, минимизируя расстояние между роботом и облаком точек. На вход сети подается латентная переменная z, текущее и целевое положение суставов (28-мерные векторы) и изображения глубины с 40 лидарных датчиков ToF. Кроме того, такие изображения глубины обрабатываются модифицированной одноканальной опорной сетью ResNet18 для извлечения 512-мерных признаков. Вся архитектура сети содержит около 84 миллионов параметров.

По сравнению с традиционной стратегией использования четырех камер глубины, установленных как на голове робота, так и снаружи (внешнее зондирование), система ARMOR достигает значительного улучшения эффективности избегания препятствий: количество столкновений сокращается на 63,7 %, а коэффициент успешности увеличивается на 78,7 %. При этом по сравнению с cuRobo, экспертной системой планирования движения на основе выборки, ARMOR-Policy показала лучшую производительность: на 31,6% меньше столкновений, на 16,9% выше коэффициент успешности и в 26 раз выше вычислительная эффективность.

Кроме того, исследовательская группа проверила применимость системы ARMOR в реальных условиях, установив 28 ToF LiDAR на роботе-гуманоиде Fourier GR-1. Результаты эксперимента показали, что система способна обновлять траекторию обхода препятствий в реальном времени с частотой 15 раз в секунду.