Данные руки

Научные данные, том 10, Номер статьи: 405 (2023) Цитировать эту статью

533 доступа

Подробности о метриках

HANDdata — это набор данных, предназначенный для предоставления данных о кинематике рук и приближенном зрении во время досягаемости для понимания действий невиртуальных объектов, специально предназначенный для автономного захвата роботизированной руки и с особым вниманием к фазе досягаемости. Таким образом, мы стремились получить характеристики целевого объекта с помощью радара и датчиков приближения времени полета, а также детали действия захвата, рассматривая кинематику запястья и пальцев, а также основные события взаимодействия руки с объектом. Мы структурировали сбор данных как последовательность статических и понятных задач, организованных по возрастающим уровням сложности. HANDdata — это набор данных от первого лица, который включает почти 6000 взаимодействий человека с объектами от 29 здоровых взрослых, с 10 стандартизированными объектами 5 различных форм и 2 видов материалов. Мы считаем, что такой сбор данных может быть полезен для исследователей, интересующихся автономными захватывающими роботами для здравоохранения и промышленности, а также для тех, кто интересуется компьютерным зрением на основе радара и базовыми аспектами сенсомоторного контроля и манипулирования.

Человеческая рука — невероятно сложная система с огромным спектром функций, она незаменима в нашей жизни и в нашем повседневном взаимодействии с окружающими предметами и людьми. Исследователи в течение долгого времени прилагали усилия, чтобы понять и воспроизвести такую ​​сложность. Эта задача затрагивает различные отрасли и области человеческого знания, например, анатомию и биологию, нейробиологию, а также искусство и инженерию, робототехнику, автоматизацию, протезы конечностей и так далее. О таком внимании свидетельствует огромное количество имеющихся в литературе статей по этой теме (более полумиллиона документов, попадающих в поиск «человеческой рукой» в Scopus!). Более того, об этом также свидетельствует огромное количество соответствующих коллекций данных (или наборов данных), бесплатно публикуемых исследователями на протяжении многих лет. Каждый из этих наборов данных предоставляет данные от различных датчиков, пытающихся сосредоточить внимание на определенном аспекте, связанном с человеческой рукой, чаще всего на определенном наборе действий, в конечном итоге пытаясь подчеркнуть другую точку зрения на такую ​​сложную систему. Например, большое количество наборов данных ориентировано на распознавание поз рук и захватов, предлагая различные данные, такие как камеры RGB и глубины, электромиографические датчики и системы отслеживания движения1,2,3,4,5,6,7, даже для неограниченных людей. манипуляции с объектами8. Аналогично и в области робототехники, большое количество наборов данных посвящено автоматизации захвата роботов, обучению роботов, взаимодействию человека с роботом и даже способам синтеза набора данных захвата9,10,11,12.

К сожалению, лишь немногие наборы данных были специально ориентированы на способность схватить действие13,14,15,16, одно из наиболее важных и повторяющихся действий в повседневной жизни, и еще меньше наборов данных были сосредоточены на автоматическом захвате во время достижения с помощью компьютерного зрения6. К сожалению, ни один из доступных в настоящее время наборов данных не предоставляет обширных данных о кинематике рук и зрении вблизи во время досягаемости, чтобы понять действия реальных (то есть невиртуальных) объектов.

В этой работе мы намеревались предоставить набор данных, специально предназначенный для изучения автономного захвата роботизированной руки, уделяя особое внимание фазе захвата. В частности, мы стремились к сбору данных, который позволил бы изучить новые подходы к автономному захвату, основанные на оценке траекторий достижения руки, кисти и пальцев, а также распознавании характеристик объекта до и после начала захвата движения (т. е. статические и динамические фазы). , соответственно). Для такого исследования мы выбрали набор радиолокационных и времяпролетных датчиков приближения, датчиков, которые все чаще встречаются в технологиях, основанных на компьютерном зрении17, и имеющих большой потенциал для реального клинического применения как с точки зрения мощности, так и с точки зрения вычислительных потребностей. . Кроме того, базовая кинематика предплечья и кисти считалась необходимой для обеспечения эталонной основы для любой процедуры автономного захвата.