Ръчно разпознаване на движение: 5 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:50

Общ преглед

В този проект ще направим ръкавица, която да разпознава някои основни движения на ръцете, използвайки MicroBit и няколко сензора. Ще използваме Bluetooth възможностите на MicroBit, заедно с приложение за Android и уеб сървър, за да обучим модел за машинно обучение за идентифициране на движенията на ръцете.

Приготвяме се да започнем

По -голямата част от усилията, включени в този проект, са от страна на софтуера и целият код, необходим за изпълнението на този проект, е достъпен на GitHub. Кодовата база включва 3 компонента, кода за генериране на HEX файл за MicroBit, кодовата база за Android приложения, която е силно базирана на приложението MicroBit Blue на MicroBit Foundation, с модификации, направени за този конкретен случай на използване, и уеб сървър с код за обучение на модел, базиран на Tensorflow за идентифициране на движенията на ръцете.

Ще видим как да изградим ръкавицата и да я свържем с приложението и уеб сървъра.

Консумативи

• 1 BBC Microbit
• 1 държач за батерии с 2 батерии AAA
• 1 ръкавица
• Комплект джъмперни проводници, алигаторни скоби
• Сензор за огъване
• Сензор за сила
• Велкро
• Електрическо тиксо
• Телефон с Android
• Компютър/Лаптоп

Стъпка 1: Стъпка 1: Настройка на MicroBit и батерия

• Започнете, като прикрепите държача на батерията към парче велкро, както е показано на първото изображение. Използвайте електрическа лента, за да прикрепите здраво държача на батерията към велкро лентата.
• След това направете контур с електрическа лента, така че да е лепкав от двете страни, и го залепете върху батерията.
• Залепете MicroBit върху контура на лентата, за да прикрепите здраво MicroBit към държача на батерията, както е показано на второто изображение.

Стъпка 2: Свържете сензорите

• Следвайте електрическата схема, показана на изображението, за да свържете вашия гъвкав сензор към Pin 1 на MicroBit и натиснете сензора към Pin 0 на MicroBit.
• Закрепете сензорите на ръкавицата с помощта на електрическа лента, както е показано на изображенията.

Стъпка 3: Довършване на хардуера

• Използвайте краищата на велкро лентите, за да оформите бримка и плъзнете контура над пръстите на ръкавицата, както е показано на изображението.
• Можете да използвате телени връзки, за да закрепите проводниците на ръкавицата, за да предотвратите преместването им твърде много.

В следващия раздел ще разгледаме как да настроите софтуера.

Стъпка 4: Настройка на софтуера

Сдвояване на телефона с вашия MicroBit

1. За да сдвоите телефона си, първо се уверете, че Bluetooth е включен на телефона ви.
2. Включете вашия MicroBit и натиснете и задръжте и двата бутона A и B. В същото време натиснете и отпуснете бутона за нулиране, докато все още държите бутоните A и B. Сега микробитът трябва да влезе в режим на сдвояване.
3. На телефона си намерете своя MicroBit под списъка с Bluetooth устройства, където обикновено добавяте ново Bluetooth устройство, и започнете сдвояването. На вашия MicroBit ще видите стрелка, сочеща към бутона A. Когато натиснете това, MicroBit ще покаже поредица от числа, която е кодът за сдвояване, който трябва да въведете на телефона си. След като въведете кода на телефона си и изберете двойка, на MicroBit трябва да се покаже отметка.
4. Натиснете бутона за нулиране на вашия MicroBit.

Настройване на софтуера

Следвайте ръководствата за ReadMe във всяка подпапка в хранилището на GitHub, за да настроите проекта за приложение за Android в Android Studio, да изградите и прехвърлите HEX файла на вашия MicroBit и да стартирате уеб сървъра за изпълнение на моделите за машинно обучение.

Стъпка 5: Използване

Уеб сървър

Отворете терминал в директорията на проекта на уеб сървъра и стартирайте `python server.py`, за да стартирате сървъра, след като следвате инструкциите в ReadMe за инсталиране на зависимости

Приложение за Android

1. Създайте и направете APK за приложението за Android от Android Studio. Стартирайте приложението, след като сдвоите телефона си с MicroBit (вижте предишната стъпка).
2. На страницата на акселерометъра можете да зададете URL адреса на уеб сървъра, като използвате менюто с настройки в горния десен ъгъл. Не забравяйте да промените това на IP на вашия уеб сървър.
3. Изчакайте, докато показанията на акселерометъра започнат да се попълват от MicroBit. Ще видите как показанията се променят с различна честота. За да промените честотата, натиснете B на MicroBit. В идеалния случай можете да използвате честотна стойност 10 (която измерва показанията на всеки 10 ms)
4. След като показанията бъдат попълнени, дайте име на жеста си, като използвате текстовото поле с надпис „Жест:“и натиснете бутона за запис. Веднага щом натиснете бутона за запис, направете движението на ръката си многократно, докато бутонът се активира отново.
5. Повторете стъпка 3 за запис на множество жестове.
6. Натиснете бутона влак, за да започнете обучението на модела на сървъра. След като тренировката приключи (около 15 секунди), можете да продължите да правите прогнози.
7. Натиснете бутона за предсказване и направете вашето движение/жест. Приложението ще се опита да го съпостави с едно от тренираните движения възможно най -добре.