IoT: Контролирайте HoloLens с помощта на веждите си (EMG): 5 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:51

Този проект беше част от проекта NASA SUITS на Университета в Колорадо, който беше представен и тестван в НАСА АД през април 2019 г. За проекта през тази година аз бях ръководителят на проекта за хардуерно развитие и това беше един от моите приноси. Прочетете повече за предизвикателството НАСА SUITS тук.

С този проект исках да позволя на всеки (в случая EVA астронавти) да взаимодейства с Heads-Up-Display (HUD), разположен в Microsoft HoloLens, без да използва вградените жестове с ръце или гласови въвеждане. Реших тази цел от гледна точка на достъпността, исках да разработя периферно/носимо устройство, което да позволи на астронавтите на EVA да взаимодействат с дисплея си, без да заемат комуникации с наземния контрол, и поради високото налягане на ръкавиците, свързването на жестове е неразумно. Въпреки че това е домейн, с който не съм запознат, мога също да видя, че това периферно устройство е полезно за хората с увреждания, което им позволява да използват HoloLens или други AR/VR устройства и да се откажат от свързващите входове, които са изключващи или обезсърчаващи.

Докато списъкът с артикули за този проект е изключителен (HoloLens е много скъп!), Периферното може да се използва с други AR/VR устройства.

Ако имате някакви въпроси, искате да сте в крак с моята работа или просто да подхвърляте идеи, моля, направете го в моя Twitter: @4Eyes6Senses.

Консумативи

Microsoft HoloLens (или друго AR/VR устройство)

Фотон от частици

MyoWare мускулен сензор - MyoWare сензорът може да бъде заменен с други EMG пробивни платки. Ако не сте сигурни какво е EMG, предлагам да прочетете повече за него тук

Биомедицински сензорни подложки

Unity (безплатно)

Известен опит със създаването на проекти в Unity

Тел

Стъпка 1: Свързване на MyoWare с фотона на частиците

Свързването на частичния фотон към платката MyoWare е доста лесно. За тази стъпка ще трябва да запоите връзките между фотона на частиците и платката MyoWare. Уверете се, че имате здрави връзки, така че кабелите да не се скъсат, докато носите устройството. За да избегнете прекъсвания, препоръчвам да оплетете кабелите, преди да ги запоите във фотона.

- Запоявайте проводник в "+" порта на платката MyoWare, след това запоявайте другия край на кабела в щифта на Photon "3v3".

- Запоявайте проводник в "-" порта на платката MyoWare, след което запоявайте другия край на кабела в щифта "GND" на Photon.

- Запоявайте проводник в порта "SIG" на платката MyoWare, след което запоявайте другия край на кабела в щифта "A0" на Photon.

Стъпка 2: Качване на код във фотона на частиците

Използвайки IDE на Particle Photon, качете.ino файла. Поставете платката MyoWare върху мускулна група и проверете стойностите, за да се уверите, че устройството ви работи. Когато разглеждате кода, ще забележите, че вече е зададена "прагова" променлива, тази променлива е минималната стойност, която MyoWare чете от мускула ми, когато повдигна веждата си напълно. Също така зададох променливата на "600", тъй като ми позволи да правя нормални разговори, докато нося MyoWare, без да създавам никакви фалшиви положителни резултати (случайно задействане), може да искате да си поиграете със стойностите, докато намерите желания праг за вашите приложения.

Стъпка 3: Поставяне на MyoWare

За нашия проект НАСА SUITS избрах да поставя MyoWare Board над веждата. Бях вдъхновен да поставя MyoWare там, след като разгледах проекта „Sup Brows“, направен от Adafruit. След известно тестване стана ясно, че веждите са чудесно място за този конкретен проект. Това е чудесно място, тъй като сензорите няма да бъдат засегнати от постоянните мускулни движения през ръцете, краката и торса, които EVA астронавтите правят по време на космически разходки.

Стъпка 4: Свързване на MyoWare с Unity

Сега е време за последната стъпка, нека свържем MyoWare с Unity! В този Instructable е включен скриптът, който ще трябва да включите във вашия Unity проект. Но първо ще трябва да промените няколко неща в кода. Първо, ще трябва да добавите приставката JSON Object Unity към вашия проект. След това ще трябва да добавите свой собствен идентификатор на устройство и маркер за достъп в ред 19: particleURI = "https://api.particle.io/v1/devices/[Инстартирайте идентификатора на вашето устройство]/Напред? Access_token = [Поставете своя жетон за достъп]". Можете да получите идентификатора на вашето устройство от IDE на частици, следвайки фигура 2, щракнете върху раздела за вашите устройства (червена кутия) и потърсете под името на вашето устройство, за да намерите вашия идентификатор (синя кутия). След това, за да намерите маркера за достъп, щракнете върху раздела с настройки в IDE.

Стъпка 5: Готово

След като приключите с проекта си за Unity, ще имате HoloLens, контролиран от EMG!

Ако имате някакви задълбочени въпроси, искате да научите за увеличаването на човешкия потенциал, искате да сте в крак с моята работа или просто да разхвърляте идеи, моля, направете това в моя Twitter:

Ако проявявате интерес да работите с нашия екип за предизвикателството НАСА SUITS 2019 - 2020, моля, изпратете ми имейл на адрес:

Специални благодарности на модела от първата снимка, Дарън, който също тества дизайна в НАСА. Още една благодарност на моя партньор по програмиране за проекта AJ, който направи много от това възможно.