Biofeedback Cinema: 7 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:53

Автор на проекта

Джесика Ан

Сътрудници

• Грегъри Хаф
• Салуд Лопес
• Педро Пейра

относно

Експериментална система за заснемане на видео, която свързва мозъка на участника с функциите на камерата чрез слушалки за четец на ЕЕГ Neurosky Mindwave. Системата Biofeedback Cinema работи вместо традиционен оператор, вместо това предоставя агенцията на композицията на самата участничка чрез персонализиран интерфейс BRAIN to CAMERA. Проектът е разработен в сътрудничество с участниците в семинара Gregory Hough, Salud Lopez и Pedro Peira. Можете да прочетете резултатите от семинара на:

Конфигурация на прототип

Системата Biofeedback Cinema се поддава на много потенциални приложения. За тази инструкция сме подготвили демонстрация на системата, която разглежда нивото на фокус/внимание на участника (едно цяло число) и го превежда в позиция на камерата (чрез панорамиране и накланяне) и фокусиране на камерата (вътрешно чрез OpenCV). Всичко това става възможно благодарение на Bluetooth връзка между Neurosky EEG Reader Headset и Raspberry Pi.

Raspberry Pi е малък компютър, оборудван с уеб камера и скриптове (налични по -долу), които свързват мозъчната активност на участника до настройките на камерата и позицията на камерата. Динамичното разположение на камерата е възможно чрез микроконтролер Arduino, приемащ сигнали от Raspberry Pi. Очакваме с нетърпение по -нататъшно развитие, тъй като се стремим да включим допълнителни параметри на мозъчната вълна (честоти, свързани с мигането на очите и т.н.) и функциите на камерата (т.е. оттенък, насищане, яркост и т.н.).

По -долу са дадени инструкциите за изграждане на собствена система Biofeedback Cinema.

Приятно експериментиране

Стъпка 1: Консумативи

Всичко, от което се нуждаете, за да създадете свой собствен прототип на Biofeedback Cinema, е изброено по -долу.

1. Мобилни ЕЕГ слушалки Neurosky Mindwave

2. Raspberry Pi B+ (b+ е по -добре, повече USB портове, но B модел също е добре, ако имате USB хъб).

   1. Захранващ адаптер Raspberry Pi или батерия
   2. Wifi Dongle или Ethernet връзка (необходима само по време на настройката)
   3. Bluetooth Dongle вижте wiki за съвместими ключове
   4. SD карта (поне 8GBs) с NOOBS.

3. Arduino Всяка дъска е добре, използвайки Uno в тази инструкция. Също така имайте предвид, че можете просто да използвате I/O на Pi.

   1. Захранващ адаптер Arduino или батерия
   2. A-B USB кабел
4. USB уеб камера
5. Мини комплект с наклон

6. Монитор с HDMI вход или използвайте VNC за дистанционно управление на вашето пи от вашия компютър [урок тук]

   HDMI кабел

7. USB клавиатура и мишка препоръчват Bluetooth клавиатура и мишка, за да сведете до минимум използваните USB портове.

Стъпка 2: Настройка на Raspberry Pi

1. Настройка на хардуера

Свържете клавиатура, мишка, bluetooth ключ, wifi ключ (или ethernet), уеб камера, монитор чрез HDMI кабел и захранване към вашия Raspberry Pi

2. Настройка на операционна система

• Включете захранването и вашият Pi трябва да се стартира. Инсталирайте Rasbpian OS, инструкции тук:
• Ако се стартира и Raspian е инсталиран правилно, трябва да видите началния работен плот [Изображение по -горе].

СЪВЕТИ:

• Ако пропорциите на работния плот са изключени, опитайте да рестартирате Raspberry Pi. Ако все още е изключено, погледнете тук, за да актуализирате ръчно съотношението на страните.
• Ако отворите текстов редактор и специалните знаци на клавиатурата ви са неправилно потърсете тук, за да актуализирате конфигурацията на клавиатурата.
• Тествайте вашата интернет връзка (това ще ви е необходимо, за да инсталирате библиотеки по време на настройката). Потърсете тук за помощ при настройката на wifi.

Стъпка 3: Свържете Neurosky Headset

1. Bluetooth конфигурация

Преди Pi да може да се свърже с Neurosky, трябва да настроим bluetooth:

На работния плот отворете "LXTerminal" (наричан от тук нататък терминал). Изпълнете тази команда, за да разрешите и актуализирате недостатъците:

$ sudo apt-get update

Инсталирайте bluetooth с тази команда:

$ sudo apt-get инсталирайте bluetooth

Инсталирайте удобна помощна програма за лента с инструменти за настолни компютри:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Рестартирайте Pi от терминала:

$ sudo рестартиране

2. Тествайте Bluetooth връзката

• Включете слушалките Neurosky
• От терминалното сканиране за устройства:

hcitool сканиране

Слушалките Mindwave трябва да бъдат изброени, обърнете внимание на MAC адреса на слушалките [изображение по -горе]

3. Инсталирайте Neurosky Libraries

Сега сме готови да инсталираме библиотеките на Neurosky Python и да започнем да събираме потока от данни с тестовия скрипт на библиотеката:

От терминала инсталирайте помощната програма github:

sudo apt-get install git-core

Клонирайте хранилището на github с библиотека Neurosky Python:

sudo git clone

Трябва да актуализираме файла MindwaveMobileRawReader.py с MAC адреса на вашата слушалка. За сведение: Имената на файловете са чувствителни към регистъра

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Актуализирайте MAC адреса, посочен във файла. Ctrl-X за завършване, Y за запазване, Enter за изход.
• Сдвоете Neurosky и Pi и разрешете функцията за автоматично свързване, ако бъдете подканени за ПИН код, използвайте „0000“:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device доверено XX: XX: XX: XX: XX: XX да

Инсталирайте библиотеката на Python Bluetooth:

sudo apt-get install python-bluez

Стартирайте тестовия скрипт на библиотеката, за да сте сигурни, че Pi може да визуализира потока от данни. Трябва да видите поточното предаване на данни [изображение по -горе]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Стъпка 4: Свържете USB уеб камера W/Отворете CV

1. Инсталирайте OpenCV

От терминала:

$ sudo apt-get install libopencv-dev python-opencv

Когато приключите, продължете:

$ sudo apt -get -f install

За добра мярка:

$ sudo apt-get install libopencv-dev python-opencv

Тествайте инсталацията, като се опитате да импортирате библиотеката:

$ python

> импортирайте cv2

2. Тествайте OpenCV в Python с USB уеб камера

• На работния плот отворете „IDLE“(не отваряйте IDLE3!)
• От менюто File изберете New Window. Копирайте нашия Cv-Blur-Test скрипт в новия прозорец и запишете. Скриптът е достъпен тук:
• От менюто Run изберете Run Module (или натиснете F5). Може да отнеме няколко секунди, преди да започнете, но трябва да видите малка рамка с вашата емисия на уеб камера на живо, а видеото трябва да е замъглено. Поздравления, OpenCV е инсталиран и работи успешно с вашата уеб камера [Изображение по -горе].

Стъпка 5: Свържете Arduino

1. Изтеглете Arduino IDE

От терминала:

sudo apt-get install arduino

2. Свържете Arduino & Load Sketch

• Включете arduino в Pi с A-B USB кабел.
• От менюто за стартиране на работния плот отидете на Electronics и отворете Arduino IDE. Копирайте нашата скица arduino-serial-pi в IDE [Връзка по-долу]. Това е много основна скица, която ще премести серво мотори въз основа на вход, идващ през серийния. Ще изпращаме данни през сериала въз основа на изхода на мозъчната вълна, като използваме скица на Python в последната стъпка, когато съберем всичко заедно.

Скица на Arduino-serial-pi онлайн тук:

В IDE на Arduino отидете в менюто Инструменти, изберете Сериен порт и изберете изброения порт Arduino, вероятно нещо като /dev /ttyACM0. Запишете пристанището

3. Деактивирайте серийната конзола

Изтеглете и стартирайте скрипт, за да деактивирате серийната конзола, за да може USB последователната връзка да работи безпроблемно:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo рестартиране

Обяснение:

Ако използвате B+, може да има достатъчно I/O за поддържане на сервомоторите (вижте тук, за да настроите и използвате GPIO). Интересува ме обаче да добавя допълнителни компоненти за бъдещи експерименти мозък към електроника. Така че, създаването на първоначалния прототип с arduino гарантира много пробивни електронни възможности.

Стъпка 6: Съберете всичко заедно

1. Краен скрипт на Python

Преди да можем да добавим окончателния скрипт на python към папката "python-mindwave-mobile", трябва да променим разрешенията за папката. От терминала:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Отворете IDLE и стартирайте нашия последен скрипт на Python, достъпен онлайн тук: https://github.com/PrivateHQ/biofeedback-cinema/ Уверете се, че се намира в папката python-mindwave-mobile. FYI: Ще трябва да актуализирате нашия скрипт на Python с вашия действителен адрес на порта на Arduino.
• Когато стартирате този скрипт, трябва да се случат три неща: 1) Нивото на вашето внимание ще бъде изброено в обвивката на Python, 2) Появява се малка рамка, показваща емисията на уеб камерата на живо с промяна на замъгляването в зависимост от нивото на внимание, 3) двигателят (s) преместване, докато нивото на внимание се предава на arduino чрез серийния [Видео по -горе].

Стъпка 7: Подобрения и развитие

Raspberry Pi има ограничена процесорна мощ и се бори да работи безпроблемно функциите на OpenCV. Това е нещо, което ще продължа да развивам и подобрявам. Освен това планирам да включа допълнителни параметри на мозъчната вълна (честоти, свързани с мигането на очите и т.н.) и функциите на камерата (т.е. оттенък, насищане, яркост и т.н.) в бъдещи итерации.