Ръкавица за преобразуване на говор/текст: 5 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:50

Идеята/тласъкът зад прилагането на този проект беше да се помогне на хора, които имат затруднения да общуват с помощта на реч и да общуват с помощта на жестове с ръце или по -популярно като американски подписан език (ASL). Този проект може да бъде стъпка към предоставянето на тези хора на възможност да работят с други хора, които не могат да разбират езика на жестовете, в среда на сътрудничество. Освен това този проект ще им даде възможност да изнасят публични речи без използването на действителен човешки преводач. Като начало се опитвах само да открия някои от по -лесните жестове като азбуки A, B, I и т.н., а също така присвоих определени жестове на обикновени думи/поздрави като „Здравей“, „Добро утро“и т.н.

Стъпка 1: Монтаж на веригата

Стъпка 2: Подробности за проекта

Този проект включва ръкавица за носене с 4 гъвкави сензора, вкарани/вградени в ръкавицата - по един за малки, средни, показалеци и палец. Гъвкавият сензор не е бил използван за пръстенови пръст поради ограничения в наличността на аналогови входни щифтове на Arduino Uno R3 и като цяло поради липса на независимо движение, показвано от пръста на езиците на знаците. Използва се и акселерометър MMA8452Q, който е залепен на гърба на дланта за измерване на ориентацията на ръката. Входът от тези сензори се анализира и използва за усещане на жеста. След като жестът бъде усетен, съответният знак/съобщение се записва в променлива. Тези знаци и съобщения продължават да се свързват, докато не бъде направен определен предварително определен жест, който показва завършване на изречението. След като този специален жест бъде открит, записаният изречен низ се изпраща към Raspberry Pi чрез USB кабел от Arduino. След това Raspberry Pi изпраща получения низ на Amazon Cloud Service на име Polly, за да преобразува полученото изречение в текстов формат във формат на реч и след това предава поточно получената реч на високоговорителя, свързан към Raspberry Pi чрез AUX кабел.

Този проект беше само доказателство за концепция и с по -добри части от оборудването и планирането и по -добре калибриран за откриване на много други жестове и движения на ръцете. Понастоящем в този проект са програмирани само ограничени функции, като например за основно откриване на жестове и извеждане на текст в реч.

Стъпка 3: Код

Стъпка 4: Стъпки

1. Свържете гъвкавите сензори и акселерометъра MMA8452Q към Arduino съгласно предоставената електрическа схема.

2. Изхвърлете програмата Final_Project.ino (намерена във файла Arduino_code.zip) в Arduino.

3. Свържете Arduino към Raspberry Pi чрез USB кабел. (Тип кабел A/B).

4. Включете Raspberry Pi, копирайте файла Raspberry_pi_code.zip в Raspberry Pi и го извлечете. Свържете високоговорителя към Raspberry Pi.

5. Копирайте идентификационните си данни за AWS акаунт, т.е. aws_access_key_id, aws_secret_access_key и aws_session_token във файла ~/.aws/credentials. Тази стъпка е необходима за комуникация с AWS облака и за използване на AWS услуги.

6. Стартирайте програма seria_test.py, намерена в извлечената папка в стъпка 4.

7. Сега направете жестовете, за да образувате изречение и след това направете специалния жест (Дръжте пръстите и дланта си прави и в една линия с дланта, обърната от вас, и след това завъртете китката, като я обърнете надолу, така че сега дланта ви е обърнат към вас и върхът на пръстите ви е насочен надолу към краката ви.), за да сигнализира за завършване на изречението.

8. Продължавайте да проверявате терминала за полезна информация.

9. И слушайте преобразуваната реч, която се излъчва по високоговорителя.

Стъпка 5: Препратки

1.

2.

3.

4.