Личен треньор по английски език - AI гласов асистент: 15 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:52

Този проект ще помогне на студентите, които се подготвят за всеки езиков изпит, където те могат да бъдат обучени чрез взаимодействие със Snips AI.

Стъпка 1: История

Защо създадохме това?

От моя личен опит съм виждал много хора да се подготвят за различните езикови тестове като GRE, TOEFL, IELTS. Те се нуждаят от човек, който да им помогне да запомнят и разберат думите. Като цяло, когато човек се подготвя за такива изпити, той се нуждае от човек, който да провери и поправи, ако направи грешка. С това решение можем да намалим работната сила, като наемем гласов асистент.

Стъпка 2: Изграждане на хардуер

На първо място, бих искал да благодаря на SNIPS и SEEED за подкрепата на този проект с невероятния комплект за разработка на гласово взаимодействие Snips (Базов комплект), наистина се почувствах информативен с помощта на тази дъска и успях да постигна някои от сложните проекти, интегрирани в печатна платка.

Можете да закупите базовия комплект Snips Voice Interaction Base за $ 115 и Snips Voice Interaction Satellite Kit за $ 85

Стъпка 3: Първи стъпки със SNIPS

Преди да започнете, нека прегледаме какво ви е необходимо.

• Raspberry Pi 3B/B+ (препоръчително) или Pi 2 Модел B (поддържа се).
• Micro-USB кабел и Micro-USB захранващ адаптер за Raspberry Pi.
• Micro SD карта (минимум 8 GB) - За да започнете, е необходима операционна система. Можете да изтеглите Raspbian Stretch и да използвате ръководствата за Mac OS, Linux и Windows на уебсайта на Raspberry Pi.
• USB клавиатура и мишка и външен HDMI монитор - препоръчваме също да имате под ръка USB клавиатура и мишка, както и HDMI монитор.
• Интернет връзка (Ethernet или WiFi)

Основен комплект Snips Voice Interaction

Комплектите за развитие на Snips Voice Interaction дават възможност на потребителите да стартират бързо разработването на гласови интерфейси и лесно да интегрират Snips AI Voice Platform с хардуер. На устройството се изпълняват фрагменти, което означава, че всичките ви гласови команди и данни се обработват локално, вместо да се изпращат в облака. Тази обработка на устройството води до напълно сигурен офлайн гласов асистент, който запазва личните ви данни лични, както трябва.

Базовият комплект за гласово взаимодействие ви позволява да стартирате цялата гласова платформа Snips AI. Захранван от Raspberry Pi 3 Model B+ и ReSpeaker 2-Mics Pi HAT, той може да действа като вашия домашен интелигентен високоговорител. Заедно с комплекта идва високоговорител, сензор за температура и влажност на Grove (SHT31), реле за Grove и дъска за окачване на стена или създаване на изящна стойка.

Но това не е всичко! Сателитният комплект за гласово взаимодействие ще разшири базовата ви станция, за да достигне до всяка стая във вашия дом и ще ви позволи да взаимодействате с хардуера въз основа на мястото, където издавате командите си!

Този комплект съдържа платка Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - реле, Grove - сензор за температура и влажност (SHT31), високоговорител 6 Ohm 2W, MicroSD карта, захранващ адаптер с Micro USB конектор, Grove кабел x 2, акрилна основа панел.

Стъпки за сглобяване: (Съдържание от SNIPS) Следващата снимка е прегледът на частите за сглобяване.

Тук монтажните части са монтирани на основния панел.

След това всички електронни части се монтират на платката.

След това монтирайте акрилното защитно покритие върху релето Grove.

Тези 2 части се използват за превръщането на комплекта в стойка за маса.

Накрая сте готови да играете със Snips.

Комплектът предлага два начина за поставяне. Тя може да бъде поставена върху хоризонтална повърхност като стойка или може да бъде окачена на стена с помощта на проводници или нишки. Моля, бъдете внимателни с релето, когато комплектът е включен, тъй като работното напрежение ще бъде високо.

ЗАБЕЛЕЖКА: Имаме и сателитен комплект Snips Voice Interaction, който има нула Raspberry Pi вместо Raspberry Pi 3B+

Стъпка 4: Взаимодействие с Snips AI (основен проект)

• Захранвайте комплекта чрез захранващия адаптер по подразбиране в комплекта или използвайте 5V-2A DC адаптер с Micro USB конектор.
• Следващата стъпка е инсталирането на помощника Snips в Raspberry Pi. За да спестите времето си за настройка, MicroSD картата в комплекта е обградена с пълно функционално изображение на системата, което означава, че помощникът на Snips е готов за вашите тригерни думи.
• Силно ви препоръчваме да изучите стъпка по стъпка ръководството за инсталиране, като посетите: https://docs.snips.ai/getting-started/quick-start… и научите инструмента sam в командния ред.
• Задействайте асистента, като кажете „Hey-snips“и следвайте командата:

Можете да намерите видеоклипа на примерния предварително инсталиран в базовия комплект Snips Voice Interaction по-долу.

Стъпка 5: Взаимодействие с Snips AI (Project AI)

Така че това е как работи. Първо, използваме горещата дума, за да инициираме разпознаване на Snips. Той разбира изречението с помощта на Snips NLU и определя намерението. След това, използвайки намерението, извлечете слотовете съответно. С кода за действие програмираме отговора на AI със съответните слотове.

Стъпка 6: Създаване на приложение и намерение

• Създайте асистент. В моя случай бях създал асистент с име JARVIS и с гореща дума JARVIS.
• Създайте персонализирано приложение или за начинаещи използвайте приложението от библиотеката.
• Бях създал Приложение с името Words
• Създайте намерение и започнете да обучавате AI. Това играе важна роля, за да направи вашия AI здрав. Обучете го с всички възможни входове.
• Създайте слот за идентифициране на думите. Поставете слота на очакваната фраза на изречението. За моя пример, зададената дума е името на слота и е маркирано със синьо.
• След като приключи, вашият персонализиран ASR ще бъде готов. Опитайте с входовете. Можем да намерим отговора отдясно, под асистента. Това ви дава извличане на сурова стойност, име на намерение и слот.
• Определете слотовете с още примери, дадени по -долу
• И накрая, разгърнете своя асистент, за да изпитате вашия персонализиран AI.

Стъпка 7: Запишете Raspbian на SD картата

Raspbian е Linux дистрибуция по избор, работеща на Raspberry Pi. В това ръководство ще използваме Lite версията, но може да се използва и настолната версия (която идва с графична среда).

• Изтеглете Etcher и го инсталирайте.
• Свържете четец на SD карти със SD картата вътре.
• Отворете Etcher и изберете от вашия твърд диск Raspberry Pi.img или.zip файл, който искате да запишете на SD картата
• Изберете SD картата, на която искате да запишете вашето изображение.
• Прегледайте избора си и кликнете върху „Flash!“за да започнете да записвате данни на SD картата

Свържете устройството към вашата мрежа

• Активирайте SSH достъпа, като добавите празен файл ssh, отново поставен в основата на зареждащия том на вашата SD карта.
• Поставете SD картата в Raspberry Pi. Той ще се зареди след около 20 секунди. Сега трябва да имате SSH достъп до вашия Raspberry Pi. По подразбиране неговото име на хост ще бъде raspberrypi.local. На вашия компютър отворете терминален прозорец и въведете следното:

ssh [email protected]

Паролата по подразбиране е малинова

Стъпка 8: Инсталирайте платформата Snips

Ако все още не сте инсталирали интерфейса на командния ред Sam на вашия компютър. Отворете терминален прозорец и въведете:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Намерете своя Raspberry Pi в мрежата, като изпълните:

Сам устройства

След това установете връзка с устройството. Ще бъдете подканени за потребителско име и парола на устройството (по подразбиране е pi и raspberry съответно):

сам се свързвам

Вече сме готови да инсталираме платформата Snips на Raspberry Pi. Въведете командата:

сам init

Стъпка 9: Конфигурирайте хардуера

Сам предоставя някои команди за лесно настройване и конфигуриране на хардуерни компоненти. В този раздел ще настроим високоговорител и микрофон. В зависимост от вашата настройка трябва да се извърши някаква персонализирана конфигурация.

сам настройка на аудио

Тествайте високоговорителя

За да проверите дали високоговорителят работи, стартирайте

Сам тест говорител

Ако всичко работи добре, трябва да чуете на говорителя си глас, който казва няколко думи. Конфигуриране на микрофона Можете да проверите дали вашият микрофон работи:

Сам тест микрофон

Ако приемем, че имате говорител, ако можете ясно да чуете това, което току -що казахте, можете да продължите без допълнителна конфигурация на микрофона.

След като се уверите, че вашата хардуерна настройка работи, сте готови да преминете към следващата стъпка, където ще разгърнете първия си помощник.

Стъпка 10: Импортиране на AI модел от конзолата

След като сте създали своя асистент от предишните стъпки, влезте в конзолата от прозореца на терминала, като изпълните:

сам вход

Ще бъдете помолени да въведете идентификационните си данни за Snips Console.

След това инсталирайте помощника:

Сам инсталирам помощник

Ако сте създали няколко помощници в конзолата, ще бъдете помолени да изберете кой да инсталирате от списък.

Стъпка 11: Манипулатор и код за действие

За да реагира Raspberry Pi, ще трябва да напишем някакъв код за обработка. Това е код, който се изпълнява, когато на платформата Snips се случи определено събитие, например когато е намерено намерение.

Имате различни методи за създаване на Handler в зависимост от функционирането.

Създайте папка на вашия компютър, в която искате да съхранявате кода на манипулатора. От прозореца на терминала преминете към тази директория и въведете:

npm init

Това ще създаде файл с име package.json, който съдържа описанието на вашия проект, зависимости и др. След това добавете зависимостта на пакета mqtt:

npm install mqtt --save

Сега създайте файл, наречен index.js, и поставете следния код, като замените променливата на името на хоста с името на хоста на вашия Raspberry Pi (ако се различава от raspberrypi по подразбиране):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (име на хост); client.on ('connect', function () {console.log ("[Snips Log] Свързан с брокер MQTT" + име на хост); client.subscribe ('hermes/#');}); client.on ('message', function (topic, message) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} иначе ако (topic.match (/hermes \/hotword / /.+ \/открит/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (съобщение));}}); функция onIntentDetected (намерение) {console.log ("[Дневник на фрагменти] Открит намерение:" + JSON.stringify (намерение)); } функция onHotwordDetected () {console.log ("[Открит е [Snips Log] Hotword"); } функция onListeningStateChanged (слушане) {console.log ("[Snips Log]" + (слушане? "Старт": "Стоп") + "слушане"); }

Изпълнете този код с помощта на Node:

възел index.js

Трябва да видите съобщение за успешна връзка с брокера Snips MQTT. Както преди, изпълнете гласово взаимодействие с вашия Raspberry Pi:

Хей Снипс, какво е времето в Ченай

Трябва да видите актуализацията на регистрационните файлове:

[Snips Log] Свързан с брокер на MQTT mqtt: //raspberrypi.local

[Snips Log] Открита Hotword [Snips Log] Започнете да слушате [Snips Log] Спрете да слушате [Snips Log] Открит намерение: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" какво е времето в ченай "," intent ": {" intentName ":" searchWeatherForecast "," вероятност ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "weather_locality"}]}

Стъпка 12: Отстраняване на неизправности

Изтрийте предишния помощник, ако има такъв

$ sudo rm -rf/usr/share/snips/assistant/

За да промените директорията на Асистент

cd/var/lib/snips/skills/

За клониране на съдържанието на репо до local

git клонинг

За да стартирате скрипта setup.sh

./setup.sh

Активирайте виртуалната среда

източник venv/bin/активира

Изпълнете кода за действие

./action-.py

За да се даде разрешение на скрипта на Python

chmod +x action-.py

Стъпка 13: Приложение

• За този проект бях използвал защитен корпус с IP
• Първо направих необходимите дупки за монтиране на веригата и слотовете за захранващ кабел и HDMI кабел.
• След това поставих целия Raspberry Pi вътре в кутията и го завинтвам здраво.
• Направих малък отвор за високоговорителя и микрофона и го покрих с малко парче акрилен лист.
• Свържете здраво високоговорителя към шапката ReSpeaker.
• И накрая, всички винтове са здраво монтирани и захранващият кабел е поставен през слот.
• Ето как изглежда AI най -накрая: D

Стъпка 14: Работа на AI

Можете да намерите данните, които се наблюдават с помощта на Snips-watch

Сега е време за шоу. Започнах да правя с прости поздрави AI. Вижте как работи.

AI на Trainer е програмиран за ограничени думи. Това може да се разширява с малки модификации. Това помага на учениците да запомнят значението по -бързо от традиционния метод.

Любезно внимание: Този проект е обучен за приблизително 25 думи. Тя може да бъде допълнително разширена, като се правят малки корекции в кода за действие.

Можете да намерите скриптовете Action в моето хранилище на Github прикачени.

Project Repo за поздрави AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo за Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Връзка към моето приложение:

Цялата настройка струва около 115 долара, които могат да бъдат закупени от SNIPS и това решение е много евтино и ефективно в сравнение с традиционните методи. Приблизително повече от 100 000 теста бяха направени в Индия и Този продукт ще бъде най -добрата добавка за тези, които приемат GRE.

Стискайте палци нагоре, ако наистина ви е помогнало и проследете канала ми за интересни проекти.:) Споделете това видео, ако ви харесва. Радвам се, че сте се абонирали: https://console.snips.ai/store/en/skill_xBKlxnE5K… Благодаря за четенето!