AI с Grove Zero и Codecraft (Scratch 3.0): 5 стъпки (със снимки)

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:50

В тази статия ще изградим три проекта, използващи AI функции на Codecraft, среда за графично програмиране, базирана на Scratch 3.0. Codecraft е разработен и поддържан от образованието TinkerGen и е безплатен за използване.

AI и неговото подмножество, машинното обучение, се превърна в неразделна част от живота ни през последните 10 години. Училищните програми в много страни включват изкуствен интелект и знания за машинно обучение, но за обикновен учител може да е трудно да създаде учебни материали за преподаване на тази тема без подходящи инструменти. Използването на библиотеки за машинно обучение, дори и най-удобните за потребителя, като Keras, за създаване на приложение, с което учениците могат да взаимодействат, може да отнеме много време и е обезсърчително. Тук Codecraft може да помогне - той има богат набор от приложения за машинно обучение, които учителят може да използва, за да обясни и демонстрира концепции, свързани с изкуствения интелект. Нека да ги разгледаме!

Стъпка 1: Общ преглед на разширенията на AI

Отворете онлайн редактора на Codecraft на адрес

Кликнете върху Сценичен режим и след това към бутона Добавяне на разширение в долната част на раздела за навигация на блокове.

Ще видите, че има три налични разширения за AI:

- Когнитивни услуги --- модели за машинно обучение за обработка на видео емисия и звук на живо

- Учебна машина --- може да се използва за обучение на класификационен модел със снимки, направени с вашия фотоапарат

- Превод --- използва машинно обучение за превод

В тази статия ще се съсредоточим върху когнитивните услуги и използването на тези функции за контрол на хардуера на Grove Zero. Безжичната комуникация между компютъра и Grove Zero все още се работи и ще актуализирам статията веднага щом стане достъпна. Засега ще използваме кабелна връзка за предаване на съобщенията между модула Grove Zero и компютъра.

Стъпка 2: Играйте на космическите нашественици с носа си

За първата задача ще използваме само сценичен режим без никакъв хардуер. Codecraft има множество примери за започване на програмиране - един от тези примери е програмирането на класическа игра на Space Invaders в режим Codecraft Stage. Ще разширим този пример и ще добавим възможността да контролирате боеца в играта с носа си, като използвате когнитивни услуги.

Щракнете върху бутона Примери. Пример за Open SpaceInvaders. Трябва само да променим частта, свързана с движението. За това ще получим x-позиция на носа на лицето, открита във видео емисия на живо, запазете я в променлива поз. Тогава, ако стойността на pos е по -голяма от 50, ние преместваме нашия космически боец надясно, ако е по -малко от -50, тогава преместваме изтребителя наляво. Това е то. Опитай го! Ако смятате, че скоростта на движение на изтребителя е твърде бърза, можете да промените промяната x чрез … блок на по -малък брой.

След това ще разширим тази функционалност, за да контролираме автомобила Grove Zero и да го накараме да се движи напред/назад/наляво/надясно.

Стъпка 3: Контролирайте Grove Zero Car с Codecraft AI

Нека започнем с писането на код в сценичен режим - това е частта, която отговаря за анализирането на видео емисията и извеждането на команди към Grove Zero.

1) Изпълняваме кода в първата екранна снимка, докато не се натисне бутон за интервал. След това изпращаме команда за спиране.

2) Вътре повторете до блок, проверяваме x-poz и y-poz на носа на открито лице и ги запазваме в съответните променливи.

3) Ако абсолютната стойност на x-pos е по-малка от 21 (което означава, че е между -20 и 20, така че близо до центъра на изображението), тогава продължаваме да проверяваме y-pos, за да определим дали колата трябва да върви напред или назад

4) В противен случай проверяваме дали колата трябва да тръгне наляво или надясно

Сега нека да преминем към раздела Устройство и да напишем кратък код за автомобил Grove Zero. Ще използваме блок Когато получавам, който отговаря за получаването на вътрешни команди за излъчване. Да не се бърка с Когато радиото получава, което се използва за Bluetooth комуникация. Консултирайте се с екранната снимка за подробности, кодът е сравнително прост.

Свържете сглобената си кола Grove Zero към компютър и натиснете бутона Connect в Codecraft. Превключете към режим за отстраняване на грешки онлайн - това ще позволи на Grove Mainboard да получава команди за излъчване по кабела. След това преминете към сценичен режим и натиснете флага. Колата трябва да се движи сега, опитайте се да я контролирате с носа си:)

Стъпка 4: Следвайте реда с гласов контрол

В комплекта за автомобили Grove Zero има карта, която първоначално е предназначена за игра на мини играта Collect the Coins. Можем да го пренастроим за използване на разпознаване на глас в Codecraft, за да даваме команди на колата по кой път да включим кръстовището.

Частта от сценичния режим тук е по -малко сложна, отколкото в предишния пример. Това, което правим е:

1) При получаване на излъчващо съобщение select_direction, разпознайте речевия фрагмент и го запишете в променлива резултат.

2) Продължавайте да разпознавате, докато резултатът НЕ е неизвестен.

3) Сравнете резултата с два низа - "ляво" и "дясно". Излъчете съответното съобщение до автомобила Grove Zero.

Кодът, работещ в автомобила Grove Zero, е малко по -сложен този път, но по същество следва тази логика:

1) При стартиране изпратете съобщение напред

2) След като получите съобщение за препращане, започнете да следвате реда. Ако линията е загубена, спрете двигателите и излъчете

select_direction. Тук кодът в стадийния режим се изпълнява.

3) Ако съобщението е останало, започнете да завивате наляво и след това се върнете към режим следване на ред.

Ако съобщението надясно е получено, започнете да завивате надясно и след това се върнете към режим следване на ред.

Стъпка 5: Зад кулисите

Моделите на невронните мрежи, използвани в горното приложение, се изпълняват локално във вашия браузър, което има няколко различни предимства в сравнение с изпращането на данните в облака за обработка: по -малка латентност и по -добра поверителност. В когнитивните услуги се използват редица невронни мрежи - Класификация на звука за речеви команди (, Откриване на ориентири за лице, Разпознаване на изражение на лицето и Оценка на възрастта.

В тази статия изследвахме основната функционалност на едно от разширенията на Codecraft AI - когнитивни услуги. Има няколко начина, по които можете да надградите тези примери, за да направите още по -забавни и вълнуващи приложения!

Ако решите да опитате, било то с Grove Zero или просто като използвате Stage mode, споделете в коментарите по -долу. За повече информация относно серията Grove Zero, Codecraft и друг хардуер за производители и STEM преподаватели, посетете нашия уебсайт, TinkerGen създаде Kickstarter кампания за MARK (Make A Robot Kit), робот комплект за обучение на кодиране, роботика, AI!