Част 2. ThinkBioT модел с Google AutoML: 8 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:51

ThinkBioT е проектиран да бъде "Plug and Play", с Edge TPU съвместими модели TensorFlow Lite.

В тази документация ще разгледаме създаването на спектрограми, форматирането на вашите данни и използването на Google AutoML.

Кодът в този урок ще бъде написан на bash, така че ще бъде съвместим с много платформи.

Зависимости

• Преди да започнете обаче, ще трябва да инсталирате Sox аудио програма от командния ред, съвместима с устройства с Windows, Mac и Linux.
• Ако сте на устройство с Windows, най -лесният начин да стартирате bash скриптове е чрез Git, така че бих препоръчал и изтеглянето и инсталирането на това като полезно в много отношения,
• За редактиране на код или използвайте любимия си редактор или инсталирайте NotePad ++ за Windows или Atom за други операционни системи.

** Ако имате съществуващ модел TensorFlow или искате да опитате трансферно обучение със съществуващ модел, моля, вижте документацията на Google Coral.

Стъпка 1: Настройте Google Cloud Storage Bucket

1. Влезте в акаунта си в Gmail (или създайте такъв, ако нямате акаунт в Google)

2. Отидете на страницата за избор на проект и направете нов проект за вас с модели и файлове със спектрограма. Ще трябва да активирате фактурирането, за да напреднете по -нататък.

3. Посетете https://cloud.google.com/storage/ и натиснете бутона за създаване на кофа в горната част на страницата.

4. Въведете желаното име на кофата и създайте кофата, приемаща настройките по подразбиране.

Стъпка 2: Форматирайте данните си и създайте CSV на набор от данни

Разработих полезен скрипт за създаване на вашия файл с набор от данни.csv, необходим за създаването на вашия модел. Файлът с набор от данни свързва изображенията във вашата кофа с техните етикети в набора от данни.

1. Изтеглете хранилището ThinkBioT от GitHub и

2. Копирайте файла tbt_spect_example.sh от директорията Tools в нова папка на вашия работен плот.

3. Добавете аудио файловете, които бихте искали да използвате във вашия модел, като ги поставите в папки, които имат своя етикет (т.е. това, което искате да бъдат сортирани. Например, ако искате да идентифицирате кучета или котки, можете да имате папка куче, със звуци на лай ИЛИ папка с име котка с котешки звуци и др.

4. Отворете tbt_spect_example.sh с Notepad ++ и заменете „yourbucknamename“в ред 54 с името на вашата Google Storage Bucket. Например, ако вашата кофа се нарича myModelBucket, редът ще бъде променен на

bucket = "gs: // myModelBucket/спектро-данни/"

5. Пуснете кода, като въведете следното във вашия Bash терминал, кодът ще се стартира и ще създаде вашите етикети csv файл и директория, наречена спектро-данни на вашия работен плот с получените спектрограми.

sh tbt_spect_example.sh

Стъпка 3: Качете вашите спектрограми във вашата кофа

Има няколко начина за качване в Google Storage, най -лесният е да направите директно зареждане на папка;

1. Щракнете върху името на кофата на страницата си в Google Storage.

2. Изберете бутона „UPLOAD FOLDER“и изберете директорията „spectro-data/“, създадена в последната стъпка.

ИЛИ

2. Ако имате голямо количество файлове, можете ръчно да създадете директорията „спектро-данни/“, като изберете „CREATE FOLDER“, след това отидете в папката и изберете „UPLOAD FILES“. Това може да бъде чудесен вариант за големи масиви от данни, тъй като можете да качвате спектрограмите в раздели, дори като използвате няколко компютъра, за да увеличите скоростта на качване.

ИЛИ

2. Ако сте напреднал потребител, можете да качвате и чрез Google Cloud Shell;

gsutil cp спектро-данни/* gs: // your-bucket-name/спектро-данни/

Сега трябва да имате кофа, пълна с доста красиви спектрограми!

Стъпка 4: Качете вашия CSV набор от данни

Сега трябва да качим файла model-labels.csv във вашата директория "спектро-данни/" в Google Storage, той по същество е същият като последната стъпка, просто качвате един файл вместо много.

1. Щракнете върху името на кофата на страницата си в Google Storage.

2. Изберете бутона „ИЗТЕГЛЯНЕ НА ФАЙЛ и изберете вашия модел-labels.csv файл, който сте създали по-рано.

Стъпка 5: Създайте набор от данни

1. Първо ще трябва да намерите API на AutoML VIsion, може да е малко сложно! Най -лесният начин е да потърсите „automl vision“в лентата за търсене на вашето хранилище в Google Cloud (на снимката).

2. След като щракнете върху връзката към API, ще трябва да активирате API.

3. Сега ще бъдете в таблото за управление на AutoML Vision (на снимката) щракнете върху бутона за нов набор от данни и изберете Единичен етикет и опцията „Избор на CSV файл“. След това ще включите връзката към вашия модел model-labels.csv във вашата кофа за съхранение. Ако сте следвали този урок, той ще бъде както по -долу

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. След това натиснете продължи, за да създадете своя набор от данни. Създаването може да отнеме известно време.

Стъпка 6: Създайте своя AutoML модел

След като получите имейла си, който ви уведомява, че вашият набор от данни е създаден, вие сте готови да създадете своя нов модел.

1. Натиснете бутона TRAIN
2. Изберете тип модел: Оценки за латентност на ръба и модела: Edge TPU и оставете другите опции първоначално по подразбиране, трудно може да искате да експериментирате, а след това по -късно.
3. Сега вашият модел ще тренира, ще отнеме известно време и ще получите имейл, когато е готов за изтегляне.

Забележка: Ако бутонът за тренировка не е наличен, може да имате проблеми с вашия набор от данни. Ако имате по -малко от 10 от всеки клас (етикет), системата няма да ви позволи да тренирате модел, така че може да се наложи да добавите допълнителни изображения. Струва си да разгледате Google AutoML Video, ако имате нужда от разяснения.

Стъпка 7: Тествайте своя модел

След като получите имейла си за завършване на модела, щракнете върху връзката, за да се върнете към API на AutoML Vision.

1. Сега ще можете да видите вашите резултати и матрицата на объркване за вашия модел.

2. Следващата стъпка е да тествате своя модел, отидете на „TEST & USE“или „PREDICT“странно изглежда, че има 2 потребителски GUI, и двете от които съм изобразил, но и двете опции имат една и съща функционалност.

3. Сега можете да качите тестова спектрограма. За да направите единична спектрограма, можете да използвате програмата tbt_make_one_spect.sh от ThinkBioT Github. Просто го пуснете в папка с wav, който искате да преобразувате в спектрограма, отворете прозорец на Git Bash (или терминал) и използвайте кода по -долу, замествайки името на вашия файл.

sh tbt_make_one_spect.sh yourWavName.wav

4. Сега просто качете спектрограмата и проверете резултата си!

Стъпка 8: Инсталирайте вашия модел в ThinkBioT

За да използвате новия си лъскав модел, просто пуснете модела и txt файла в папката CModel;

pi> ThinkBioT> ClassProcess> CModel

Вече сте готови да използвате ThinkBioT:)

** NB ** Ако използвате вашия модел извън рамката на ThinkBioT, ще трябва да редактирате документа си с етикет като добавяне на числа в началото на всеки ред, тъй като най-новата вградена функция за четене на етикети на tflite предполага, че те са там. Написах персонализирана функция в рамката ThinkBioT класифицирайте_спект.пи като работа, около която можете да използвате в собствения си код:)

def ReadLabelFile (file_path):

counter = 0 с отворен (file_path, 'r', encoding = 'utf-8') като f: линии = f.readlines () ret = {} за ред в редове: ret [int (counter)] = line.strip () брояч = брояч + 1 връщане ret