Визуализиране на данни от Magicbit в AWS: 5 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:49

Данните, събрани от сензори, свързани към Magicbit, ще бъдат публикувани в ядрото на AWS IOT чрез MQTT, за да се визуализират графично в реално време. Ние използваме magicbit като борда за разработка в този проект, който е базиран на ESP32. Следователно всяка платка за разработка на ESP32 може да се използва в този проект.

Консумативи:

Magicbit

Стъпка 1: История

Този проект е свързан с вашето Magicbit устройство към AWS облака чрез MQTT. Данните, изпратени чрез MQTT, се анализират и визуализират в облака с помощта на AWS услуги. Така че нека започнем

Първо трябва да отидете в AWS Console и да влезете. За целите на обучението можете да използвате безплатната опция за ниво, предлагана от AWS. Това ще бъде достатъчно за този проект.

За да го опростя, ще разделя проекта на два раздела.

Това ще бъде първият етап от нашия проект. В края на първия етап данните ще се съхраняват в кофите S3.

Услугите на AWS, които ще се използват в първия раздел,

• Kinesis Firehose
• AWS лепило
• AWS S3

Първо отидете до услугата AWS Kinesis.

Изберете Kinesis Data Firehose, както е показано по -долу и щракнете върху Създаване

След това ще бъдете насочени към стъпка 1 на създаване на услуга Firehose. Въведете име на поток за доставка и изберете Direct Put или Други източници. Щракнете върху Напред.

В прозорец Стъпка 2 оставете всичко по подразбиране и щракнете върху Напред. След създаването на AWS Glue Service ще се върнем да редактираме тази стъпка.

В стъпка 3 изберете кофа S3, ако сте я създавали преди. В противен случай щракнете върху създаване и създаване на кофа. В секцията за префикс S3 използвайте dest/, а в префикса за грешка въведете грешка/. Можете да въведете всяко име за горните две. Но за улеснение ще продължим с общо име. Не забравяйте да създадете папка с име dest в кофата, която сте избрали. Щракнете върху Напред.

В стъпка 4 изберете минималния размер на буфера и интервала на буфера за пренос на данни в реално време. В раздела Разрешение изберете Създаване или актуализиране на IAM roleKinesisFirehoseServiceRole. Запазете всичко по подразбиране. Щракнете върху Напред.

В следващия раздел ще бъде показан преглед на направените от вас промени. Щракнете върху OK. Тогава ще имате работещ Kinesis Firehose.

Ако успешно сте създали услугата Firehose, ще получите нещо подобно.

Стъпка 2: Тестване на Firehose и S3 кофата

За да проверите дали firehose и S3 кофата работят правилно, изберете IOT core в конзолата. Ще бъдете насочени към страница като тази. Изберете Правило и създайте правило.

Какво е правило на AWS IOT?

Използва се за препращане на всички данни, получени от MQTT, към определена услуга. В този пример ще препратим към Kinesis Firehose.

Изберете име за правилото. Оставете изявлението за правилата и заявките както е. Това ни казва, че всичко, публикувано в iot/topic темата, ще бъде препратено на kinesis Firehose чрез това правило.

Под раздела Задаване на едно или повече действия щракнете върху добавяне на действие. Изберете Изпращане на съобщение до Amazon Kinesis Firehose Stream. Изберете конфигуриране. След това изберете името на firehose потока, създаден по -рано. След това щракнете върху Създаване на роля и създайте роля. Сега успешно сте създали роля в AWS.

Всяко съобщение, което публикувате, ще бъде препратено през кофите Kinesis Firehose към S3.

Имайте предвид, че Firehose изпраща данни, когато буферът му е запълнен или когато се достигне буферния интервал. Минималният буферен интервал е 60 сек.

Сега можем да преминем към втората част на проекта. Това ще бъде нашата диаграма на потока от данни.

Стъпка 3: Конфигуриране на лепило AWS

Защо имаме нужда от лепило AWS и AWS Athena?

Данните, съхранявани в кофите S3, не могат да се използват директно като вход за AWS Quicksight. Първо трябва да подредим данните под формата на таблици. За това използваме горните две услуги.

Отидете на AWS Glue. Изберете Crawler от страничната лента с инструменти. След това изберете Добавяне на робот.

В първата стъпка въведете име за вашия робот. Щракнете върху Напред. В следващата стъпка го оставете по подразбиране. В третата стъпка въведете пътя към избраната от вас кофа S3. Оставете следващия прозорец по подразбиране. В петия прозорец въведете всяка роля на IAM. В следващата стъпка изберете честотата на изпълнение на услугата.

Препоръчително е да изберете персонализиран в падащото меню и да изберете минимално време.

В следващата стъпка щракнете върху Добавяне на база данни и след това напред. Щракнете върху Готово.

Сега трябва да интегрираме нашия Kinesis Firehose с лепилото AWS, което създадохме.

Отидете на AWS Kinesis firehose, който създадохме, и щракнете върху редактиране.

Превъртете надолу до секцията Конвертиране на формат на запис и изберете Разрешено.

Изберете изходния формат като Apache Parquet. За останалите подробности попълнете данните за базата данни за лепило, която сте създали. Трябва да се създаде таблица в базата данни и името да се добави в този раздел. Щракнете върху Запазване.

Стъпка 4: Конфигуриране на AWS Athena

Изберете базата данни и таблицата с данни, която сте създали. В раздела за заявки този код трябва да бъде добавен.

table-name трябва да бъде заменено с действителното име на лепилната таблица, която сте създали.

Щракнете върху Изпълни заявка. Ако работи, данните, съхранявани в кофата на AWS S3, трябва да се показват като таблица с данни.

Сега сме готови да визуализираме получените данни.

Стъпка 5: Конфигуриране на QuickSight

Придвижете се до AWS Quicksight

Щракнете върху Нов анализ в горния десен ъгъл и след това върху Нов набор от данни.

Изберете Атина от списъка. Въведете произволно име на източник на данни в изскачащата карта.

Изберете базата данни за лепило от падащото меню и съответната таблица. Това ще ви отведе до тази страница.

Плъзнете и пуснете всяко поле от списъка с полета и изберете произволен визуален тип.

Сега можете да визуализирате всички данни, изпратени от вашия MagicBit, използвайки услугите на AWS !!!

Не забравяйте да разрешите достъп за бърз поглед за съответните кофи S3, за да визуализирате данните в тях.