Автономен дрон с инфрачервена камера за подпомагане на реагиращите: 7 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:51

Според доклад на Световната здравна организация всяка година природните бедствия убиват около 90 000 души и засягат близо 160 милиона души по целия свят. Природните бедствия включват земетресения, цунами, изригвания на вулкани, свлачища, урагани, наводнения, горски пожари, топлинни вълни и суши. Времето е от съществено значение, тъй като шансът за оцеляване започва да намалява с всяка изминала минута. Първите служби за реагиране могат да имат проблеми с намирането на оцелели в къщи, които са повредени и излагат живота им на риск, докато ги търсят. Наличието на система, която може дистанционно да локализира хората, би увеличило значително скоростта, с която реагиращите са в състояние да ги евакуират от сградите. След като проучих други системи, открих, че някои компании са създали роботи на сушата или са създали дронове, които могат да проследяват хора, но функционират само извън сградите. Комбинацията от камери за дълбочина заедно със специални инфрачервени камери може да позволи точно проследяване на вътрешната зона и откриване на температурни промени, представляващи огън, хора и животни. Чрез внедряване на сензори с персонализиран алгоритъм на безпилотен летателен апарат (UAV), ще бъде възможно автономно да се проверяват къщите и да се идентифицира местоположението на хора и животни, за да се спасят възможно най -бързо.

Моля, гласувайте за мен в конкурса за оптика!

Стъпка 1: Изисквания за проектиране

След като проучих наличните технологии, обсъдих възможните решения с експерти по машинно зрение и първи отговор, за да намеря най -добрия метод за откриване на оцелели в опасни зони. Информацията по -долу изброява най -важните необходими функции и елементи на дизайна на системата.

• Обработка на зрението - Системата трябва да осигури бърза скорост на обработка за обмена на информация между сензорите и реакцията на изкуствения интелект (AI). Например системата трябва да може да открива стени и препятствия, за да ги избягва, като същевременно открива и хора, които са в опасност.
• Автономна - Системата трябва да може да функционира без въвеждане от потребител или оператор. Персоналът с минимален опит с UAV технологията трябва да може да натисне един или няколко бутона, за да може системата да започне да сканира сама.
• Обхват - Обхватът е разстоянието между системата и всички други обекти в близост. Системата трябва да може да открива коридори и входове от поне 5 метра разстояние. Идеалният минимален обхват е 0,25 м, така че да могат да бъдат открити близки обекти. Колкото по -голям е обхватът на откриване, толкова по -кратко е времето за откриване на оцелелите.
• Точност на навигация и откриване - Системата трябва да може да намери точно всички входове и да не удря никакви обекти, като същевременно открива внезапната поява на обекти. Системата трябва да може да намери разликата между хората и неживите обекти чрез различни сензори.
• Продължителност на работа - Системата трябва да може да продължи 10 минути или повече в зависимост от това колко стаи трябва да сканира.
• Скорост - трябва да може да сканира цялата сграда за по -малко от 10 минути.

Стъпка 2: Избор на оборудване: Метод на мобилност

Квадрокоптерът е избран пред кола с дистанционно управление, защото въпреки че квадрокоптерът е крехък, е по -лесно да се контролира и променя височината, за да се избегнат препятствия. Квадрокоптерът може да държи всички сензори и да ги стабилизира, така че да са по -точни, докато се движат в различни стаи. Витлата са изработени от въглеродни влакна, които са устойчиви на топлина. Сензорите се насочват далеч от стените, за да предотвратят инциденти.

• Сухопътно превозно средство с дистанционно управление

  • Плюсове - Може да се движи бързо, без да пада и не се влияе от температурата
  • Недостатъци - Превозното средство би поставило сензорите ниско към земята, покривайки по -малко площ наведнъж и може да бъде блокирано от препятствия

• Квадрокоптер

  • Плюсове - Вдига сензорите във въздуха, за да получи 360 -градусова гледка към околността
  • Недостатъци - Ако се натъкне на стена, може да падне и да не се възстанови

Стъпка 3: Избор на оборудване: Микроконтролери

Основните две изисквания към микроконтролерите са малки размери за намаляване на полезния товар на квадрокоптера и скорост за бърза обработка на въведената информация. Комбинацията от Rock64 и DJI Naza е перфектната комбинация от микроконтролери, тъй като Rock64 има достатъчна процесорна мощ за бързо откриване на хора и задържане на квадрокоптера да се блъсне в стени и препятствия. DJI Naza го комплиментира добре, като прави цялата стабилизация и контрол на двигателя, които Rock64 не може да направи. Микроконтролерите комуникират чрез сериен порт и позволяват потребителски контрол, ако е необходимо. Raspberry Pi би бил добра алтернатива, но тъй като Rock64 имаше по -добър процесор и по -добра свързаност със сензорите, изброени в следващата таблица, Pi не беше избран. Intel Edison и Pixhawk не бяха избрани поради липсата на поддръжка и свързаност.

• Малина Пи

  • Плюсове - Може да открива стени и неподвижни обекти
  • Недостатъци - бори се да следи данните от всички сензори, така че не вижда достатъчно бързо входовете. Не може да извежда сигнали на двигателя и няма никакви стабилизиращи сензори за квадрокоптера

• Rock64

  • Плюсове - Възможност за откриване на стени и входове с малко закъснение.
  • Недостатъци - Също така може да насочва системата в цялата къща, без да се сблъсква с нищо, използвайки всички сензори. Не може да изпраща сигнали достатъчно бързо, за да контролира скоростта на двигателя и няма никакви стабилизиращи сензори за квадрокоптера

• Intel Edison

  • Плюсове - Възможност за откриване на стени и входове с известно забавяне
  • Недостатъци - По -старата технология, много от сензорите ще се нуждаят от нови библиотеки, чието създаване отнема много време
• DJI Naza
  • Плюсове - Има вграден жироскоп, акселерометър и магнитометър, за да позволи на квадрокоптера да бъде стабилен във въздуха с микро регулиране на скоростта на двигателя
  • Недостатъци - Не може да се извърши никакъв вид обработка на зрението

• Pixhawk

  • Плюсове - Компактен и съвместим със сензори, използвани в проекта чрез използване на общ входен изход (GPIO)
  • Недостатъци - Не може да се извърши никакъв вид обработка на зрението

Стъпка 4: Избор на оборудване: Сензори

Използва се комбинация от няколко сензора, за да се получи цялата информация, необходима за намиране на хора в опасни зони. Избраните два основни сензора включват стерео инфрачервената камера, заедно със звуковата навигация и обхват (SONAR). След известно тестване реших да използвам камерата Realsense D435, защото тя е малка и е в състояние точно да проследява разстояния до 20 метра. Той работи с 90 кадъра в секунда, което позволява да се направят много измервания, преди да се вземе решение къде са обектите и в коя посока да се насочи квадрокоптерът. Сензорите SONAR са поставени отгоре и отдолу на системата, за да позволят на квадрокоптера да знае колко високо или ниско е позволено да се изкачи, преди да влезе в контакт с повърхността. Има и един, поставен с лице напред, за да позволи на системата да открива обекти като стъкло, които сензорът за стерео инфрачервена камера не може да открие. Хората и животните се откриват с помощта на алгоритми за разпознаване на движение и обекти. FLIR Camera ще бъде внедрена, за да помогне на стерео инфрачервената камера да проследи какво живее и какво не, за да увеличи ефективността на сканирането при неблагоприятни условия.

• Kinect V1

  • Плюсове - Може лесно да проследява 3D обекти на разстояние до 6 метра
  • Против -Има само 1 инфрачервен сензор и е твърде тежък за квадрокоптер

• Realsense D435

  • Плюсове - Има 2 инфрачервени камери и червена, зелена, синя, дълбочина (RGB -D) камера за високо прецизно откриване на 3D обекти на разстояние до 25 метра. Той е широк 6 см, което позволява лесно поставяне в квадрокоптер
  • Недостатъци - Може да се нагрее и може да се нуждае от охлаждащ вентилатор

• ЛИДАР

  • Плюсове - лъч, който може да проследява местоположения на разстояние до 40 метра в видимата си линия
  • Недостатъци - Топлината в околната среда може да повлияе на точността на измерването

• СОНАР

  • Плюсове - Лъч, който може да проследява 15 м разстояние, но може да открива прозрачни обекти като стъкло и акрил
  • Недостатъци - Само точки в една линия на видимост, но могат да бъдат преместени от квадрокоптера за сканиране

• Ултразвуков

  • Плюсове - Има обхват до 3 м и е много евтин
  • Против - Само точки в една линия на видимост и могат да бъдат извън обхвата на разпознаване на разстояние много лесно

• Камера FLIR

  • Плюсове - Може да прави дълбоки снимки чрез дим без смущения и може да открива живи хора чрез топлинни подписи
  • Против - Ако нещо пречи на сензорите, изчисленията на разстоянието могат да бъдат изчислени неправилно

• PIR сензор

  • Плюсове - Възможност за откриване на промени в температурата
  • Против - Не може да се определи къде е температурната разлика

Стъпка 5: Избор на оборудване: Софтуер

Използвах Realsense SDK заедно с роботната операционна система (ROS), за да създам безпроблемна интеграция между всички сензори с микроконтролера. SDK осигури постоянен поток от данни от облака от точки, който беше идеален за проследяване на всички обекти и границите на квадрокоптера. ROS ми помогна да изпратя всички сензорни данни към създадената от мен програма, която прилага изкуствен интелект. AI се състои от алгоритми за откриване на обекти и алгоритми за откриване на движение, които позволяват на квадрокоптера да намери движение в своята среда. Контролерът използва Pulse Width Modulation (PWM) за контрол на позицията на квадрокоптера.

• Freenect

  • Плюсове - Има по -ниско ниво на достъп за контрол на всичко
  • Против - Поддържа само Kinect V1

• SDK на Realsense

  • Плюсове - Може лесно да създава данни от облака от точки от информационния поток от камерата Realsense
  • Против - Поддържа само камера Realsense D435

• FLIR Linux драйвер

  • Плюсове - Може да извлича поток от данни от камерата FLIR
  • Против - Документацията е много ограничена

• Робот операционна система (ROS)

  • Плюсове - Операционна система, идеална за програмиране на функциите на камерата
  • Недостатъци - Трябва да се инсталира на бърза SD карта за ефективно събиране на данни

Стъпка 6: Развитие на системата

„Очите“на устройството са стерео инфрачервеният сензор Realsense D435, който е стандартен сензор, използван главно за роботизирани приложения като 3D картографиране (Фигура 1). Когато този сензор е инсталиран на квадрокоптера, инфрачервената камера може да води и да позволява на квадрокоптера да се движи автономно. Данните, генерирани от камерата, се наричат облак от точки, който се състои от поредица от точки в пространство, които имат информация за позицията на определен обект във визията на камерата. Този облак от точки може да бъде преобразуван в карта на дълбочината, която показва цветовете като различни дълбочини (Фигура 2). Червеното е по -далеч, докато синьото е по -близо на метри.

За да се гарантира, че тази система е безпроблемна, беше използвана операционна система с отворен код, наречена ROS, която обикновено се използва за роботи. Тя позволява да се извършва контрол на устройства на ниско ниво, както и достъп до всички сензори и компилиране на данни, които да се използват от други програми. ROS ще комуникира с Realsense SDK, което позволява да се включват и изключват различни камери, за да се проследи колко далеч са обектите от системата. Връзката между двете ми позволява да получа достъп до потока от данни от камерата, която създава облак от точки. Информацията за облака от точки може да определи къде границите и обектите са в рамките на 30 метра и точност от 2 см. Другите сензори като сензорите SONAR и вградените сензори в контролера DJI Naza позволяват по -точно позициониране на квадрокоптера. Моят софтуер използва AI алгоритми за достъп до облака от точки и чрез локализация, създаване на карта на цялото пространство около устройството. След като системата се стартира и започне да сканира, тя ще пътува през коридорите и ще намери входове към други помещения, където след това ще може да разгледа помещението, специално търсейки хора. Системата повтаря този процес, докато всички стаи не бъдат сканирани. Понастоящем квадрокоптерът може да лети за около 10 минути, което е достатъчно, за да извърши пълно размахване, но може да бъде подобрено с различни подредби на батерията. Първите отговори ще получават известия, когато хората бъдат забелязани, за да могат да съсредоточат усилията си върху избрани сгради.

Стъпка 7: Дискусия и заключение

След много изпитания бях създал работещ прототип, който отговаряше на изискванията, изброени в Таблица 1. С помощта на стерео инфрачервената камера Realsense D435 с SDK на Realsense беше създадена карта с дълбочина с висока разделителна способност на предната част на квадрокоптера. Първоначално имах някои проблеми с инфрачервената камера, която не можеше да открие определени обекти като стъкло. С добавянето на сензор SONAR успях да преодолея този проблем. Комбинацията от Rock64 и DJI Naza беше успешна, тъй като системата успя да стабилизира квадрокоптера, като същевременно беше в състояние да открива обекти и стени чрез персонализирани алгоритми за компютърно виждане, използващи OpenCV. Въпреки че настоящата система е функционална и отговаря на изискванията, тя може да се възползва от някои бъдещи прототипи.

Тази система може да бъде подобрена чрез използване на по -качествени камери, за да може по -точно да открива хора. Някои от по -скъпите камери FLIR имат способността да откриват топлинни сигнатури, което може да позволи по -точно откриване. Системата може също така да може да функционира в различни среди, като например стаи, които са прашни и пълни с дим. С новите технологии и пожароустойчивостта тази система може да бъде изпратена в горящи къщи и бързо да открие къде се намират хората, така че първите лица, които реагират, да могат да извлекат оцелелите от опасност.

Благодаря за четенето! Не забравяйте да гласувате за мен в конкурса за оптика!