3D модели от кадри с дрон на фрийстайл: 4 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:54

Дроновата видеография наистина избухна през последните години и има огромен брой талантливи пилоти, които правят най-акробатичните видеоклипове, използвайки своите квадрокоптери и слушалки от първо лице. Брат ми Джони FPV е един от тези пилоти, затова исках да видя дали е възможно да се реконструират средите, в които той лети от своите кадри в свободен стил.

Стабилните, заключени с интересни кадри дронове със сигурност могат да създадат 3D модел с висока точност, както е обсъдено тук, но какво се случва, когато кадрите са толкова френетични като това?

Стъпка 1: Предварително обработете вашето видео

След като имате някои въздушни кадри, е необходима предварителна обработка. Използвам Adobe Media Encoder, но почти всеки софтуер за редактиране на видео трябва да може да се погрижи за това.

Избрах кратък клип (~ 11 секунди) и промених честотата на кадрите от 29,77 на 30 кадъра в секунда и запазих новия видеоклип в желаната от мен папка.

След това използвам FFMPEG за експортиране на всеки друг кадър от видеоклипа като jpg. Ако не сте запознати, FFMPEG е набор от инструменти на командния ред, който позволява обработка и конвертиране на почти ВСИЧКИ вид аудио или видео, за което се сетите. Има платен софтуер, който ще ви позволи да правите много от същите неща, но ако сте готови да работите малко с командния ред, това може да бъде невероятно мощен инструмент.

Добро ръководство за инсталиране на FFMPEG е достъпно тук.

Ще искате да промените директорията си на местоположението на вашия файл с изображение (cd) и след това да използвате следния скрипт:

ffmpeg -i (име на вашия видео файл) -vf fps = 15 exp%03d.jpg

Промяната на fps естествено ще промени броя на експортираните изображения в секунда от видео. Това се връща към това защо промених fps на видеото от 29,97 на 30- улавянето на 15 изображения в секунда сега просто ще вземе всеки друг кадър от видеото. Ако искате всеки шести кадър, бихте го настроили на 5 кадъра в секунда … и т.н.

"exp %03d.jpg" ще доведе до запазване на изображенията като exp000.jpg, където изображенията са номерирани последователно с три цифри- ако имате по-дълъг видеоклип и искате да експортирате повече от 999 изображения, писането %04d би било номер всички изображения с четири цифри; можете да експортирате до 9999.

(забележка: "ffmpeg -i (име на вашия видео файл) -r (framerate) -f image2 exp%03d.jpg" също работи за извличане на кадри от видео, но по някаква причина получавам по -добри облаци от точки от изображения, обработени в предишния метод)

Стъпка 2: Импортирайте снимки и изградете облак от точки

След като имате набор от изображения, можете да започнете нормален работен процес на фотограметрията. Използвам Agisoft PhotoScanPro, но други програми като Autodesk Remake вероятно биха били еднакво (ако не и повече) успешни.

След като импортирах снимките си, зададох и калибрирането на камерата на Fisheye, тъй като първоначално тези кадри идват от GoPro. Няколко минути обработка по -късно и започва да се появява 3D информация! Облакът от точки може да не изглежда много и се състои само от няколко хиляди точки, така че все още не е достатъчно за изчисляване на мрежа. От това изградих плътен облак от точки и сега имам около 200 000 точки за работа.

Стъпка 3: Изградете мрежа

Сега, когато имаме всички тези точки за работа, може да се изчисли мрежа. Използвам сравнително висок брой лица и позволявам интерполация- това ще направи мрежата малко „размита“, но в крайна сметка ще има много по-малко липсващи повърхности и дупки в мрежата. След няколко минути обработка започваме да имаме резултат, наподобяващ архитектурата, с която дронът лети!

Стъпка 4: Текстура и крайни резултати

Photoscan също така ви позволява да изградите текстура за вашата мрежа от входните изображения, което дава окончателното докосване на детайлите за модела. Имам смесени чувства относно резултатите от този процес (има много по -добри начини за създаване на точен модел), но като цяло мисля, че е невероятно, че всеки модел изобщо може да излезе от такива глупави кадри!

Допълнителни насоки, които бих могъл да приема за този проект, биха могли да бъдат сгъстяване на повърхностите във водонепроницаеми модели за 3D печат, или те биха могли да станат част от сюрреалистичен пейзаж на VR.