Квантиметрична обработка на изображения: 5 стъпки

2024 Автор: John Day | [email protected]. Последно модифициран: 2024-01-30 07:53

(Горната фигура илюстрира сравнението на съществуващия метод за обработка на изображението с квантометрична обработка на изображения. Обърнете внимание на подобрения резултат. Горе вдясно изображението показва странни артефакти, произтичащи от неправилно предположение, че картините измерват нещо като светлина. Долното дясно изображение показва по -добър резултат, като прави същото количествено).

В тази инструкция ще научите как да подобрите значително ефективността на съществуващите системи за изобразяване или зрение, като използвате много проста концепция: Квантометрично разпознаване на изображения

Квантометричната обработка на изображения значително се подобрява при някое от следните:

• Съществуваща обработка на изображения, като например размазване на изображението;
• Машинно обучение, компютърно зрение и разпознаване на образци;
• Носещо разпознаване на лица (вижте https://wearcam.org/vmp.pdf), зрение на базата на AI и HI и др.

Основната идея е изображенията да се обработват предварително и след обработка, както следва:

1. Разширете динамичния диапазон на изображението или изображенията;
2. Обработвайте изображението или изображенията както обикновено;
3. Компресирайте динамичния диапазон на изображението или изображенията (т.е. отменете стъпка 1).

В предишни Instructables преподавах някои аспекти на HDR (High Dynamic Range) отчитане и квантометрично измерване, напр. линейност, суперпозиция и др.

Нека сега използваме тези знания.

Вземете всеки съществуващ процес, който искате да използвате. Примерът, който ще покажа, е размазване на изображението, но можете да го използвате и за почти всичко друго.

Стъпка 1: Разширете динамичния диапазон на вашето изображение или изображения

(Фигури, адаптирани от „Интелигентна обработка на изображения“, John Wiley and Sons Interscience Series, Steve Mann, ноември 2001 г.)

Първата стъпка е да се разшири динамичният диапазон на входното изображение.

В идеалния случай първо трябва да определите функцията за реакция на камерата, f и след това да приложите обратната реакция, f обратна, към изображението.

Типичните камери са компресиращи в динамичен диапазон, така че обикновено искаме да приложим разширена функция.

Ако не знаете функцията за отговор, започнете, като опитате нещо просто, като например зареждане на изображението в масив с изображения, прехвърляне на променливите към тип данни като (float) или (double) и повишаване на стойността на всеки пиксел до степен, като например, квадратиране на всяка стойност на пиксел.

Обосновка:

Защо правим това?

Отговорът е, че повечето камери компресират своя динамичен диапазон. Причината да го направят е, че повечето дисплейни медии разширяват динамичния диапазон. Това е съвсем случайно: количеството светлина, излъчвано от телевизионния дисплей с електронна тръба, е приблизително равно на напрежението, повишено до степен 2.22, така че когато входното напрежение на видеото е около половината, количеството излъчена светлина е много по -малко от половината.

Фотографските носители също са с разширен динамичен диапазон. Например, фотографска „неутрална“сива карта излъчва 18% от падащата светлина (не 50% от падащата светлина). Смята се, че тази много светлина (18%) е в средата на отговора. Както можете да видите, ако погледнем графиката на изхода като функция на входа, медиите за дисплей се държат така, сякаш са идеални линейни дисплеи, които съдържат разширител на динамичен обхват преди идеалния линеен отговор.

В горната фигура по -горе можете да видите дисплея, поставен с пунктирана линия, и това е еквивалентно на наличието на разширител преди идеалния линеен дисплей.

Тъй като дисплеите по своята същност са експанзивни, камерите трябва да бъдат проектирани да бъдат компресиращи, така че изображенията да изглеждат добре на съществуващите дисплеи.

Навремето, когато имаше хиляди дисплеи на телевизионни приемници и само една или две излъчващи станции (например само една или две телевизионни камери), беше по -лесно да се постави компресираща нелинейност в камерата, отколкото да се припомнят всички телевизори и поставете по един във всеки телевизионен приемник.

Случайно това помогна и за намаляване на шума. В аудио наричаме това „Dolby“(„сравняване“) и издаваме патент за него. Във видеото това се случи съвсем случайно. Стокъм предложи да вземем логаритъма на изображенията, преди да ги обработим, и след това да вземем антилога. Това, което той не осъзнава, е, че повечето камери и дисплеи вече правят това съвсем случайно. Вместо това аз предложих да направим точно обратното на това, което предложи Стокъм. (Вижте „Интелигентна обработка на изображения“, John Wiley and Sons Interscience Series, стр. 109-111.)

На долната снимка виждате предложената антихомоморфна (квантометрична) обработка на изображения, където добавихме стъпката на разширяване и компресиране на динамичния диапазон.

Стъпка 2: Обработете изображенията или изпълнете компютърното виждане, машинно обучение или други подобни

Втората стъпка, след разширяване на динамичния диапазон, е обработката на изображенията.

В моя случай просто извърших деконволюция на изображението, с функцията за размазване, т.е. размазване на изображението, както е известно в предшестващото състояние на техниката.

Има две широки категории квантометрично измерване на изображения:

• Помага на хората да виждат;
• Помощни машини да видят.

Ако се опитваме да помогнем на хората да видят (което е примерът, който показвам тук), все още не сме приключили: трябва да върнем обработения резултат обратно в пространството на изображенията.

Ако помагаме на машините да виждат (например разпознаване на лица), сега сме готови (няма нужда да продължавате към стъпка 3).

Стъпка 3: Компресирайте отново динамичния диапазон на резултата

Когато работим в разширен динамичен диапазон, се казва, че сме в „светлинно пространство“(кванметрично пространство за изображения).

В края на Стъпка 2 сме в светлинно пространство и трябва да се върнем в пространството на изображенията.

Така че тази стъпка 3 е за връщане в пространството на изображенията.

За да изпълните стъпка 3, просто компресирайте динамичния диапазон на изхода на стъпка 2.

Ако знаете функцията за реакция на камерата, просто я приложете, за да получите резултата, f (p (q)).

Ако не знаете функцията за реакция на камерата, просто направете добро предположение.

Ако сте на квадрат пикселите на изображението в стъпка 1, сега е моментът да вземете квадратния корен на всеки пиксел на изображението, за да се върнете към предположението си относно пространството на изображенията.

Стъпка 4: Може да искате да опитате някои други варианти

Размазването е само един от многото възможни примери. Помислете например за комбинирането на множество експозиции.

Направете всякакви две снимки, като тези, които имам по -горе. Едната е взета през деня, а другата през нощта.

Комбинирайте ги, за да направите картина, подобна на здрач.

Ако ги сравните средно заедно, това изглежда като боклук. Опитайте това сами!

Но ако първо разширите динамичния диапазон на всяко изображение, след това ги добавите и след това компресирате динамичния диапазон на сумата, изглежда страхотно.

Сравнете обработката на изображения (добавяне на изображения) с квантометрична обработка на изображения (разширяване, добавяне и след това компресиране).

Можете да изтеглите моя код и още примерни материали от тук:

Стъпка 5: Продължаване: Сега опитайте с HDR композитни изображения

(Изображение по -горе: HDR заваръчната каска използва квантометрична обработка на изображения за наслагвания с разширена реалност. Вижте Slashgear 2012, 12 септември.)

В обобщение:

заснемете изображение и приложете следните стъпки:

1. разширяване на динамичния диапазон на изображението;
2. обработва изображението;
3. компресирайте динамичния диапазон на резултата.

И ако искате още по -добър резултат, опитайте следното:

заснемете множество изображения с различна експонация;

1. разширяване на динамичния обхват в светлинното пространство, съгласно моята предишна инструкция за HDR;
2. обработва полученото количествено изображение, q, в светлинно пространство;
3. компресирайте динамичния диапазон чрез тонална карта.

Забавлявайте се и моля, щракнете върху „Успях“и публикувайте резултатите си и ще се радвам да коментирате или да предоставите някаква конструктивна помощ.