Kinedioskop: experimentální technika, která fotografiím přidá efekt hloubky

Kinedioskop, jehož název je odvozen ze slov kínēma (animovaný), diastáseis (rozměrný) a scope (záběr), je technika, kterou jsme vymysleli pro vytvoření animovaných hloubkových efektů na statických fotografiích. Pro vytvoření požadovaného efektu je potřeba víceméně převrátit technologii fotogrammetrie.

Fotogrammetrie je věda, která se zabývá měřením rozměrů z fotografií, a to zejména pro určování přesné polohy bodů na povrchu.

Ve fotogrammetrii se pro výpočet 3D modelu používá více fotografií. Pro vytvoření tohoto modelu algoritmus definuje umístění kamery každé fotografie, směr a ohniskovou vzdálenost. Tato informace se používá i v kinediskopu za účelem dokonalého sladění fotografií s perspektivou 3D modelu. Jakmile se model a záběr fotoaparátu shodují, je možné vytvořit hloubku a maskovací efekty.

V tomto návodu používáme ukázkové fotografie a 3D model ze dvou různých zdrojů. Prvním jsou snímky a záběry z fotografování pro redakci módního časopisu, druhým pak umělecké dílo zobrazující prostředí Miur Woods, které bylo vytvořeno v prostorách Autodesk Pier 9.

Krok 1: Fotogrammetrie

O fotogrammetrii můžete čerpat informace z mnoha různých zdrojů, ať už jde o samotný proces nebo nastavení fotoaparátu.

Nám se osvědčil například tento návod z Instructables.com.

Krok 2: Autodesk ReCap

Fotogrammetrický 3D model jsme se nejdřív snažili vytvořit pomocí programu VisualSFM. Aplikace dokázala poskytnout slušnou rekonstrukci obrazu, kterou jsme pak použitím MeshLabu propojili do mračna bodů. Výsledek však nebyl takový, jaký bychom si představovali (tyto programy jsou ostatně zadarmo), a tak musel být přepracován v jiném modelářském softwaru.

Vybrali jsme Point Cloud Library (PCL) a zdálo se, že bude lepší volbou. Přepracovaný model vypadal dobře, ale program bohužel neustále hlásil error a padal.
Třetím softwarem, který jsme vyzkoušeli, byl Autodesk ReCap. Ten byl zpočátku navržen pro zaznamenávání mračna bodů při skenování lidarovou technikou, nyní ale obsahuje řadů nových funkcí. Jedna z nich je určená pro fotogrammetrii – 3D rekonstrukce obrazu zde probíhá na cloudové bázi (což poskytuje značné výhody) a taktéž obsahuje vychytávku, která umí z mračna bodů vytvořit síť. A co víc, výsledek je ve skvělé kvalitě.

Krok 3: Příprava souborů

Jakmile je hotová 3D rekonstrukce, můžete přejít do složky nazvané A360 a odsud stáhnout soubor s koncovkou rcp. Ten obsahuje veškeré informace o pozici fotoaparátu.

Krok 4: Další software

Teď přichází na řadu program pro vytváření efektů a rozšíření fotek. Zdrojový kód a vzorový příklad můžete stáhnout z GitHubu, pokud s ním však chcete pracovat, musíte umět jak s OpenFrameworks (ve kterém je vytvořen), tak s C++.

Konkrétní světelné efekty, které jsme použili my, jsou z rozšíření nazvaného MultiShadowExample (autorem je Yasuhiro Hoshino) – některé části jeho kódu pak byly inspirovány příkladem ofxBundle od Patricia Gonzaleze Viva.

Pro otestování softwaru s vaším vlastím 3D modelem a fotkami musíte nejdřív nastavit OF, poté stáhnout požadovanou aplikaci a následně upravit strukturu souborů. Datový adresář by nyní měl obsahovat vaši 3D síť jako ply, sadu vašich fotografií z fotogrammetrie a soubor rcp (u něj možná budete muset změnit kódování na UTF-8). Uspořádání souborů se dobře patrné na vzorovém příkladu.

Pro dokončení budete muset překódovat jeden řádek ve zdrojovém kódu aplikace (soubor ofApp.cpp), taktéž je nutné upřesnit i název vaší složky (folderName = „myFolder“).

Tento příklad je postaven v OpenFrameworks, ale velmi rádi bychom zkusili i verzi three.js. Pokud by našel někdo se zájmem na tom spolupracovat, neváhejte se nám ozvat!

Extra krok 5: Laserové skenování

Pro získání přesnějšího 3D modelu jsme experimentovali i se spojením laserscanu a 3D modelu z fotogrammetrie. Měli jsme to štěstí a díky programu Autodesk Pier9 jsme si mohli na jeden den půjčit skener od firmy FARO, který se vyznačoval jednoduchou použitelností.

Extra krok 6: Mapování projekce

Tento projekt zkoumá fotografii jako médium, bylo proto celkem přirozené pokusit se použít tištěnou fotografii a překrýt ji vrstvou animovaných efektů s mapováním projekce, k čemuž jsme se rozhodli použít fotku z Muir Woods nedaleko San Francisca v Kalifornii. Zdrojem inspirace pro tuto práci byly seriály Twin Peaks a Hitchcockovo vyobrazení Muir Woods ve filmu Vertigo.

Zdroj: instructables.com