2D - 3D átalakítás - 2D to 3D conversion

A 2D -s 3D videókonverzió (más néven 2D -ből sztereó 3D -re konvertálás és sztereó átalakítás ) a 2D ("lapos") film 3D formába való átalakításának folyamata , amely szinte minden esetben sztereó , tehát ez a képalkotás minden szem egy 2D képből.

Áttekintés

A 2D-3D átalakítás hozzáadja a binokuláris egyenlőtlenség mélységét az agy által észlelt digitális képekhez, így ha megfelelően végezzük, jelentősen javítjuk a magával ragadó hatást sztereó videó nézése közben a 2D-vel összehasonlítva. A siker érdekében azonban az átalakítást kellő pontossággal és helyességgel kell elvégezni: az eredeti 2D -s képek minősége nem romolhat, és a bevezetett különbségi jelzés nem mond ellent más, az agy által a mélységérzékeléshez használt jelzéseknek . Ha megfelelően és alaposan elvégzik, az átalakítás a „natív” sztereó videóhoz hasonló minőségű sztereó videót hoz létre, amelyet sztereóban rögzítenek, és pontosan beállítanak és igazítanak az utómunkálatok során.

A sztereó konverzió két megközelítését lehet lazán meghatározni: a minőségi félautomata átalakítást a mozi és a kiváló minőségű 3DTV esetében, valamint az alacsony minőségű automatikus átalakítást az olcsó 3DTV , VOD és hasonló alkalmazások esetében.

Számítógépes animációs filmek újrarendezése

A 3D modellekkel készített számítógépes animációs 2D filmek sztereoszkópikus 3D-ben újra megjeleníthetők egy második virtuális kamera hozzáadásával, ha az eredeti adatok még rendelkezésre állnak. Ez technikailag nem átalakítás; ezért az ilyen újrarendezett filmek minősége megegyezik az eredetileg sztereoszkópikus 3D-ben készített filmekkel. Erre a technikára példa a Toy Story és a Toy Story 2 újbóli kiadása . A két film eredeti számítógépes adatainak felülvizsgálata négy hónapot vett igénybe, valamint további hat hónapot vett igénybe a 3D hozzáadása. A költségek, az idő, a szakképzett erőforrások hiánya vagy a számítógépes adatok hiánya miatt azonban nem minden CGI filmet renderelnek újra a 3D újrakiadáshoz.

Fontosság és alkalmazhatóság

A 3D -ben kiadott filmek számának növekedésével egyre gyakoribbá vált a 2D -3D konvertálás. A nem CGI sztereó 3D kasszasikerek többsége teljesen vagy legalább részben 2D felvételekből konvertálódik. Még az Avatar több, 2D-ben készített és sztereóvá alakított jelenetet tartalmaz az utómunkálatok során. A sztereó helyett 2D -ben történő fényképezés oka anyagi, technikai és néha művészi:

• A gyártás utáni sztereó munkafolyamat sokkal összetettebb, és nem olyan jól bevált, mint a 2D-s munkafolyamat, több munkát és renderelést igényel.
• A professzionális sztereoszkóp berendezések sokkal drágábbak és terjedelmesebbek, mint a hagyományos monokuláris kamerák. Egyes felvételek, különösen az akciójelenetek, csak viszonylag kicsi 2D kamerákkal készíthetők.
• A sztereó kamerák különböző eltéréseket hozhatnak létre a sztereó képben (például függőleges parallaxis , dőlés, színeltolódás, tükröződések és tükröződések különböző helyzetekben), amelyeket mindenképpen rögzíteni kell az utómunkálatok során, mert tönkreteszik a 3D hatást. Ez a korrekció néha összetettebb lehet, mint a sztereó átalakítás.
• A sztereó kamerák elárulhatják a forgatás során használt gyakorlati hatásokat . Például a Gyűrűk Ura film trilógia egyes jeleneteit erőltetett perspektívával forgatták , hogy két színész különböző fizikai méretben jelenhessen meg. Ugyanaz a sztereóban forgatott jelenet felfedné, hogy a szereplők nem voltak ugyanolyan távolságra a kamerától.
• A sztereó kamerák természetüknél fogva korlátozzák, hogy a kamera milyen távol lehet a felvételtől, és továbbra is elfogadható sztereó elválasztást biztosítanak. Például a legegyszerűbb módja annak, hogy egy épület oldalán elhelyezett jelenetet megfilmesítsen, ha egy szomszédos épület utca túloldaláról származó fényképezőgépet használ, zoom objektív használatával. Bár a zoom objektív elfogadható képminőséget biztosítana, a sztereó elválasztás gyakorlatilag nulla lenne ilyen távolságon.

Még sztereó felvétel esetén is gyakran szükség lehet az átalakításra. Az említett nehezen forgatható jeleneteken kívül vannak olyan helyzetek, amikor a sztereó nézetek eltérései túl nagyok ahhoz, hogy beállítsák őket, és egyszerűbb a 2D-sztereó konverzió végrehajtása, az egyik nézetet eredeti 2D-forrásként kezelve.

Általános problémák

Az egyes algoritmusok figyelembevétele nélkül az összes konverziós munkafolyamatnak a következő feladatokat kell megoldania:

1. „Mélységi költségvetés” kiosztása-a megengedett eltérés vagy mélység tartományának meghatározása, milyen mélységérték felel meg a képernyő pozíciójának (ún. „Konvergenciapont” pozíció), a megengedett távolságtartományok a képernyőn kívüli hatásokhoz és -a képernyő háttér objektumai. Ha egy sztereó páros tárgy mindkét szem számára pontosan ugyanabban a helyen van, akkor megjelenik a képernyő felületén, és nulla parallaxisban lesz. A képernyő előtt lévő tárgyakról azt mondják, hogy negatív parallaxisban vannak, és a képernyő mögötti háttérképek pozitív parallaxisban vannak. A megfelelő negatív vagy pozitív eltolások vannak az objektum pozícióiban a bal és a jobb szem képeknél.
2. A kényelmes egyenlőtlenségek szabályozása a jelenet típusától és a mozgástól függően-a túl sok parallaxis vagy ellentmondó mélységi jelek szemfáradtságot és hányingert okozhatnak
3. A fedetlen területek kitöltése - A bal vagy jobb nézet képei más szögből jelenítenek meg egy jelenetet, és az eredeti 2D kép előtérrel lefedett részeinek vagy egész objektumoknak sztereó párban kell láthatóvá válniuk. Néha a háttérfelületek ismertek vagy becsülhetők, ezért ezeket a fedetlen területek kitöltésére kell használni. Ellenkező esetben az ismeretlen területeket művésznek kell kitöltenie vagy festeni , mivel a pontos rekonstrukció nem lehetséges.

A kiváló minőségű konverziós módszereknek számos tipikus problémával is foglalkozniuk kell, többek között:

• Áttetsző tárgyak
• Elmélkedések
• Homályos, félig átlátszó tárgyhatárok-például haj, szőr, előtérben nem fókuszált tárgyak, vékony tárgyak
• Filmszemcsék (valós vagy mesterséges) és hasonló zajhatások
• Jelenetek gyors, szabálytalan mozgással
• Kis részecskék - eső, hó, robbanások és így tovább.

Minőségi félautomata átalakítás

Mélység alapú konverzió

A sztereó átalakítás félautomatikus módszereinek többsége mélységtérképeket és mélység-kép alapú renderelést használ.

Az elképzelés szerint minden egyes képkockához vagy egy homogén képkocka sorozathoz külön segédképet hoznak létre, amelyet " mélységi térképnek " neveznek, hogy jelezze a jelenetben lévő tárgyak mélységét. A mélységtérkép egy külön szürkeárnyalatos kép, amelynek méretei megegyeznek az eredeti 2D képpel, és a szürke különböző árnyalatai jelzik a keret minden részének mélységét. Míg a mélységleképezés meglehetősen erős illúziót kelthet a videóban lévő 3D objektumokról, eredendően nem támogatja a félig átlátszó tárgyakat vagy területeket, és nem reprezentálja az elzárt felületeket; ennek a korlátozásnak a hangsúlyozása érdekében a mélység alapú 3D ábrázolásokat gyakran kifejezetten 2.5D-nek nevezik . Ezeket és más hasonló kérdéseket külön módszerrel kell kezelni.

Példa a mélységi térképre

3D alakzatok létrehozása és rekonstruálása egyetlen vagy többnézetű mélységi térképekből vagy sziluettekből

A mélység alapú átalakítási módszerek fő lépései:

1. Mélységi költségvetés -elosztás - mennyi a teljes mélység a jelenetben, és hol lesz a képernyő síkja.
2. A képek szegmentálása , szőnyegek vagy maszkok készítése, általában rotoszkóppal . Minden fontos felületet el kell különíteni. A részletesség szintje a kívánt konverziós minőségtől és költségkerettől függ.
3. Mélységi térkép létrehozása. Minden elszigetelt felülethez mélységi térképet kell rendelni. A különálló mélységi térképeket jelenetmélység -térképpé kell összeállítani. Ez egy iteratív folyamat, amely megköveteli az objektumok, formák, mélység beállítását és a köztes eredmények sztereó megjelenítését. A mélységű mikro-dombormű, a 3D-s forma a legfontosabb felületekhez kerül, hogy megakadályozza a "karton" hatást, amikor a sztereó képek úgy néznek ki, mint a lapos képek kombinációja, amelyek csak különböző mélységekben vannak beállítva.
4. 2D+mélységre épülő sztereó generálás bármilyen kiegészítő információval, például tiszta lemezekkel, helyreállított háttérrel, átláthatósági térképekkel stb. Amikor a folyamat befejeződött, bal és jobb kép jön létre. Általában az eredeti 2D képet kezelik középső képként, így két sztereó nézet jön létre. Egyes módszerek azonban azt javasolják, hogy az eredeti képet használják az egyik szem képeként, és csak a másik szem képét hozzák létre a konverziós költségek minimalizálása érdekében. A sztereó generálás során az eredeti kép képpontjai balra vagy jobbra tolódnak a mélységtérkép, a maximális kiválasztott parallaxis és a képernyő felületének függvényében.
5. Minden olyan fedetlen terület rekonstrukciója és festése, amelyet nem tölt be a sztereó generátor.

A sztereó bármilyen formátumban megjeleníthető előnézeti célokra, beleértve az anaglifát is .

Időigényes lépések a képek szegmentálása/rotoszkópolása, a mélységi térkép készítése és a fedetlen terület kitöltése. Ez utóbbi különösen fontos a legmagasabb minőségű átalakításhoz.

Különféle automatizálási technikák léteznek a mélységtérkép létrehozásához és a háttér rekonstrukciójához. Például az automatikus mélységbecsléssel előállíthatók a kezdeti mélységi térképek bizonyos keretekhez és felvételekhez.

Az ilyen munkát végző embereket mélyművészeknek lehet nevezni.

Többrétegű

A mélységtérképezés, a többrétegű fejlesztés a mélységleképezés korlátai körül jár, több réteg szürkeárnyalatos mélységmaszk bevezetésével a korlátozott félig átlátszóság érdekében. Az egyszerű technikához hasonlóan a többrétegűség magában foglalja a mélységtérkép alkalmazását a lapos kép egynél több "szeletére", ami a mélység és a kiemelkedés sokkal jobb közelítését eredményezi. Minél több réteget dolgoznak fel keretenként külön -külön, annál jobb a 3D illúzió minősége.

Más megközelítések

A sztereó átalakításhoz 3D rekonstrukció és újravetítés használható. Ez magában foglalja a 3D -s jelenetmodell létrehozását, az eredeti képfelületek kinyerését 3D -objektumok textúrájaként, és végül a 3D -jelenet két virtuális kamerából történő renderelését, hogy sztereó videót készítsen. Ez a megközelítés kellően jól működik statikus merev tárgyak jelenetei esetén, például városi felvételek épületekkel, belső felvételek, de problémái vannak a nem merev testekkel és a puha homályos élekkel.

Egy másik módszer a bal és a jobb oldali virtuális kamera beállítása, mindkettő eltolva az eredeti kamerától, de felosztva az eltolási különbséget, majd festve az elkülönített tárgyak és karakterek elzáródási széleit. Lényegében tiszta háttérbevonat több háttér-, földközeli és előtérbeli elemmel.

A távcső egyenlőtlensége egyszerű geometriából is származtatható.

Automatikus átalakítás

Mélység a mozgástól

Lehetőség van a mélység automatikus becslésére különböző mozgástípusok használatával. A kamera mozgása esetén a teljes jelenet mélységi térképe kiszámítható. Ezenkívül az objektumok mozgása észlelhető, és a mozgó területek a mélységhez képest kisebb mélységi értékekkel rendelhetők hozzá. Az elzárások információt nyújtanak a mozgó felületek relatív helyzetéről.

Mélység a fókuszból

Az ilyen típusú megközelítéseket "mélységnek a defokuszból" és "mélységnek az elmosódottságból" is nevezik. A "mélység a defókuszból" (DFD) megközelítéseknél a mélységi információkat a megfontolt objektum elmosódottsága alapján becsülik meg, míg a "mélység a fókuszból" (DFF) megközelítések általában összehasonlítják az objektum élességét egy képtartományban különböző fókusztávolsággal , hogy megtudja a kamerától való távolságát. A DFD -nek csak kettőre vagy háromra van szüksége különböző fókuszban, hogy megfelelően működjön, míg a DFF -nek legalább 10-15 képre van szüksége, de pontosabb, mint az előző módszer.

Ha a feldolgozott képen észlelik az eget, akkor azt is figyelembe lehet venni, hogy a távolabbi tárgyak a homályosság mellett telítetlenebbek és kékesebbek legyenek a vastag légréteg miatt.

Mélység perspektívából

A módszer ötlete azon a tényen alapul, hogy a párhuzamos vonalak, mint például a vasúti sínek és az út menti oldalak, úgy tűnik, közelednek a távolsághoz, és végül elérnek egy eltűnési pontot a horizonton. Ennek az eltűnési pontnak a megtalálása adja az egész kép legtávolabbi pontját.

Minél jobban összeérnek a vonalak, annál távolabb tűnnek. Tehát a mélységtérképhez két szomszédos eltűnési vonal közötti terület gradiens síkkal közelíthető.

Konverziós műtermékek

• A kartonhatás olyan jelenség, amelyben a különböző mélységekben elhelyezkedő 3D objektumok laposan jelennek meg a közönség előtt, mintha kartonból készülnének, miközben a tárgyak közötti relatív mélység megmarad
• Az élek élességének eltérése - ez a műtárgy az objektumok határán lévő homályos mélységi térkép miatt jelenhet meg. A határ az egyik nézetben pontos lesz, a másikban elmosódott. Az élélesség-eltérési műterméket általában a következők okozzák:
  • „Gumilap” technika alkalmazása, amely az elzáródási területeket körülvevő képpontok elvetemülését jelzi, hogy elkerülje a kifejezett elzáródás kitöltését. Ilyen esetekben az elmozdulási térkép szélei homályosak, és az előtér és a háttérrégiók közötti átmenet kisimul. Az él/mozgás elmosódás által elfoglalt régió a tárgy elmozdulásának irányától függően „megnyújtott” vagy „behúzott”. Ez a megközelítés természetesen a nézetek közötti élességbeli eltérésekhez vezet.
  • A félig átlátszó élek megfelelő kezelésének hiánya, ami az él megduplázódásához vagy szellemképződéshez vezethet.
  • Egyszerű elzáródás-kitöltési technikák, amelyek a tárgyszélek közelében lévő tárgyak nyújtásához vezetnek.

• A háttérobjektumokhoz ragadt - ez a hiba az előtérben lévő objektumok "ragasztásához" a háttérhez

3D minőségi mutatók

PQM

A PQM utánozza a HVS -t, mivel a kapott eredmények nagyon közel állnak a szubjektív tesztekből kapott átlagos vélemény pontszámhoz (MOS). A PQM számszerűsíti a fényesség torzulását és a kontraszt torzulását az egyes pixelblokkok átlagával súlyozott közelítés (szórások) segítségével, hogy megkapja a kép torzulását. Ezt a torzítást kivonjuk az 1 -ből, hogy megkapjuk az objektív minőségi mutatót.

HV3D

A HV3D minőségi mutatót az emberi vizuális 3D érzékelés szem előtt tartásával terveztük. Figyelembe veszi az egyes jobb és bal nézetek minőségét, a ciklopikus nézet minőségét (a jobb és bal nézet összeolvadása, amit a néző észlel), valamint a mélységi információk minőségét.

VQMT3D

A VQMT3D projekt számos kifejlesztett mérőszámot tartalmaz a 2D -3D átalakítás minőségének értékelésére

Lásd még

• Autosztereoszkópia
• Áthallás (elektronika)
• Digitális 3D
• Filmszínezés - a 3D átalakítással kapcsolatos számos probléma, mint például a tárgyszél azonosítása/felismerése, a színezés során is felmerül
• Legend3D
• 3D filmek listája
• Sztereoszkópikus videojáték- sok S-3D videojáték valójában nem két képet jelenít meg, hanem 2D + mélységábrázoló konverziós technikákat is alkalmaz
• Szerkezet mozgásból
• 2D-plusz mélység
• 3D kijelző
• 3D film
• 3D rekonstrukció több képből

Hivatkozások

• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2014). Kinect-Variety Fusion: újszerű hibrid megközelítés a műtermékek nélküli 3DTV tartalomgeneráláshoz . In 22. International Conference on Pattern Recognition (ICPR), Stockholm, 2014. doi : 10.1109/ICPR.2014.395 .