Facebook exGAN otworzy oczy zamknięte na zdjęciach - MEDIAPHILIA

Facebook użyje sztucznej inteligencji aby „otwierać” oczy na zdjęciach

Facebook opublikował niedawno pracę badawczą dwóch inżynierów – Briana Dolhanskiego oraz Cristiana Canton Ferrery, którzy pracują nad nową metodą uczenia maszynowego GAN. Technologia ta pozwala na „inteligentne” wstawienie otwartych oczu do zdjęcia, na którym widoczne osoby przykładowo mrugnęły, bądź miały przymknięte powieki.

Dzięki wykorzystaniu zmodyfikowanej technologii sieci generatywno-przeciwstawnych exGAN (Exemplar Generative Adversarial Network), Facebook zamierza udoskonalić istniejące już na rynku rozwiązania. Naukowcy doszli do wniosku, że zamiast uczyć głębokie sieci neuronowe (DNN – Deep Neural Network) odwzorowania i dopasowywania oczu z zestawu miliona zdjęć różnych ludzi, sztuczna inteligencja może wykorzystać zdjęcia tej samej osoby.

Istniejące rozwiązania i ich ograniczenia

Program Adobe Photoshop Elements oferuje rozwiązanie inteligentnego wypełniania obrazu pod nazwą “Content Aware Fill” (wypełnienie z uwzględnieniem zawartości), jednak w przypadku retuszu twarzy rezultaty bardzo często pozostawiały wiele do życzenia. Przede wszystkim algorytmy programu mają problem z dopasowaniem oczu do barwy skóry twarzy czy też natężenia światła. Może się również zdarzyć, że doklejone oczy będą w złym miejscu, pod złym kątem lub będą wyglądały sztucznie i niewiarygodnie.

Co proponuje technologia exGAN?

Poniżej znajduje się grafika, na której naukowcy zaprezentowali działanie technologii exGAN w porównaniu do algorytmu z Adobe Photoshop Elements.

Facebook exGAN otworzy oczy na zdjęciach - MEDIAPHILIA

a) oryginalne fotografie z otwartymi oczami, b) fotografie z oczami zamkniętymi, c) oczy otwarte przez Adobe Photoshop Elements, d) oczy otwarte przez exGAN

W celu weryfikacji skuteczności nowej metody naukowcy przeprowadzili badanie na grupie ludzi, które miało pomóc ocenić jakość uzyskanych wyników. Uczestnicy badania zostali poproszeni o wybranie spośród pary zdjęć przerobionych i oryginalnych tych, które według nich są oryginalne. Blisko 54% badanych wybrało wygenerowane przez exGAN zdjęcie lub nie było w stanie stwierdzić, które zdjęcie jest prawdziwe.

Technika exGAN ma jeszcze pewne ograniczenia. Problemy pojawiły się, kiedy twarze na zdjęciach były pod dużym kątem, osoba miała okulary lub oczy były częściowo zakryte włosami. Prace nad systemem nadal trwają; według badaczy obecne wyniki badań są obiecujące i w przyszłości pozwolą na wyeliminowanie większości błędów.

Nie wiadomo czy zaprezentowane przez naukowców rozwiązanie ostatecznie zostanie zintegrowane z Facebookiem, należy jednak liczyć na to, że firma w niedalekiej przyszłości skorzysta z pracy naukowców, aby ulepszyć działanie np. filtrów dla zdjęć profilowych.

Z pracą badawczą można zapoznać się tutaj.

 

Zdjęcie w nagłówku: Public Domain Pictures