Głębokie uczenie dla przywracania obrazu/wideo i superrozdzielczości

Oryginalny tytuł:

Deep Learning for Image/Video Restoration and Super-resolution

Zawartość książki:

W niniejszej monografii przedstawiono przegląd najnowszych osiągnięć i najnowocześniejszych rozwiązań w zakresie przywracania obrazów/wideo i superrozdzielczości (SR) z wykorzystaniem głębokiego uczenia. Głębokie uczenie się wywarło znaczący wpływ nie tylko na wizję komputerową i przetwarzanie języka naturalnego, ale także na klasyczne problemy przetwarzania sygnałów, takie jak przywracanie obrazu / wideo / SR i kompresja. Ostatnie postępy w architekturach neuronowych doprowadziły do znacznej poprawy wydajności nauczonego przywracania obrazu / wideo i SR. Ważną zaletą głębokiego uczenia opartego na danych jest to, że modele neuronowe mogą być zoptymalizowane pod kątem dowolnej różniczkowalnej funkcji strat, w tym wizualnych percepcyjnych funkcji strat, co prowadzi do percepcyjnego przywracania wideo i SR, które nie mogą być łatwo obsługiwane przez tradycyjne podejścia oparte na modelach.

Publikacja rozpoczyna się od przedstawienia problemu i krótkiej dyskusji na temat rozwiązań tradycyjnych i opartych na danych. Następnie omówiono najnowsze osiągnięcia w dziedzinie architektur neuronowych oraz funkcje strat i kryteria oceny dla przywracania obrazów/wideo i SR. Rozważane są również wyuczone metody przywracania obrazu i SR, jako uczenie się mapowania z przestrzeni zdegradowanych obrazów do obrazów idealnych w oparciu o uniwersalne twierdzenie o aproksymacji lub model generatywny, który przechwytuje rozkład prawdopodobieństwa idealnych obrazów. Uwzględniono także praktyczne problemy związane z zastosowaniem nadzorowanego uczenia do rzeczywistego przywracania i SR, a także modele rozwiązań.

W sekcji poświęconej wyuczonym wideo SR omówiono podejścia do wykorzystania korelacji czasowych w wyuczonym przetwarzaniu wideo, a następnie omówiono percepcyjną optymalizację parametrów sieci w celu uzyskania naturalnej tekstury i ruchu. Publikację kończy dyskusja porównawcza różnych podejść.