Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers
Wiele problemów z zakresu statystyki i uczenia maszynowego może być rozwiązywanych w ramach optymalizacji wypukłej.
Ze względu na eksplozję wielkości i złożoności współczesnych zbiorów danych, coraz ważniejsza staje się możliwość rozwiązywania problemów z bardzo dużą liczbą cech lub przykładów treningowych. W rezultacie zarówno zdecentralizowane gromadzenie lub przechowywanie tych zbiorów danych, jak i towarzyszące im rozproszone metody rozwiązywania są albo konieczne, albo przynajmniej wysoce pożądane.
Książka "Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers" dowodzi, że metoda mnożników o zmiennym kierunku dobrze nadaje się do rozproszonej optymalizacji wypukłej, a w szczególności do problemów na dużą skalę pojawiających się w statystyce, uczeniu maszynowym i dziedzinach pokrewnych. Metoda ta została opracowana w latach siedemdziesiątych XX wieku, a jej korzenie sięgają lat pięćdziesiątych XX wieku, i jest równoważna lub blisko spokrewniona z wieloma innymi algorytmami, takimi jak podwójna dekompozycja, metoda mnożników, podział Douglasa-Rachforda, metoda częściowych odwrotności Spingarna, projekcje naprzemienne Dykstry, iteracyjne algorytmy Bregmana dla ℓ. 1, metod proksymalnych i innych.
Po krótkim przeglądzie teorii i historii algorytmu, omawia on zastosowania do szerokiej gamy problemów statystycznych i uczenia maszynowego, w tym lasso, rzadkiej regresji logistycznej, pościgu za podstawą, selekcji kowariancji, maszyn wektorów nośnych i wielu innych. Omówiono także ogólną optymalizację rozproszoną, rozszerzenia do niewypukłego ustawienia i wydajną implementację, w tym niektóre szczegóły dotyczące rozproszonych implementacji MPI i Hadoop MapReduce.
© Book1 Group - wszelkie prawa zastrzeżone.
Zawartość tej strony nie może być kopiowana ani wykorzystywana w całości lub w części bez pisemnej zgody właściciela.
Ostatnia aktualizacja: 2024.11.13 21:45 (GMT)