Uczenie ze wzmocnieniem i optymalizacja stochastyczna: Ujednolicone ramy dla decyzji sekwencyjnych

Opinie czytelników

Książka charakteryzuje się jako kompleksowy i dokładny przewodnik po stochastycznym programowaniu dynamicznym i uczeniu się ze wzmocnieniem, odpowiedni dla profesjonalistów w dziedzinie badań operacyjnych. Z powodzeniem łączy różne dziedziny, w tym uczenie ze wzmocnieniem i teorię sterowania, zapewniając jednocześnie ujednolicone ramy dla sekwencyjnego podejmowania decyzji. Książka cierpi jednak z powodu licznych literówek i stylu pisania, który niektórzy mogą uznać za zawiły.

⬤ Kompleksowe omówienie koncepcji sekwencyjnego podejmowania decyzji.
⬤ Dobrze napisana i przystępna dla czytelników z różnych środowisk.
⬤ Skutecznie łączy różne dziedziny, oferując cenne spostrzeżenia.
⬤ Zapewnia ujednolicone ramy dla wielu społeczności zaangażowanych w sekwencyjne podejmowanie decyzji.
⬤ Przydatne ćwiczenia i dobre odniesienie dla profesjonalistów.

⬤ Duża liczba literówek i wątpliwy wybór notacji.
⬤ Brak wyprowadzeń dla niektórych wyników matematycznych, co wymaga od czytelników samodzielnej weryfikacji lub ponownego wyprowadzenia.
⬤ Styl pisania może być dla niektórych zawiły, przez co lektura może być nużąca.
⬤ Treść jest mocno skoncentrowana na badaniach operacyjnych, co może zrazić osoby z innych środowisk, takich jak uczenie maszynowe.

(na podstawie 12 opinii czytelników)

Oryginalny tytuł:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Zawartość książki:

UCZENIE ZE WZMOCNIENIEM I OPTYMALIZACJA STOCHASTYCZNA

Oczyszczanie dżungli optymalizacji stochastycznej

Sekwencyjne problemy decyzyjne, które składają się z "decyzji, informacji, decyzji, informacji", są wszechobecne, obejmując praktycznie każdą ludzką działalność, począwszy od zastosowań biznesowych, zdrowia (zdrowia osobistego i publicznego oraz podejmowania decyzji medycznych), energii, nauk ścisłych, wszystkich dziedzin inżynierii, finansów i handlu elektronicznego. Różnorodność zastosowań przyciągnęła uwagę co najmniej 15 różnych dziedzin badań, wykorzystujących osiem różnych systemów notacyjnych, które stworzyły szeroką gamę narzędzi analitycznych. Produktem ubocznym jest to, że potężne narzędzia opracowane w jednej społeczności mogą być nieznane innym społecznościom.

Reinforcement Learning and Stochastic Optimization oferuje jedną kanoniczną strukturę, która może modelować każdy sekwencyjny problem decyzyjny przy użyciu pięciu podstawowych komponentów: zmiennych stanu, zmiennych decyzyjnych, egzogenicznych zmiennych informacyjnych, funkcji przejścia i funkcji celu. Książka ta podkreśla dwanaście rodzajów niepewności, które mogą pojawić się w każdym modelu i łączy różnorodny zestaw metod podejmowania decyzji, znanych jako polityki, w cztery podstawowe klasy, które obejmują każdą metodę sugerowaną w literaturze naukowej lub stosowaną w praktyce.

Reinforcement Learning and Stochastic Optimization jest pierwszą książką, która zapewnia zrównoważone podejście do różnych metod modelowania i rozwiązywania sekwencyjnych problemów decyzyjnych, zgodnie ze stylem stosowanym w większości książek na temat uczenia maszynowego, optymalizacji i symulacji. Prezentacja jest przeznaczona dla czytelników z kursem prawdopodobieństwa i statystyki oraz zainteresowanych modelowaniem i aplikacjami. Programowanie liniowe jest okazjonalnie wykorzystywane w konkretnych klasach problemów. Książka jest przeznaczona dla czytelników, którzy są nowicjuszami w tej dziedzinie, a także dla tych, którzy mają pewne doświadczenie w optymalizacji w warunkach niepewności.

W całej książce czytelnicy znajdą odniesienia do ponad 100 różnych zastosowań, obejmujących czyste problemy uczenia się, dynamiczne problemy alokacji zasobów, ogólne problemy zależne od stanu i hybrydowe problemy uczenia się / alokacji zasobów, takie jak te, które pojawiły się w pandemii COVID. W książce znajduje się 370 ćwiczeń, podzielonych na siedem grup, począwszy od pytań przeglądowych, modelowania, obliczeń, rozwiązywania problemów, teorii, ćwiczeń programistycznych i "problemu z pamiętnika", który czytelnik wybiera na początku książki i który jest wykorzystywany jako podstawa do pytań w pozostałej części książki.