Uczenie się ze wzmocnieniem, wydanie drugie: Wprowadzenie

Opinie czytelników

Książka ta jest powszechnie uważana za niezbędne źródło wiedzy dla entuzjastów i profesjonalistów zajmujących się uczeniem ze wzmocnieniem (RL). Jest chwalona za swoją głębię, przejrzystość, dobrze skonstruowane ćwiczenia i podejście pedagogiczne, dzięki czemu jest dostępna nawet dla osób z umiarkowanym wykształceniem matematycznym. Krytyka koncentruje się jednak na niespójnej jakości druku, szczególnie w przypadku wydań nie pochodzących bezpośrednio od MIT Press, oraz obawach dotyczących jego przydatności dla zupełnie początkujących w tej dziedzinie.

⬤ Wszechstronne uczenie się ze wzmocnieniem
⬤ dobrze skonstruowane i rygorystyczne ćwiczenia
⬤ jasne wyjaśnienia
⬤ dobra jakość druku w egzemplarzach sprzedawanych bezpośrednio przez MIT Press
⬤ przydatne na różnych poziomach wiedzy (szczególnie dla osób z pewną wcześniejszą wiedzą)
⬤ zawiera interdyscyplinarne powiązania z psychologią i neuronauką.

⬤ Niespójna jakość druku, szczególnie w przypadku zewnętrznych sprzedawców
⬤ nie nadaje się jako tekst wprowadzający dla zupełnie początkujących
⬤ niektóre sekcje są intensywne matematycznie
⬤ treści historyczne mogą być uważane za niepotrzebne przez niektórych czytelników
⬤ drobne błędy redakcyjne zgłaszane w niektórych egzemplarzach.

(na podstawie 115 opinii czytelników)

Oryginalny tytuł:

Reinforcement Learning, Second Edition: An Introduction

Zawartość książki:

Znacznie rozszerzone i zaktualizowane nowe wydanie szeroko stosowanego tekstu na temat uczenia się ze wzmocnieniem, jednego z najbardziej aktywnych obszarów badawczych w sztucznej inteligencji.

Uczenie ze wzmocnieniem, jeden z najbardziej aktywnych obszarów badawczych w sztucznej inteligencji, jest obliczeniowym podejściem do uczenia się, w którym agent próbuje zmaksymalizować całkowitą kwotę nagrody, którą otrzymuje podczas interakcji ze złożonym, niepewnym środowiskiem. W Reinforcement Learning, Richard Sutton i Andrew Barto dostarczają jasnego i prostego opisu kluczowych idei i algorytmów tej dziedziny. To drugie wydanie zostało znacznie rozszerzone i zaktualizowane, prezentując nowe tematy i aktualizując zakres innych tematów.

Podobnie jak pierwsze wydanie, druga edycja koncentruje się na podstawowych algorytmach uczenia się online, z bardziej matematycznym materiałem umieszczonym w zacienionych polach. Część I obejmuje tak dużo uczenia ze wzmocnieniem, jak to możliwe, bez wychodzenia poza przypadek tabelaryczny, dla którego można znaleźć dokładne rozwiązania. Wiele algorytmów przedstawionych w tej części jest nowych w drugim wydaniu, w tym UCB, Expected Sarsa i Double Learning. Część II rozszerza te pomysły na aproksymację funkcji, z nowymi sekcjami na takie tematy, jak sztuczne sieci neuronowe i podstawa Fouriera, a także oferuje rozszerzone podejście do uczenia się poza polityką i metod gradientu polityki. Część III zawiera nowe rozdziały poświęcone związkom uczenia się ze wzmocnieniem z psychologią i neuronauką, a także zaktualizowany rozdział poświęcony studiom przypadków, w tym AlphaGo i AlphaGo Zero, graniu w gry Atari i strategii obstawiania IBM Watson. Ostatni rozdział omawia przyszły wpływ uczenia się ze wzmocnieniem na społeczeństwo.