Głębokie uczenie ze wzmocnieniem w Pythonie - wydanie drugie

Opinie czytelników

Drugie wydanie „Deep Reinforcement Learning with Python” jest powszechnie chwalone za przejrzystość, kompleksowe omówienie koncepcji uczenia ze wzmocnieniem oraz praktyczne, praktyczne przykłady kodowania przy użyciu TensorFlow 2.0 i OpenAI Gym. Niektórzy czytelnicy uważają ją jednak za przestarzałą pod względem zależności od oprogramowania i frustrującą z powodu braku wyjaśnienia pojęć w niektórych przykładach.

⬤ Przejrzyste wyjaśnienia i stopniowy przepływ pojęć od podstawowych do zaawansowanych tematów RL.
⬤ Praktyczne ćwiczenia z wykorzystaniem TensorFlow
⬤ 0 i OpenAI Gym, które wspierają praktyczną naukę.
⬤ Bardzo szczegółowe i kompleksowe omówienie szerokiej gamy algorytmów uczenia ze wzmocnieniem.
⬤ Wizualne ilustracje zwiększają zrozumienie.
⬤ Znaczna poprawa w stosunku do pierwszego wydania, w tym szczegółowe wyjaśnienia matematyczne.

⬤ Niektóre treści mogą wydawać się przestarzałe, szczególnie ze względu na zależność od TensorFlow
⬤ x dla niektórych przykładów.
⬤ Brak szczegółowych wyjaśnień w niektórych przykładach, co prowadzi do nieporozumień co do rozumowania stojącego za określonymi wyborami.
⬤ Książka jest długa (700 stron), co niektórzy czytelnicy uznają za przytłaczające i mogą zasugerować podzielenie jej na wersję dla początkujących i zaawansowanych.
⬤ Instrukcje instalacji środowiska kodowego są uważane za niewystarczające przez niektórych użytkowników.

(na podstawie 21 opinii czytelników)

Oryginalny tytuł:

Deep Reinforcement Learning with Python - Second Edition

Zawartość książki:

Bogaty w przykłady przewodnik dla początkujących, aby rozpocząć swoją przygodę z uczeniem ze wzmocnieniem i głębokim wzmocnieniem z najnowocześniejszymi algorytmami

Kluczowe cechy

⬤ Obejmuje szerokie spektrum od podstawowych do zaawansowanych algorytmów RL z matematycznymi wyjaśnieniami każdego algorytmu.

⬤ Naucz się implementować algorytmy za pomocą kodu, podążając za przykładami z wyjaśnieniami linijka po linijce.

⬤ Poznaj najnowsze metodologie RL, takie jak DDPG, PPO i wykorzystanie demonstracji ekspertów.

Opis książki

Wraz ze znacznym wzrostem jakości i ilości algorytmów w ostatnich latach, to drugie wydanie Hands-On Reinforcement Learning with Python zostało przekształcone w bogaty w przykłady przewodnik po uczeniu się najnowocześniejszych algorytmów uczenia się ze wzmocnieniem (RL) i głębokiego RL z TensorFlow 2 i zestawem narzędzi OpenAI Gym.

Oprócz zgłębiania podstaw RL i podstawowych pojęć, takich jak równanie Bellmana, procesy decyzyjne Markowa i algorytmy programowania dynamicznego, to drugie wydanie zagłębia się w pełne spektrum metod RL opartych na wartościach, politykach i krytyce aktorów. Szczegółowo analizuje najnowocześniejsze algorytmy, takie jak DQN, TRPO, PPO i ACKTR, DDPG, TD3 i SAC, demistyfikując podstawową matematykę i demonstrując implementacje za pomocą prostych przykładów kodu.

Książka zawiera kilka nowych rozdziałów poświęconych nowym technikom RL, w tym dystrybucyjnej RL, uczeniu się przez naśladowanie, odwrotnej RL i meta RL. Nauczysz się wykorzystywać stabilne linie bazowe, ulepszenie biblioteki bazowej OpenAI, aby bez wysiłku implementować popularne algorytmy RL. Książka kończy się przeglądem obiecujących podejść, takich jak meta-nauczanie i agenci rozszerzonej wyobraźni w badaniach.

Pod koniec książki zdobędziesz umiejętności skutecznego stosowania RL i głębokiej RL w swoich rzeczywistych projektach.

Czego się nauczysz

⬤ Zrozumieć podstawowe koncepcje RL, w tym metodologie, matematykę i kod.

⬤ Trenować agenta do rozwiązywania Blackjacka, FrozenLake i wielu innych problemów przy użyciu OpenAI Gym.

⬤ Wyszkolić agenta do gry w Ms Pac-Man przy użyciu Deep Q Network.

⬤ Naucz się metod opartych na polityce, wartościach i krytyce aktorów.

⬤ Opanuj matematykę stojącą za DDPG, TD3, TRPO, PPO i wieloma innymi.

⬤ Odkryj nowe możliwości, takie jak dystrybucyjna RL, meta RL i odwrotna RL.

⬤ Wykorzystaj Stable Baselines, aby wyszkolić agenta do chodzenia i grania w gry Atari.

Dla kogo jest ta książka

Jeśli jesteś programistą uczenia maszynowego z niewielkim lub żadnym doświadczeniem z sieciami neuronowymi zainteresowanym sztuczną inteligencją i chcesz nauczyć się uczenia ze wzmocnieniem od podstaw, ta książka jest dla Ciebie.

Wymagana jest podstawowa znajomość algebry liniowej, rachunku różniczkowego i języka programowania Python. Pewne doświadczenie z TensorFlow będzie dodatkowym atutem.