Uczenie się ze wzmocnieniem wrażliwym na ryzyko poprzez wyszukiwanie gradientu polityki

Oryginalny tytuł:

Risk-Sensitive Reinforcement Learning via Policy Gradient Search

Zawartość książki:

Uczenie ze wzmocnieniem (RL) jest jednym z podstawowych filarów sztucznej inteligencji i uczenia maszynowego. Ważną kwestią w każdym problemie optymalizacyjnym lub kontrolnym jest pojęcie ryzyka, ale jego włączenie do RL nastąpiło stosunkowo niedawno. Niniejsza monografia zawiera przegląd badań nad wrażliwą na ryzyko RL, która wykorzystuje wyszukiwanie gradientowe polityki.

Autorzy analizują niektóre z ostatnich prac w tej dziedzinie, w szczególności tam, gdzie wyszukiwanie gradientu polityki jest podejściem do rozwiązania. W pierwszym ustawieniu RL wrażliwego na ryzyko, obejmują one popularne miary ryzyka oparte na wariancji, warunkowej wartości ryzyka i ograniczeniach szansy, a także przedstawiają szablon dla algorytmów RL wrażliwych na ryzyko opartych na gradiencie polityki przy użyciu sformułowania Lagrangian. W przypadku ustawienia, w którym ryzyko jest włączone bezpośrednio do funkcji celu, rozważają wykładnicze sformułowanie użyteczności, skumulowaną teorię perspektywy i spójne miary ryzyka.

Napisany zarówno dla nowicjuszy, jak i ekspertów, autorzy sprawili, że tekst jest całkowicie samodzielny, ale także zorganizowany w sposób, który pozwala ekspertom pominąć rozdziały podstawowe. Jest to kompletny przewodnik dla studentów i badaczy pracujących nad tym aspektem uczenia maszynowego.