Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems (Analiza regresu w stochastycznych i niestochastycznych problemach wielorękiego bandyty)

Opinie czytelników

Obecnie brak opinii czytelników. Ocena opiera się na 2 głosach.

Oryginalny tytuł:

Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems

Zawartość książki:

Problem wielorękiego bandyty - lub po prostu problem bandyty - jest sekwencyjnym problemem alokacji zdefiniowanym przez zbiór akcji. W każdym kroku jednostkowy zasób jest przydzielany do akcji i uzyskiwana jest pewna obserwowalna wypłata.

Celem jest maksymalizacja całkowitej wypłaty uzyskanej w sekwencji alokacji. Nazwa bandyta odnosi się do potocznego określenia automatu do gry ("jednoręki bandyta" w amerykańskim slangu). W kasynie, problem sekwencyjnej alokacji uzyskuje się, gdy gracz stoi przed wieloma automatami jednocześnie ("wieloręki bandyta") i musi wielokrotnie wybierać, gdzie wrzucić następną monetę.

Problemy wielorękiego bandyty są najbardziej podstawowymi przykładami sekwencyjnych problemów decyzyjnych z kompromisem eksploracja-eksploatacja. Jest to równowaga pomiędzy pozostaniem przy opcji, która dawała najwyższe wypłaty w przeszłości, a odkrywaniem nowych opcji, które mogą dać wyższe wypłaty w przyszłości. Chociaż badania nad problemami bandytów sięgają lat 30.

ubiegłego wieku, to kompromis eksploracja-eksploatacja pojawia się w kilku nowoczesnych zastosowaniach, takich jak umieszczanie reklam, optymalizacja stron internetowych i routing pakietów. Matematycznie, wieloręki bandyta jest definiowany przez proces wypłaty związany z każdą opcją. W tej książce skupiono się na dwóch skrajnych przypadkach, w których analiza żalu jest szczególnie prosta i elegancka: niezależnych i identycznie rozłożonych wypłatach oraz przeciwnych wypłatach.

Oprócz podstawowych założeń dotyczących skończonej liczby akcji, analizuje ona również niektóre z najważniejszych wariantów i rozszerzeń, takich jak kontekstowy model bandyty. Ta monografia jest idealnym źródłem informacji dla studentów i badaczy zainteresowanych problemami bandytów.