Wzajemne oddziaływanie informacji i miar szacunkowych

Oryginalny tytuł:

The Interplay Between Information and Estimation Measures

Zawartość książki:

Jeśli teoria informacji i teoria estymacji są traktowane jako dwa języki naukowe, to ich kluczowymi słownikami są odpowiednio miary informacji i miary estymacji. Podstawowymi miarami informacji są entropia, informacja wzajemna i entropia względna.

Do najważniejszych miar estymacji należą średni błąd kwadratowy (MSE) i informacja Fishera. Odgrywając nadrzędną rolę w teorii informacji i teorii estymacji, miary te są podobne do masy, siły i prędkości w mechanice klasycznej lub energii, entropii i temperatury w termodynamice. The Interplay Between Information and Estimation Measures jest pomyślany jako podręcznik znanych formuł, które bezpośrednio odnoszą się do miar informacji i miar estymacji.

Zapewnia intuicję i rysuje powiązania między tymi formułami, podkreśla niektóre ważne zastosowania i motywuje do dalszych poszukiwań. Główny nacisk położony jest na takie wzory w kontekście addytywnego modelu szumu gaussowskiego, z mniejszym uwzględnieniem innych, takich jak kanał procesu punktowego Poissona.

Uwzględniono również szereg nowych wyników, które zostały tu opublikowane po raz pierwszy. Podano dowody niektórych podstawowych wyników, podczas gdy wiele bardziej technicznych dowodów już dostępnych w literaturze zostało pominiętych. W 2004 roku autorzy niniejszej monografii odkryli ogólną zależność różniczkową powszechnie nazywaną wzorem I-MMSE.

W tej książce opracowano nowy, kompletny dowód dla wzoru I-MMSE, który zawiera pewne szczegóły techniczne pominięte w oryginalnych artykułach na ten temat. The Interplay Between Information and Estimation Measures kończy się podkreśleniem wpływu zależności między informacją a estymacją na różne problemy związane z teorią informacji, które są obecnie przedmiotem zainteresowania, i przedstawia dalsze perspektywy ich zastosowań.