New Foundations for Information Theory: Logical Entropy and Shannon Entropy
Niniejsza monografia oferuje nową podstawę teorii informacji, która opiera się na pojęciu informacji jako rozróżnień, mierzonej bezpośrednio przez entropię logiczną, oraz na ponownej kwantyfikacji jako entropii Shannona, która jest podstawową koncepcją teorii kodowania i komunikacji.
Informacja opiera się na rozróżnieniach, różnicach, rozróżnialności i różnorodności. Definiuje się zbiory informacji, które wyrażają rozróżnienia dokonane przez partycję, np. odwrotność obrazu zmiennej losowej, więc reprezentują one pojęcie informacji przed prawdopodobieństwem. Następnie entropia logiczna jest miarą prawdopodobieństwa na zbiorach informacji, prawdopodobieństwem, że w dwóch niezależnych próbach zostanie uzyskane rozróżnienie lub "dit" partycji.
Wzór na entropię logiczną jest nowym wyprowadzeniem starego wzoru, który pochodzi z początku XX wieku i był wielokrotnie wyprowadzany w różnych kontekstach. Jako miara prawdopodobieństwa, wszystkie złożone pojęcia wspólnej, warunkowej i wzajemnej entropii logicznej są natychmiastowe. Entropia Shannona (która nie jest zdefiniowana jako miara w sensie teorii miary) i jej złożone pojęcia są następnie wyprowadzane z nieliniowej transformacji dit-to-bit, która ponownie kwantyfikuje rozróżnienia zmiennej losowej w kategoriach bitów - tak więc entropia Shannona jest średnią liczbą rozróżnień binarnych lub bitów niezbędnych do dokonania wszystkich rozróżnień zmiennej losowej. Korzystając z metody linearyzacji, wszystkie pojęcia zbiorów w tej logicznej teorii informacji w naturalny sposób rozszerzają się na przestrzenie wektorowe w ogóle - a na przestrzenie Hilberta w szczególności - dla kwantowej logicznej teorii informacji, która zapewnia naturalną miarę rozróżnień dokonywanych w pomiarach kwantowych.
Stosunkowo krótka, ale bogata w treść, praca ta może być punktem odniesienia dla naukowców i doktorantów zajmujących się teorią informacji, metodami maksymalnej entropii w fizyce, inżynierii i statystyce, a także dla wszystkich tych, którzy są szczególnie zainteresowani nowym podejściem do kwantowej teorii informacji.
