Ważność, wiarygodność i istotność: Metody empiryczne dla NLP i nauki o danych

Oryginalny tytuł:

Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science

Zawartość książki:

Metody empiryczne to sposoby odpowiadania na pytania metodologiczne nauk empirycznych za pomocą technik statystycznych. Pytania metodologiczne poruszane w tej książce obejmują problemy ważności, niezawodności i istotności. W przypadku uczenia maszynowego odpowiadają one pytaniom o to, czy model przewiduje to, co ma przewidywać, czy wydajność modelu jest spójna we wszystkich replikacjach oraz czy różnica w wydajności między dwoma modelami jest spowodowana przypadkiem. Celem tej książki jest udzielenie odpowiedzi na te pytania za pomocą konkretnych testów statystycznych, które można zastosować do oceny poprawności, wiarygodności i znaczenia adnotacji danych i przewidywania uczenia maszynowego w dziedzinie NLP i nauki o danych.

Skupiamy się na metodach empirycznych opartych na modelach, w których adnotacje danych i prognozy modelu są traktowane jako dane treningowe dla interpretowalnych modeli probabilistycznych z dobrze znanych rodzin uogólnionych modeli addytywnych (GAM) i liniowych modeli efektów mieszanych (LMEM). W oparciu o interpretowalne parametry wytrenowanych modeli GAM lub LMEM, książka przedstawia testy statystyczne oparte na modelu, takie jak test ważności, który pozwala wykryć cechy kołowe, które omijają uczenie się. Ponadto w książce omówiono współczynnik wiarygodności wykorzystujący dekompozycję wariancji w oparciu o parametry efektów losowych LMEM. Wreszcie, wykazano, że test istotności oparty na współczynniku prawdopodobieństwa zagnieżdżonych LMEM wytrenowanych na wynikach wydajności dwóch modeli uczenia maszynowego w naturalny sposób pozwala na włączenie zmian w ustawieniach meta-parametrów do testowania hipotez, a ponadto ułatwia wyrafinowane porównanie systemów uwarunkowane właściwościami danych wejściowych.

Książka ta może być wykorzystana jako wprowadzenie do empirycznych metod uczenia maszynowego, ze szczególnym uwzględnieniem zastosowań w NLP i nauce o danych. Książka jest samodzielna, z dodatkiem dotyczącym podstaw matematycznych GAM i LMEM oraz z towarzyszącą stroną internetową zawierającą kod R do replikacji eksperymentów przedstawionych w książce.