Pierwsze kroki z Google BERT: Tworzenie i trenowanie najnowocześniejszych modeli przetwarzania języka naturalnego przy użyciu BERT

Opinie czytelników

Książka stanowi kompleksowe wprowadzenie do BERT i jego architektury transformatorowej, zapewniając równowagę między teoretycznym wyjaśnieniem a praktycznymi przykładami kodowania. Szczególnie dobrze nadaje się dla osób z podstawową wiedzą na temat NLP i głębokiego uczenia się, szczegółowo opisując różne warianty i zastosowania BERT. Niektórzy czytelnicy krytykowali jednak książkę za zbędny język, powierzchowne traktowanie złożonych tematów i problemy z jakością druku.

⬤ Jasna i zwięzła ekspozycja architektury BERT i transformatorów
⬤ łączy teorię z praktycznymi zastosowaniami i przykładami kodowania
⬤ dostępna dla czytelników bez doktoratu
⬤ praktyczne laboratoria i zasoby GitHub zwiększają doświadczenie edukacyjne
⬤ dyskusje na temat wielu wariantów BERT i przypadków użycia.

⬤ Zbędny język i powtórzenia w wyjaśnieniach
⬤ powierzchowne omówienie złożonych tematów
⬤ problemy z jakością druku
⬤ kilku czytelników zgłosiło błędy w kodzie
⬤ niektórzy uznali treść za zbyt podstawową lub pozbawioną głębi dla zaawansowanych praktyków.

(na podstawie 38 opinii czytelników)

Oryginalny tytuł:

Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

Zawartość książki:

Rozpocznij swoją przygodę z NLP, odkrywając BERT i jego warianty, takie jak ALBERT, RoBERTa, DistilBERT, VideoBERT i inne dzięki bibliotece transformatorów Hugging Face

Kluczowe cechy

⬤ Zapoznaj się z koderem i dekoderem modelu transformaty.

⬤ Zapoznanie się z BERT wraz z ALBERT, RoBERTa i DistilBERT.

⬤ Odkryj, jak wstępnie trenować i dostrajać modele BERT dla kilku zadań NLP.

Opis książki

BERT (dwukierunkowe reprezentacje kodera z transformatora) zrewolucjonizował świat przetwarzania języka naturalnego (NLP) z obiecującymi wynikami. Ta książka jest przewodnikiem wprowadzającym, który pomoże ci uporać się z architekturą Google BERT. Dzięki szczegółowemu wyjaśnieniu architektury transformatora, książka ta pomoże ci zrozumieć, jak działa koder i dekoder transformatora.

Poznasz architekturę BERT, dowiadując się, w jaki sposób model BERT jest wstępnie wytrenowany i jak używać wstępnie wytrenowanego BERT do dalszych zadań, dostosowując go do zadań NLP, takich jak analiza nastrojów i podsumowywanie tekstu za pomocą biblioteki transformatorów Hugging Face. W miarę postępów poznasz różne warianty BERT, takie jak ALBERT, RoBERTa i ELECTRA, a także przyjrzysz się SpanBERT, który jest używany do zadań NLP, takich jak odpowiadanie na pytania. Omówione zostaną również prostsze i szybsze warianty BERT oparte na destylacji wiedzy, takie jak DistilBERT i TinyBERT. Książka szczegółowo omawia MBERT, XLM i XLM-R, a następnie wprowadza w sentence-BERT, który jest używany do uzyskiwania reprezentacji zdań. Wreszcie, odkryjesz modele BERT specyficzne dla domeny, takie jak BioBERT i ClinicalBERT, a także odkryjesz interesujący wariant o nazwie VideoBERT.

Pod koniec tej książki o BERT będziesz dobrze zorientowany w używaniu BERT i jego wariantów do wykonywania praktycznych zadań NLP.

Czego się nauczysz

⬤ Zrozumieć model transformatora od podstaw.

⬤ Dowiedzieć się, jak działa BERT i wstępnie go wytrenować przy użyciu maskowanego modelu języka (MLM) i zadań przewidywania następnego zdania (NSP).

⬤ Zdobądź praktyczną wiedzę na temat BERT, ucząc się generować kontekstowe osadzenia słów i zdań.

⬤ Dostosuj BERT do dalszych zadań.

⬤ Zapoznanie się z modelami ALBERT, RoBERTa, ELECTRA i SpanBERT.

⬤ Poznanie modeli BERT opartych na destylacji wiedzy.

⬤ Zrozumienie modeli międzyjęzykowych, takich jak XLM i XLM-R.

⬤ Poznaj modele Sentence-BERT, VideoBERT i BART.

Dla kogo jest ta książka

Ta książka jest przeznaczona dla specjalistów NLP i naukowców zajmujących się danymi, którzy chcą uprościć zadania NLP, aby umożliwić skuteczne rozumienie języka za pomocą BERT. Aby jak najlepiej wykorzystać tę książkę, wymagane jest podstawowe zrozumienie koncepcji NLP i głębokiego uczenia się.