Rurociągi danych z Apache Airflow

Opinie czytelników

Książka jest wysoce zalecana jako kompleksowe źródło do nauki i korzystania z Apache Airflow, obejmujące zarówno podstawowe, jak i zaawansowane tematy. Struktura pozwala czytelnikom na szybkie zrozumienie podstaw, zapewniając jednocześnie dogłębne informacje dla doświadczonych praktyków. Zauważono jednak, że dyskusje na temat bezpieczeństwa są opóźnione do późniejszej sekcji, co niektórzy czytelnicy uważają za niepokojące.

Szczegółowe objaśnienia, najlepsze praktyki, adaptowalne przykłady kodu, obejmuje zarówno podstawy, jak i zaawansowane tematy, dobrze napisana i ustrukturyzowana, doskonała zarówno dla nowicjuszy, jak i doświadczonych użytkowników, zawiera praktyczne przepisy i realistyczne przykłady, służy jako świetne odniesienie.

Tematy związane z bezpieczeństwem są poruszane późno w książce (strona 322), niektórzy czytelnicy uważają, że może brakować bezpośrednich praktycznych wskazówek dotyczących aplikacji w miejscu pracy.

(na podstawie 12 opinii czytelników)

Oryginalny tytuł:

Data Pipelines with Apache Airflow

Zawartość książki:

Data Pipelines with Apache Airflow uczy, jak budować i utrzymywać efektywne potoki danych.

Podsumowanie

Skuteczny potok efektywnie przenosi dane, minimalizując przerwy i blokady między zadaniami, utrzymując sprawność każdego procesu po drodze. Apache Airflow zapewnia jedno konfigurowalne środowisko do budowania i zarządzania potokami danych, eliminując potrzebę korzystania z różnych narzędzi, kodu płatka śniegu i własnych procesów. Korzystając z rzeczywistych scenariuszy i przykładów, Data Pipelines with Apache Airflow uczy, jak uprościć i zautomatyzować potoki danych, zmniejszyć koszty operacyjne i płynnie zintegrować wszystkie technologie w stosie.

Zakup książki drukowanej obejmuje bezpłatny eBook w formatach PDF, Kindle i ePub od Manning Publications.

O technologii

Potoki danych zarządzają przepływem danych od początkowego gromadzenia poprzez konsolidację, czyszczenie, analizę, wizualizację i inne. Apache Airflow zapewnia pojedynczą platformę, której można używać do projektowania, wdrażania, monitorowania i utrzymywania potoków. Łatwy w użyciu interfejs użytkownika, opcje plug-and-play i elastyczne skrypty w języku Python sprawiają, że Airflow doskonale nadaje się do każdego zadania związanego z zarządzaniem danymi.

O książce

Data Pipelines with Apache Airflow uczy, jak budować i utrzymywać efektywne potoki danych. Poznasz najczęstsze wzorce użytkowania, w tym agregowanie wielu źródeł danych, łączenie się z i z jezior danych oraz wdrażanie w chmurze. Ten praktyczny przewodnik, będący po części bibliografią, a po części samouczkiem, obejmuje każdy aspekt skierowanych grafów acyklicznych (DAG), które zasilają Airflow, oraz sposób dostosowywania ich do potrzeb potoku.

Co zawiera

Tworzenie, testowanie i wdrażanie potoków Airflow jako DAG.

Automatyzacja przenoszenia i przekształcania danych.

Analizuj historyczne zestawy danych za pomocą wypełniania wstecznego.

Tworzenie niestandardowych komponentów.

Konfigurowanie Airflow w środowiskach produkcyjnych.

O czytelniku

Dla DevOps, inżynierów danych, inżynierów uczenia maszynowego i sysadminów ze średniozaawansowanymi umiejętnościami Python.

O autorze

Bas Harenslak i Julian de Ruiter są inżynierami danych z dużym doświadczeniem w korzystaniu z Airflow do tworzenia potoków dla dużych firm. Bas jest również committerem Airflow.

Spis treści

CZĘŚĆ 1 - ROZPOCZĘCIE.

1 Poznaj Apache Airflow.

2 Anatomia DAG Airflow.

3 Planowanie w Airflow.

4 Szablonowanie zadań przy użyciu kontekstu Airflow.

5 Definiowanie zależności między zadaniami.

CZĘŚĆ 2 - POZA PODSTAWAMI.

6 Wyzwalanie przepływów pracy.

7 Komunikacja z systemami zewnętrznymi.

8 Tworzenie niestandardowych komponentów.

9 Testowanie.

10 Uruchamianie zadań w kontenerach.

CZĘŚĆ 3 - PRZEPŁYW POWIETRZA W PRAKTYCE.

11 Najlepsze praktyki.

12 Obsługa Airflow w środowisku produkcyjnym.

13 Zabezpieczanie Airflow.

14 Projekt: Znalezienie najszybszego sposobu na poruszanie się po Nowym Jorku.

CZĘŚĆ 4 - W CHMURACH.

15 Airflow w chmurach.

16 Airflow na AWS.

17 Airflow na Azure.

18 Airflow w GCP.