Data Engineer (with Snowflake & Airflow)

Poszukujemy doświadczonego Data Engineera zainteresowanego współpracą w modelu B2B, w ramach projektu realizowanego dla naszego klienta. Zakres usług obejmuje projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych z wykorzystaniem Apache Airflow, Python, Snowflake oraz dbt, a także rozwój procesów integracji i transformacji danych, zasilanie Data Lake (AWS S3) oraz optymalizację wydajności i kosztów przetwarzania danych. Model współpracy: B2B | 100% zdalnie (z terytorium Polski) Rozpoczęcie świadczenia usług: ASAP – preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni. Zakres usług Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona. Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake. Modelowanie i transformacja danych z wykorzystaniem dbt. Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake. Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych. Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji. Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań. Wymagania Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering. Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills, idempotent DAG design). Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest. Zaawansowana znajomość SQL (CTE, window functions, optymalizacja zapytań). Praktyczne doświadczenie ze Snowflake (warehouses, stages, external volumes, COPY INTO). Doświadczenie z dbt (models, tests, macros, snapshots, incremental models). Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON, CSV oraz polityk IAM. Doświadczenie z Git i CI/CD. Znajomość języka angielskiego na poziomie B2/C1. Samodzielność w realizacji powierzonych usług, odpowiedzialność za jakość dostarczanych rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi. Mile widziane Znajomość Docker i Kubernetes. Doświadczenie z Apache Iceberg lub Delta Lake. Znajomość narzędzi Data Quality i Data Observability (Great Expectations, Soda). Doświadczenie w modelowaniu wymiarowym danych (Kimball). #J-18808-Ljbffr TQLO SP. Z O.O.