Dla naszego klienta poszukujemy kandydatów na stanowisko:
Staff Data Engineer - High-Performance Data Systems
🏢 Projekt: Budowa architektury danych oraz infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Rola łączy ownership skalowalnych systemów danych, wysokowydajnego przetwarzania analitycznego oraz tworzenia silnika obliczeniowego.
💻 Stack technologiczny: Apache Spark, PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust
🤝 Model współpracy: Kontrakt B2B - praca zdalna.
🎯 Zakres obowiązków:
-
Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
-
Definiowanie architektury przetwarzania danych – balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień (low latency) oraz poziomej skalowalności.
-
Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych (wydajność zapytań, indeksowanie, optymalizacja pamięci masowej).
-
Budowa i rozwój silnika obliczeniowego (w tym niestandardowe wykonywanie zapytań i reużywalne transformacje).
-
Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
-
Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (w tym pliki CSV/Parquet).
-
Ustanawianie standardów w zakresie poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.
🛠️ Oczekujemy:
-
Solidnego doświadczenia w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
-
Doskonałej znajomości SQL oraz PostgreSQL (w tym planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).
-
Głębokiego zrozumienia architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
-
Praktycznej i zaawansowanej znajomości Apache Spark.
-
Doświadczenia w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
-
Biegłości w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolności do dostarczania najwyższej jakości kodu produkcyjnego.
-
Gotowości do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu (rola hands-on).
-
Rygorystycznego podejścia do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
-
Znajomości języka Rust (szczególnie w odniesieniu do pojęć tj. współbieżność, programowanie asynchroniczne, zarządzanie pamięcią, optymalizacja wydajności).
Mile widziana znajomość:
-
Apache DataFusion, Apache Arrow,
-
ClickHouse (lub innych silników kolumnowych/OLAP),
-
architektury HTAP/Lakehouse,
-
chmur (AWS/GCP/Azure),
-
systemów obliczeń finansowych.
Oferujemy: 🤝
-
Umowę B2B i elastyczną formę współpracy.
-
Udział w prestiżowym projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania tzw. legacy code.
-
Dużą autonomię i decyzyjność – Twój głos będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.
-
Gwarancję stabilności (niezależne i pewne źródła finansowania), co pozwala na komfortowe skupienie się na innowacjach.