Dla naszego klienta poszukujemy kandydatów na stanowisko:
Senior Data Engineer (Rust, DataFusion)
Projekt: 🚀 Tworzenie od podstaw nowoczesnego, wysokowydajnego silnika bazodanowego i warstwy przetwarzania zapytań, dedykowanych do skomplikowanych obliczeń finansowych.
Stack technologiczny: 💻 Rust, Apache DataFusion, Apache Arrow, PostgreSQL, SQL, Parquet, CSV.
Zespół: 👥 Samodzielne stanowisko inżynierskie w obszarze silnika wykonawczego, ściśle współpracujące z ekspertami domenowymi w ramach rozproszonego środowiska.
Model współpracy: 🌍 100% zdalnie.
Wynagrodzenie: 💰 30 000 - 37 000 PLN netto (B2B, do negocjacji).
Start współpracy: ⏳ ASAP / do 1 miesiąca.
Zakres obowiązków: 🎯
-
Optymalizacja i integracja źródeł danych (takich jak PostgreSQL oraz pliki Parquet/CSV), obejmująca mechanizmy pushdownu predykatów i szybkie przetwarzanie wsadowe.
-
Tworzenie oraz wdrażanie zaawansowanych mechanizmów kontrolnych na produkcję, w tym zapewnienie precyzji wyliczeń numerycznych, monitorowanie stanu systemu oraz optymalne zarządzanie pamięcią.
-
Projektowanie transformacji tabelarycznych w środowisku Rust i rozbudowa frameworków Arrow oraz DataFusion o dedykowane komponenty planowania zapytań.
-
Budowa trwałego katalogu na potrzeby definicji danych oraz implementacja widoków semantycznych i nowych rozszerzeń dla języka SQL.
-
Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ, poprzez budowę interfejsu SQL zachowującego pełną kompatybilność z PostgreSQL.
Oczekujemy: 📌
-
Zaawansowanej, popartej komercyjnym doświadczeniem znajomości języka Rust (w szczególności: asynchroniczność, zarządzanie pamięcią, współbieżność, profilowanie kodu).
-
Biegłego posługiwania się językiem SQL oraz dogłębnego zrozumienia specyfiki PostgreSQL (plany zapytań, agregacje, joiny, zasady spójności transakcyjnej).
-
Praktyki w tworzeniu niezawodnych systemów backendowych o dużej wydajności, budowie silników zapytań lub infrastruktury analitycznej.
-
Bezwzględnej dbałości o wysoką jakość kodu, bezawaryjność wdrożeń produkcyjnych oraz tworzenie kompleksowych testów.
-
Mile widziane: praktyczna znajomość narzędzi Apache Arrow / DataFusion, doświadczenie w budowaniu parserów SQL lub w projektowaniu systemów pod precyzyjne wyliczenia finansowe.
Oferujemy: ⭐
-
Współpracę w oparciu o kontrakt B2B.
-
Całkowicie zdalny model pracy.
-
Pełne pokrycie kosztów ewentualnych, incydentalnych podróży i spotkań projektowych.
-
Olbrzymią niezależność oraz decyzyjność techniczną przy rozwijaniu kluczowych komponentów systemu.