Data streaming engineer

Dit ga je doen
Daarom wil je als Data Streaming Engineer bij NS werken

• Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen.
• Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling.
• Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform.

Dit ga je doen als Data Streaming Engineer
Data vormt een essentieel onderdeel van alle processen en kent een constante dynamiek. Dagelijks vertrouwen ruim één miljoen reizigers in Nederland op technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams aan deze uitdagingen binnen een innovatieve dataomgeving.

Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten vormen de basis voor processen zoals het berekenen van concessie-KPI’s, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Daarnaast wordt FLOW ontwikkeld: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag.

FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uittransacties, ticketverkoop, dienstregelingupdates en conducteurscontroles. Met deze data worden realtime inzichten en prognoses gebouwd die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie.

Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW.

• Ontwerpen, bouwen en beheren van schaalbare streaming pipelines voor realtime prognoses binnen FLOW.
• Inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming.
• Integreren van machine learning in streaming datastromen zodat prognosemodellen continu kunnen werken met actuele informatie.
• Ontwikkelen van deploymentstrategieën voor streamingapplicaties met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases.
• Ontwerpen van replay-mechanismen waarmee historische streaming-events gecontroleerd opnieuw kunnen worden afgespeeld.
• Opzetten van streaming operations, monitoring, alerting en observability.
• Analyseren van datastromen en operationele metrieken om verbeterpunten snel zichtbaar te maken.
• Samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases naar productie te brengen.

Hier ga je werken
Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega’s van de afdeling Data, Innovatie & Analyse (DIA) hun krachten. In scrumteams wordt agile samengewerkt aan kwalitatief hoogwaardige en innovatieve dataproducten die gebruikers snel en betrouwbaar inzicht geven door informatie te verzamelen, combineren, analyseren en presenteren.

Op NS kun je rekenen
Werken bij NS betekent dat je het verschil kunt maken in de wereld van duurzame mobiliteit. Je helpt Nederland bereikbaar te houden en krijgt veel vrijheid. Geen dag is hetzelfde. De kernwaarden van NS zijn open en betrouwbaar, met een sterke focus op resultaat en vooruitgang.

Eisen voor de opdracht Data streaming engineer

• Ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen.
• Expertise op het gebied van streaming en het overbrengen van deze kennis binnen het team, zodat een solide technisch fundament voor FLOW ontstaat.
• Ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks.
• Kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git.
• Ervaring met machine learning in productie en toepassing van ML-modellen binnen realtime of near-realtime datastromen.
• Ervaring met deploymentstrategieën voor data- of streamingapplicaties, inclusief releases, rollback, betrouwbaarheid en schaalbaarheid.
• Kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen.
• Schrijft schone, goed geteste code in Python en PySpark met oog voor details, edge cases en operationele robuustheid.
• Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.

Wensen voor de opdracht Data streaming engineer

Geïnteresseerd in deze opdracht?

Zo gaan wij te werk

1. Reageer op de opdracht Data streaming engineer

Wanneer je op deze opdracht reageert, starten wij direct met het beoordelen van een mogelijke match.

• We bekijken of jouw ervaring en cv aansluiten bij de opdracht
• We leggen jouw profiel langs de lat van de eisen van de opdrachtgever
• We checken je tarief en zetten dit af tegen de actuele markt om je positie te bepalen

Met deze werkwijze vergroot je jouw kansen op succesvolle bemiddeling. Je hoort op werkdagen binnen 24 uur van ons of er sprake is van een match en of we samen het offertetraject kunnen beginnen.

2. Introductie bij Nederlandse Spoorwegen

Past jouw profiel bij de eisen van Nederlandse Spoorwegen? Dan volgen de volgende stappen:

• Wij stellen jou voor aan Nederlandse Spoorwegen
• Indien er aanvullende stukken nodig zijn, zoals een motivatie, diploma's, referenties of een VOG, zorgen wij voor het verzamelen hiervan
• We stellen gezamenlijk een overtuigende offerte op waarin jouw toegevoegde waarde helder naar voren komt
• Je krijgt van ons een tariefadvies op basis van de marktsituatie, maar jij beslist uiteindelijk zelf over het uiteindelijke tarief

Ontvangen we een positieve reactie van Nederlandse Spoorwegen, dan plannen we doorgaans een kennismakings- of intakegesprek met je in.

3. Aftrap van de opdracht!

Bij ons kun je rekenen op openheid en transparantie. Doordat we direct schakelen met zelfstandigen, houden we de inhuurketen overzichtelijk en kun jij altijd precies zien hoe het traject verloopt.

• Gemiddelde marges: we rekenen 13% marge over je uurtarief; dit daalt na het eerste jaar naar 11%.
• Supersnelle betaling: zodra de opdrachtgever heeft overgemaakt, staat jouw brutoloon op werkdagen altijd binnen 24 uur op je rekening.
• Altijd je eigen keuzes: bij ons heb je geen concurrentie- of relatiebeding. Wanneer je goed werk levert en de opdrachtgever biedt meer werk aan, mag je dit direct aannemen, volledig vrij dus.

Zo bieden we jou heldere afspraken en behoud je de zelfstandigheid die past bij ondernemen op jouw manier.

Reageer nu binnen 24 uur reactie

Even voorstellen

Wij zijn LibLab

Wat fijn dat je je weg hebt gevonden naar LibLab! Dit platform is speciaal ontwikkeld voor jou als zelfstandig professional en sluit naadloos aan op de wensen en inzichten uit de dagelijkse praktijk. Met inmiddels ruim 18 jaar eigen ervaring als zelfstandig professionals weten wij precies welke uitdagingen je kunt tegenkomen, bijvoorbeeld bij het binnenhalen van nieuwe opdrachten of het samenwerken met tussenpersonen. Omdat we zelf iedere dag met deze situaties te maken hebben gehad, merken we dat de traditionele methodes niet langer toereikend zijn en echt toe zijn aan vernieuwing. Dát is precies waar wij ons voor inzetten.

Meerwaarde van LibLab voor jouw opdrachten

• Snel duidelijkheid: zodra je je aanmeldt voor een opdracht ontvang je binnen één werkdag bericht of we een goede match zien
• Eerlijke marges: je betaalt 13% marge en vanaf het tweede jaar wordt dit percentage automatisch verlaagd naar 11%
• Supersnelle uitbetaling: nadat de klant het bedrag heeft voldaan staat je factuur of brutoloon binnen 24 uur op je rekening
• Volledige vrijheid: wij werken zonder relatiebeding of concurrentiebeding; je kunt dus altijd elke vervolgopdracht zelf bepalen

Meer over ons