Opdrachtomschrijving
In the Future Network Services (FNS) project, SURF is providing a test bed environment based on a federation of Kubernetes clusters spanning the edge-cloud continuum. Dit testbed wordt gebruikt ter ondersteuning van 5G/6G-netwerkusecases binnen het FNS-project. Daarnaast wil SURF een MLops-framework bieden dat de 5G/6G AI-usecases van training tot inferentie bovenop het testbed kan ondersteunen. De DevOps-engineer in het FNS-project zou aan beide taken werken.
Activiteiten
– Onboard FNS-usecases op het FNS-testbed en consultancy bieden over het gebruik en de best practices van Kubernetes;
– Onderhoud van het FNS-testbed en verdere ontwikkeling van het FNS-testbed, zoals vereist door usecases;
– Onderzoek naar de huidige stand van zaken in MLops-frameworks/platforms en samen met SURF-architecten en ML-experts bepalen welk MLops-platform geschikt is voor het FNS-project;
– Een MLops-platform implementeren op het FNS-testbed, onderhoud bieden en voortdurende ontwikkeling van het MLops-platform;
– Onboard FNS-usecases op het MLops-platform en assistentie bieden aan usecases bij het gebruik van het MLops-platform;
– Technische MLops-advies binnen FNS en SURF bieden wanneer nodig.
Verwachte deliverables
– Up-to-date documentatie en Infrastructure as Code (IaC) van alle DevOps-activiteiten met betrekking tot het FNS-testbed, zodat 1) het werk kan worden gereproduceerd en 2) toekomstige DevOps-engineers het onderhoud en de ontwikkeling van het testbed kunnen voortzetten;
– Een rapport en presentatie voor een intern publiek van SURF en/of externe partnerbijeenkomst van het FNS-project over het uitgevoerde werk en de leerervaringen over de huidige stand van zaken van MLops-frameworks met een aanbeveling over welk framework moet worden geselecteerd voor FNS.
Eisen
- Deep understanding of Kubernetes.
- Experience with Helm.
- Experience with Linux.
- Experience with Infrastructure as Code and CI/CD tooling (Git, GitLab CI/CD, ArgoCD and/or Flux).
- Knowledge and experience with networking (preferably also 5G networks).
- Low-level network understanding (including packet structures, protocol stacks and custom forwarding behaviours).
- Experience with SRv6 (Segment Routing over IPv6) (architectures, use cases and implementation details).
- Affinity with AI/ML workflows.
- Experience with MLOps (model deployment, monitoring and lifecycle management).
- Proven expertise in orchestrating and maintaining live, geographically distributed network systems, leveraging Kubernetes for orchestration.
- Ability to take a PoC to a higher level of maturity.
- Ability to effectively learn, implement, teach and communicate new technologies to people with varying technical backgrounds.
- Ability to work within interdisciplinary teams (AI/ML, HPC, Networking, innovation).
- Proficiency in both Dutch and English.
Wensen
- Onboard FNS use cases on the FNS test bed and provide consultancy to use cases in the use and best practices of Kubernetes.
- Maintenance of the FNS test bed and further development of the FNS test bed, as required by use cases.
- Investigate the current state of the art in MLops frameworks/platforms and determine together with SURF architects and ML experts on the appropriate MLops platform for the FNS project.
- Deploy an MLops platform on the FNS test bed, provide maintenance and continued development of the MLops platform.
- Onboard FNS use cases on the MLops platform and assist use cases in making use of the MLops platform.
- Provide technical MLops consultancy within FNS and SURF when needed.
- Deliver up-to-date documentation and Infrastructure as Code (IaC) of all DevOps activities relating to the FNS test bed, so the work can be reproduced and future DevOps engineers can continue maintenance and development of the test bed.
- Deliver a report and presentation for a SURF internal audience and/or external partner meeting of the FNS project about the work done as well as learnings on the current state of the art of MLops frameworks with a recommendation on which framework should be selected for FNS.