Data Engineer
Über die Position
Über Quicklizard
Quicklizard ist eine dynamische Preisgestaltungsplattform, die von führenden Einzelhändlern, Marktplätzen und E-Commerce-Marken weltweit genutzt wird. Unsere Engine erfasst Verkaufs-, Wettbewerbs-, Bestands- und Kostendaten und wandelt diese in Echtzeit-Preisempfehlungen um – dabei werden täglich Milliarden von Datensätzen über regionenübergreifende Pipelines verarbeitet, die ununterbrochen laufen.
Die Rolle
We're looking for a Data Engineer to own our data architecture end-to-end. You'll design, build, and scale the pipelines that power every pricing decision we make - from raw ingestion through our data lake to the analytics and BI layers our customers rely on. This is a hands-on leadership role: you'll set technical direction, drive architectural decisions, and mentor a team of data engineers, while still writing code and owning delivery.
Ihre Aufgaben
- Entwicklung und Aufbau groß angelegter ETL/ELT-Pipelines für Batch- und Streaming-Verarbeitung
- Eigene Data-Lake-Konzeption, Tabellenmodellierung und Partitionierungsstrategie für Datensätze mit Milliarden von Zeilen
- Steigern Sie die Abfrageleistung und optimieren Sie die Cloud-Kosten auf AWS und GCP
- Festlegung von Standards für Datenqualität, Beobachtbarkeit und Zuverlässigkeit – Aktualität, Korrektheit und SLAs
- Arbeiten Sie mit den Backend-, Produkt- und Data-Science-Teams zusammen, um Daten über interne und kundenorientierte APIs bereitzustellen
Unser Stack
Spark / EMR · Airflow · BigQuery · PostgreSQL & Aurora · Kafka · RabbitMQ · Elasticsearch · Go · Python · AWS · GCP · Kubernetes · Terraform
Was wir suchen
- Mindestens 5 Jahre Erfahrung im Bereich Data Engineering mit praktischer Erfahrung in groß angelegten Produktionsumgebungen (ab Terabyte, Milliarden von Zeilen)
- Fundierte SQL-Kenntnisse und umfassende Erfahrung im Bereich der verteilten Datenverarbeitung (Spark oder vergleichbare Technologien)
- Fundierte Kenntnisse in Python und/oder Go
- Praktische Erfahrung mit Cloud-Data-Warehouses (BigQuery, Snowflake, Redshift) und Orchestrierungstools
- „AI-first“-Denkweise – Sie arbeiten im Rahmen Ihrer täglichen Arbeit aktiv mit KI-Programmierwerkzeugen (Claude Code, Cursor, Copilot) und LLM-basierten Agenten und suchen nach Möglichkeiten, die technische Arbeit damit zu automatisieren und zu beschleunigen
- Erfahrung in der Entwicklung oder Betreuung von KI-/LLM-gestützten Datenprodukten – Pipelines, die Modelle, Agenten oder ML-Systeme mit Daten versorgen
- Produktorientierung: Dir ist wichtig, wofür die Daten verwendet werden, und nicht nur, dass der Auftrag erfolgreich abgeschlossen wurde
Von Vorteil: Streaming-Architekturen, Verantwortung für Kosten/FinOps, multiregionale oder Multi-Cloud-Systeme, Erfahrung im Bereich E-Commerce oder Preisgestaltung, MCP-Server oder agentenbasierte Tools.