Container scheduling using ML-based workload characterization for heterogeneous computer clusters
Profile picture for user PhilippRaith
Philipp Raith

Container scheduling using ML-based workload characterization for heterogeneous computer clusters

Förderjahr 2020 / Stipendien Call #15 / Stipendien ID: 5237

Die Arbeit behandelt das Scheduling/Placement Problem von Containern in Cloud bzw. Edge Systemen. Speziellen Fokus lege ich auf Serverless Functions, die in Anbetracht der hohen Heterogenität der Hardware im Edge Bereich für Platform Provider neue Herausforderungen darstellen. Aber auch in der Public Cloud ist Heterogenität anzutreffen und die Performance von Applikation kann durch “Nachbar”-Container verringert werden.

Neben den klassischen Ressourcen wie CPU,RAM, Netzwerk & Disk, gibt es heute viele Workloads die mit HW-Beschleunigern arbeiten. Bspw. GPU/TPU im AI Bereich.

Kubernetes berücksichtigt aber nur CPU & RAM Limits bzw. manuellen Input bei der Platzierung wodurch es zu Kämpfen um andere Ressourcen kommen kann.

Mein Ziel ist es mit Hilfe von Machine Learning optimale Platzierungen automatisch und zur Laufzeit zu erkennen um bessere Performance und Ressourcenstaus zu verhindern und verwenden ua. Edge Devices.

Der Großteil meiner Arbeit ist bereits öffentlich zugänglich: https://github.com/phip123/workload-aware-k8s

Uni | FH [Universität]

Technische Universität Wien

Themengebiet

IoT
,
Künstliche Intelligenz /AI / Machine Learning

Gesamtklassifikation

Diplomarbeit
,
Masterarbeit

verwendete Open Source SW

Kubernetes
,
OpenFaaS
,
TensorFlow
,
faas-sim
,
https://github.com/PasaOpasen/geneticalgorithm2
,
Kubernetes
,
scikit-learn
,
geneticalgorithm2
,
faas-sim
,
telemd

Projektergebnisse

Endbericht in Form meiner Diplomarbeit

Summary CC-BY

Zwischenbericht

Endbericht CC-BY

Abstract der fertigen Arbeit

Datenschutzinformation
Der datenschutzrechtliche Verantwortliche (Internet Privatstiftung Austria - Internet Foundation Austria, Österreich) würde gerne mit folgenden Diensten Ihre personenbezogenen Daten verarbeiten. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, treffen Sie bitte eine Auswahl: