Förderjahr 2024 / Projekt Call #19 / ProjektID: 7399 / Projekt: CrOSSD2
Im CrOSSD-Projekt beschäftigen wir uns mit der Frage, wie man die Gesundheit von Open-Source-Software (OSS) objektiv und vergleichbar messen kann. Nachhaltigkeit, Wartbarkeit und Vertrauenswürdigkeit sind entscheidend – besonders für Forschungssoftware.
Auf unserer CrOSSD Health-Plattform erfassen wir bereits zentrale Metriken, die den Zustand eines Projekts beschreiben, z.B.:
Diese Kennzahlen orientieren u.a. sich an den CHAOSS-Metriken der Linux Foundation und an Forschungsarbeiten wie “Is this GitHub Project Maintained?” (2020). Sie bilden ein solides Fundament – doch die Herausforderung liegt darin, diese Informationen automatisiert, skaliert und kontextualisiert auszuwerten. Hier beschäftigen wir uns aktuell mit dem Einsatz vonLLMs und agentischen KI-Systeme.
LLMs als Enabler
Viele unserer OSS-Metriken in der CrOSSD-Plattform erfordern die Zusammenführung verschiedener Datenquellen, z.B., Git-Commits, Issues, Paket-Abhängigkeiten, Release-Tags. LLMs können dabei helfen, diese Teils unstrukturierten Informationen zu verstehen und anzureichern.
Ein LLM kann z.B. automatisch erkennen, ob ein Commit ein Bugfix, ein Feature oder ein Refactoring ist. Arbeiten wie Amit and Feitelson (2020) zeigen, dass solche Commit-Klassifikationen die Aussagekraft klassischer Metriken deutlich verbessern.
Von Zahlen zu Einsichten
Metriken allein erzählen aber noch keine Geschichte: wenn sich z.B. der Churn-Wert verdoppelt, ist das ein Problem oder ein Zeichen aktiver Entwicklung?
LLMs können hier Kontext schaffen, z.B. durch das vergleichen von Projekten, erkennen von Trends oder formulieren von Berichte:
„Das Projekt hat im letzten Quartal 12 aktive Contributor (–25 %). Die durchschnittliche Issue-Schließzeit stieg von 3 auf 7 Tage. Der Code-Churn liegt mit 22 % über dem Median vergleichbarer Projekte (18 %).“
LLMs erreichen in strukturierten Aufgaben hohe Genauigkeit, sind aber nicht unfehlbar. Darum bleibt Transparenz bei der Berechnung der Metrik zentral: Nutzer:innen sollen nachvollziehen können, woher ein Score kommt und wie er berechnet wurde. Metriken brauchen Kontext – ein hoher Code-Churn kann sowohl auf Chaos als auch auf Innovation hindeuten.
Nächste Schritte im CrOSSD-Projekt
In der kommenden Phase wollen wir:
-
LLM-gestützte Metrik-Anreicherung – z.B. Commit- und Issue-Texte automatisch klassifizieren.
-
Automatische Health-Reports – interpretierte, textuelle Zusammenfassungen.
-
Validierung – LLM-Ergebnisse regelmäßig manuell validieren.
Klassische OSS-Metriken, wie sie aktuell in CrOSSD implementiert sind (Aktivität, Churn, Code-Abhängigkeiten, etc.) sind etabliert. Mit LLMs wollen wir sie intelligenter interpretieren und automatisiert auswerten und so verständliche, kontextbezogene Einsichten über die Gesundheit von Open-Source-Software zu generieren.
