KomMKonLLM
Kombinatorische Methoden für Konsistenztests von Large Language Models

KomMKonLLM

Förderjahr 2024 / Projekt Call #19 / ProjectID: 7409

Entwicklung von Open Source Software zur Anwendung von kombinatorischen Methoden für Konsistenztests von Large Language Models (LLMs).

Social Media Präsenz: https://bsky.app/profile/kommkonllm.bsky.social

Themengebiet

Artificial Intelligence
,
Künstliche Intelligenz /AI / Machine Learning

Zielgruppe

Systemintegratoren
,
Techniker:innen
,
thematische Community

Gesamtklassifikation

Client Server Applikation

Technologie

Datenbank
,
Datenbanken relationale
,
Python

Lizenz

MIT

Projektteam

Profile picture for user bernhard.garn
Bernhard Garn
Projektleiter
Profile picture for user ludwig.kampel
Ludwig Kampel
Stellv. Projektleiter
Profile picture for user mleithner
Manuel Leithner

Projektergebnisse

Summary CC-BY

Einseitige Zusammenfassung von KomMKonLLM

KomMKonLLM_Einseiter.pdf
424.19 KB
Einseitige Zusammenfassung von KomMKonLLM
Server SW MIT

Server-Lösung für kombinatorische Konsistenztests von LLMs

https://github.com/KomMKonLLM/KomMKonLLM
GitHub Repository von KomMKonLLM
Datensammlung MIT

Repository von kombinatorischen Testfällen zur Konsistenzevaluierung von LLMs

https://zenodo.org/records/15209547
KomMKonLLM Repository von kombinatorischen Testfällen zur Konsistenzevaluierung…
Anwenderdoku CC-BY

Anwender:innen Dokumentation zu KomMKonLLM

KomMKonLLM_UserGuide_0.pdf
648.11 KB
Anwender:innen Dokumentation zu KomMKonLLM
Entwicklerdoku CC-BY

Entwickler_innen-DOKUMENTATION zu KomMKonLLM

HACKING_on_KomMKonLLM_V02.pdf
431.14 KB
Entwickler_innen-DOKUMENTATION zu KomMKonLLM
Zwischenbericht CC-BY

Zwischenbericht von KomMKonLLM

prj7409_Call19_Zwischenbericht_V01.pdf
524.17 KB
Zwischenbericht von KomMKonLLM
Endbericht CC-BY

Endbericht von KomMKonLLM, Projekt 7490, Call 19

prj7409_Call19_Endbericht_V03.pdf
699.38 KB
Endbericht von KomMKonLLM, Projekt 7490, Call 19
Summary

Zusammenfassung von KomMKonLLM, Projekt 7490, Call 19

prj7409_Call19_Zusammenfassung_V03.pdf
183.11 KB
Zusammenfassung von KomMKonLLM, Projekt 7490, Call 19

Blogbeiträge

KomMKonLLM - Ausblick und nächste Schritte

( )
KomMKonLLM - Ausblick

Example source code taken from the KomMKonLLM implementation
In den vorherigen Blogeinträgen wurde bereits unsere Methodik zum Konsistenztesten von Large Language Models (LLMs) erklärt. Vor kurzem haben wir auch die Implementierung unseres Projekts sowie ein beispielhaftes Datenset zur Evaluierung von LLMs ver

( )
Konsistenztesten von LLMs: Die praktische Implementierung

This picture shows a Covering Array in the web-version of CAgen.
Ein Überblick über theoretische Aspekte des kombinatorischen Testens.

( )
Kombinatorisches Testen in aller Kürze

This image shows a screenshot of the generated pairwise test set for the sentence model used in this blog post by the web version of CAgen.
Exemplarische Ausführung des Prozesses zur Erzeugung kombinatorischer Konsistenztests

( )
Beispiel für das Erzeugen kombinatorischer Konsistenzfragen

This image shows the process of generating combinatorial consistency tests for LLMs.
Wir beschreiben den Prozess zur Erstellung von Konsistenztests für LLMs mit Hilfe von kombinatorischen Methoden

( )
Methodik von KomMKonLLM (Teil 2 von 2)

This image shows the process of generating combinatorial consistency tests for LLMs.
Wir beschreiben den Prozess zur Erstellung von Konsistenztests für LLMs mit Hilfe von kombinatorischen Methoden (Teil 1 von 2).

( )
Methodik von KomMKonLLM (Teil 1 von 2)

This image shows the architecture of different components of KomMKonLLM.
Wir geben wir eine kurze Beschreibung der Komponenten der Architektur von KomMKonLLM an, stellen herausgearbeitete Anforderungen an verwendete Technologien in KomMKonLLM dar und präsentieren ausgewählte Software-Technologien, die in KomMKonLLM verwen

( )
Architektur & Technologien

This image shows the combinatorial consistency testing pipeline for LLMs.
Überblick über das Projekt KomMKonLLM.

( )
Überblick

Ähnliche Projekte

Wir sind ein Team aus Computerwisschenaftlern, das es sich zum Ziel gesetzt hat, den Zugang und Einstieg zu Data-Science möglichst einfach zu gestalten. Dr. Stefan Gindl: Senior-Data-Scientist und Software-Developer Yasin Ghafourian: PhD-Researcher

PrototAIp

Die Motivation hinter dem Projekt ist es die Entwicklung und den Betrieb eines IoT-Systems zu vereinfachen. Dabei ist das Ziel ein Baukastensystem für Hardware, Datentransport und Sicherung zur Verfügung zu stellen.

Open³ Toolbox

Phishing ist ein bis heute ungelöstes Problem. Wir verbinden Technik mit Psychologie und wollen Phishing mit Hilfe einer neuartigen Awareness-Strategie besiegen. Vorrangige Zielgruppe sind SchülerInnen zwischen 14 -18 Jahren.

Phishingtraining

MSS network map.
Das Macroseismic Sensor (MSS) Netzwerk ist ein dichtes Netzwerk seismischer low-cost Sensoren, die in besiedelten Gebieten mit sensitiver Infrastruktur aufgestellt sind.

MSS Outreach

Internet security
Client- und Server-seitige Software Bibliotheken für EntwicklerInnen zur Gewährleistung einer sicheren und nachvollziehbaren Datenübertragung!

SIKOSI