Im Independo Kalender können sich Nutzer:innen ihre Termine bereits vorlesen lassen. Die Funktion ist live. Allerdings sind wir mit der Qualität der Stimmen, die iOS und Android dafür mitbringen, nicht wirklich zufrieden. Technisch funktioniert die Sprachausgabe, aber die Stimmen klingen für unsere Anforderungen oft zu künstlich.

Deshalb beschäftigen wir uns inzwischen auch mit neuronalen Sprachmodellen. Sie können deutlich natürlicher klingen. Die Herausforderung ist allerdings, sie direkt auf den Smartphones auszuführen, die unsere Nutzer:innen tatsächlich verwenden.

Das Problem kennen wir auch von anderen KI-Funktionen. Ein Modell, das auf einem neuen iPhone direkt am Gerät läuft, ist auf einem älteren Smartphone vielleicht gar nicht verfügbar. Und nur weil es eine Cloud-Alternative gibt, heißt das noch lange nicht, dass wir persönliche Daten dorthin schicken wollen.

Bei Independo entwickeln wir barrierefreie Anwendungen, die Menschen beim Kommunizieren und im Alltag unterstützen. Dabei können wir uns nicht aussuchen, welche Geräte unsere Nutzer:innen verwenden. Unsere Software muss auf unterschiedlichen Smartphones, Tablets und im Browser funktionieren.

Genau deshalb haben wir IndeRun gestartet. Wir wollten die Anbindung von KI nicht für jede Plattform und jede neue Funktion wieder von vorne bauen.

Was aus IndeRun geworden ist

In den letzten Blogbeiträgen haben wir viel über die Architektur und unsere ersten Experimente mit verschiedenen KI-Anbietern geschrieben. Inzwischen ist daraus eine veröffentlichte Open-Source-Bibliothek geworden.

IndeRun v0.5.0 ist als stabile Version verfügbar. Dazu gibt es SDKs für TypeScript, Swift und Kotlin sowie eine ebenfalls veröffentlichte Capacitor-Integration für hybride Apps.

Auch unsere Entwicklerwebsite inderun.dev ist mittlerweile online. Dort haben wir die Installation, Beispiele und technische Dokumentation zusammengeführt. Wer IndeRun ausprobieren möchte, findet dort einen Einstieg, ohne sich zuerst durch das ganze GitHub-Repository arbeiten zu müssen.

Das Prinzip von IndeRun ist gleich geblieben: Die Anwendung beschreibt, was sie von der KI braucht. IndeRun prüft, welche Anbieter dafür auf dem jeweiligen Gerät infrage kommen, und entscheidet anhand der konfigurierten Regeln, wo die Aufgabe ausgeführt wird.

Dafür haben wir unter anderem Apple Foundation Models, Android ML Kit GenAI, OpenAI-kompatible Cloud-Dienste, ONNX-Modelle und die Chrome Prompt API angebunden.

Ein Punkt war uns dabei besonders wichtig: Wenn eine Anwendung verlangt, dass ihre Daten das Gerät nicht verlassen, darf IndeRun nicht einfach auf einen Cloud-Dienst ausweichen. Ist kein geeignetes lokales Modell vorhanden, bekommt die Anwendung stattdessen eine entsprechende Fehlermeldung. Cloud-Fallback ist nur möglich, wenn er eingerichtet und ausdrücklich erlaubt wurde.

Unterwegs haben wir auch unsere eigene Implementierung überarbeitet. Anfangs gab es Teile der Routing-Logik mehrfach, jeweils für die einzelnen Plattformen. Seit Version 0.3 verwenden wir dafür denselben Rust-Kern auf Web, iOS und Android. Das reduziert die Gefahr, dass sich die Plattformen bei der Auswahl von KI-Anbietern unterschiedlich verhalten.

Solche Entscheidungen waren ein großer Teil der Projektarbeit. Von außen sind sie kaum sichtbar, für die Wartung unserer Anwendungen machen sie aber einen Unterschied.

Mit Version 0.5.0 kommt Sprachausgabe dazu

Neben der Textverarbeitung haben wir IndeRun zuletzt um Sprachausgabe erweitert.

Dafür gibt es jetzt drei neue Funktionen: Mit listVoices() lässt sich abfragen, welche Stimmen verfügbar sind. speak() liest einen Text vor und generateSpeech() erzeugt eine Audiodatei, sofern die Plattform das unterstützt.

Die veröffentlichten Funktionen greifen auf die Sprachfunktionen des jeweiligen Betriebssystems zurück. Wir müssen also nicht mehr direkt unterschiedliche Apple- und Android-Schnittstellen in unseren Anwendungen ansprechen.

Das löst allerdings nur den technischen Teil des Problems. Wir können die Sprachausgabe jetzt einfacher integrieren, sind aber weiterhin auf die Stimmen angewiesen, die das jeweilige Betriebssystem zur Verfügung stellt. Und deren Qualität reicht uns, gerade für Anwendungen, in denen Menschen regelmäßig vorgelesene Inhalte hören, noch nicht aus.

Ganz identisch sind die technischen Möglichkeiten außerdem nicht. Im Browser wird beispielsweise die Wiedergabe unterstützt, während die Erzeugung einer abrufbaren Audiodatei derzeit auf iOS und Android möglich ist. Auch die verfügbaren Stimmen und ihre Offline-Fähigkeiten hängen vom Gerät ab.

Deshalb haben wir uns zusätzlich angesehen, wie gut sich neuronale Sprachmodelle lokal auf Smartphones ausführen lassen.

Ein Sprachmodell, zwei Smartphones, ziemlich unterschiedliche Ergebnisse

Für diese Tests haben wir das neuronale Text-to-Speech-Modell Articulino auf zwei echten Geräten ausgeführt: einem iPhone 15 mit iOS 27.2 und einem Google Pixel 9 Pro mit Android 17.

Wir haben unter anderem gemessen, wie lange die Geräte brauchen, um aus einem deutschen Text eine Audiodatei zu berechnen.

Mit der getesteten ONNX-int8-Version ergaben sich nach dem Aufwärmen des Modells folgende mediane Renderzeiten:

• Kurzer deutscher Text: iPhone 15: 71 ms, Pixel 9 Pro: 887 ms
• Langer deutscher Text: iPhone 15: 1.023 ms, Pixel 9 Pro: 10.719 ms

Der Unterschied hat uns durchaus überrascht. Auf dem iPhone war die Berechnung bei beiden Texten erheblich schneller. Das Pixel konnte die Sprache ebenfalls lokal erzeugen, brauchte dafür aber deutlich länger.

Die Zahlen beziehen sich auf die Berechnung des Audiosignals, nicht auf die gesamte Wiedergabezeit. Außerdem haben wir jeweils nur ein Gerät mit wenigen Testdurchläufen gemessen. Daraus lässt sich also nicht ableiten, dass jedes iPhone grundsätzlich schneller ist als jedes Android-Smartphone.

Neben der Geschwindigkeit wollten wir natürlich auch wissen, wie die erzeugte Sprache klingt. Schließlich ist genau das der Grund, warum wir uns überhaupt mit neuronalen Stimmen beschäftigen.

Deshalb haben wir uns die Audioausgaben auf beiden Geräten angehört. Dabei haben wir festgestellt, dass die gewählte Articulino-Stimme und die verwendete Referenz-Sprachprobe einen merklichen Einfluss auf den Klang hatten. Insgesamt waren wir mit den Ergebnissen zufrieden: Alle Modelle und Stimmen, die wir getestet haben, klangen auf beiden Smartphones gut.

Das ist unsere persönliche Einschätzung beim Anhören der Aufnahmen, keine wissenschaftliche Hörstudie mit Bewertungsskalen. Trotzdem war dieser Test hilfreich, weil reine Laufzeitmessungen eben nichts darüber aussagen, ob man einer Stimme gerne zuhört.

Die neuronalen Modelle sind derzeit noch experimentell. Die verwendeten Modellpakete sind für Benchmarks vorgesehen; vor einem produktiven Einsatz müssen unter anderem noch rechtliche Freigaben geklärt werden.

Wer sich die Ergebnisse genauer ansehen möchte, findet unsere Benchmarks, Testmethoden und Rohdaten auf GitHub.

IndeRun in unseren eigenen Anwendungen

Wir haben IndeRun von Anfang an für unsere eigenen Produkte entwickelt. Die ersten Anwendungsfälle sind inzwischen konkret.

Im Independo Kalender ist das Vorlesen von Terminen bereits live. Die aktuelle Lösung nutzt die Sprachausgabe des Betriebssystems. Sie erfüllt ihren Zweck, aber mit der Sprachqualität sind wir noch nicht dort, wo wir hinwollen. Deshalb interessieren uns die Ergebnisse mit neuronalen Modellen besonders.

Im Independo Portal arbeiten wir außerdem an einer KI-generierten Tageszusammenfassung, die sich noch in der Testphase befindet.

Für unsere weitere Entwicklung ist die gemeinsame technische Basis hilfreich. Wenn wir eine neue KI-Funktion einbauen, können wir auf denselben Schnittstellen und Regeln aufbauen. Änderungen bei einem Anbieter oder Betriebssystem müssen wir dadurch nicht mehr in jeder Anwendung getrennt behandeln.

Wir haben IndeRun außerdem bewusst als Open Source veröffentlicht. Der Quellcode, die Beispiele und die Capacitor-Integration stehen unter der MIT-Lizenz. Andere Entwickler:innen können sie kostenlos verwenden, anpassen und eigene Anbieter ergänzen.

Wie es weitergeht

Mit Version 0.5.0 haben wir einen Stand erreicht, den wir veröffentlichen und anderen Entwickler:innen zur Verfügung stellen können. Fertig ist die Arbeit damit noch nicht.

Bei der Sprachausgabe wissen wir mittlerweile ziemlich genau, wo wir weiterarbeiten wollen. Die Systemstimmen lassen sich zuverlässig nutzen, aber ihre Qualität überzeugt uns nicht. Neuronale Modelle liefern in unseren bisherigen Hörtests gute Ergebnisse. Nun müssen wir herausfinden, wie wir sie auch auf unterschiedlichen Geräten schnell genug, zuverlässig und mit den notwendigen rechtlichen Freigaben einsetzen können.

Daneben wollen wir weitere lokale KI-Anbieter unterstützen, die Dokumentation ausbauen und unsere bestehenden Integrationen weiterentwickeln.

IndeRun wird dabei weiterhin Teil unserer eigenen Softwareentwicklung bleiben. Wir planen kein eigenständiges kommerzielles Produkt daraus zu machen. Wenn andere Teams die Bibliothek nutzen oder etwas dazu beitragen möchten, freuen wir uns darüber.

Mit diesem Beitrag endet unsere Blogreihe zum netidee-Projekt IndeRun. Wir haben in der Förderzeit eine Menge ausprobiert, einige technische Entscheidungen über den Haufen geworfen und am Ende Software veröffentlicht, die wir selbst weiterverwenden.

Die Dokumentation und der Code bleiben unter inderun.dev und auf GitHub frei zugänglich.

Vielen Dank an netidee für die Förderung und die Möglichkeit, diese Entwicklungsarbeit als Open-Source-Projekt umzusetzen.

IndeRun (Call 20, Projekt 7913) wurde von der Förderaktion netidee unterstützt.