TorToiSe ist ein lokal ausführbares Text-to-Speech-System für mehrere Stimmen. Das offizielle GitHub-Repository beschreibt ein Modell, das bei Sprachsynthese Wert auf mehrere Stimmen sowie Prosodie und Intonation legt. Die Inferenz läuft auf dem eigenen Rechner und benötigt damit keinen externen Sprachdienst für die Verarbeitung der Audiodaten.
Lokale Installation mit PyTorch
Das Repository nennt Python, PyTorch und eine CUDA-fähige NVIDIA-GPU als typische Grundlage für den lokalen Betrieb. Für Windows empfiehlt das Projekt eine Conda-Umgebung. Die jeweils passende Installation von PyTorch wird über die offizielle Auswahlhilfe des PyTorch-Projekts zusammengestellt, bevor das TorToiSe-Repository geklont und installiert wird. Abhängigkeiten und Versionshinweise können sich ändern, deshalb sollten die Angaben direkt vor einem Testlauf mit dem aktuellen Repository abgeglichen werden.
pip install tortoise-tts installiert die im Repository veröffentlichte Paketversion. Alternativ nennt die Projektdokumentation die Installation direkt aus dem Git-Repository. Die benötigte Rechenzeit hängt von Modell, GPU, Sprachmaterial und Qualitätsvorgabe ab. TorToiSe kombiniert einen autoregressiven Decoder mit einem Diffusions-Decoder, was die auf Qualität ausgerichtete Architektur erklärt, aber auch höhere Anforderungen als bei einfachen Sprachbibliotheken mit sich bringt.
Referenzaufnahmen und Stimmen
Für eine eigene Stimme werden kurze Referenzaufnahmen verwendet. Saubere WAV-Dateien mit gleichbleibendem Mikrofonabstand und wenig Raumhall erleichtern die Auswertung. Mehr Aufnahmen führen nicht automatisch zu einer besseren Ausgabe. Aussprache, Sprechtempo und die sprachliche Färbung der Vorlagen beeinflussen das Ergebnis ebenso wie die Auswahl des Modells und die gewählte Qualitätsstufe.
Die wissenschaftliche Beschreibung des Modells ist im zugehörigen Forschungsbeitrag auf arXiv dokumentiert. Dort werden unter anderem die mehrstimmige Ausrichtung und die Generierung natürlicherer Betonungen beschrieben. Die Projektdokumentation enthält zusätzlich Beispielstimmen und Hinweise für die Inferenz.
Nutzen für Spiele und interaktive Medien
Für Entwickler kann lokale Sprachsynthese bei Prototypen, temporären Dialogen, Barrierefreiheitsfunktionen und automatisierten Audio-Tests helfen. Dialoge lassen sich zunächst ohne Sprechertermin vertonen und später durch finale Aufnahmen ersetzen. Bei einem produktiven Einsatz müssen Hörtests, Untertitel, Lautstärke, Aussprache und die Austauschbarkeit einzelner Audiodateien in die Pipeline aufgenommen werden.
Stimmaufnahmen sind personenbezogene und oft besonders schützenswerte Inhalte. Eine kommerzielle Nutzung setzt deshalb die Zustimmung der betroffenen Person sowie die Klärung der Rechte an Aufnahme, Trainingsmaterial und erzeugter Stimme voraus. Die im Repository enthaltenen Beispielstimmen dürfen nicht ohne Prüfung der jeweiligen Lizenz oder gegen den Willen realer Personen in einem Spiel verwendet werden.