FauxPilot erprobte Anfang August 2022 Codevorschläge auf einem selbst betriebenen Server. Der erhaltene Projektstand vom 4. August kombinierte Salesforce CodeGen mit NVIDIAs Triton Inference Server und dem FasterTransformer-Backend.
2 bis 32 GB Gesamt-VRAM
Die Dokumentation verlangte Docker, Docker Compose und nvidia-docker. Für die Modellgrößen 350M, 2B, 6B und 16B nannte sie jeweils 2, 7, 13 und 32 GB Gesamt-VRAM. Der Speicherbedarf ließ sich laut Projekt auf mehrere GPUs verteilen. Eine passende Python-Variante und mehrsprachige Modelle standen zur Auswahl.
Die damalige VS-Code-Anbindung nutzte Debug-Einstellungen der Copilot-Erweiterung. Das Projekt warnte ausdrücklich vor möglichen Fehlern und teilweise künstlichen Wahrscheinlichkeitswerten der Serverantworten. Eine allgemeine Datenschutz- oder Produktionsreife-Garantie folgt daraus nicht.
Kurz zuvor war auch Amazon CodeWhisperer als Vorschau angekündigt worden.
Archivhinweis: Beschrieben ist der Projektstand vom August 2022, keine heutige Installationsanleitung.