Das für seine KI-Modelle bekannte Unternehmen DeepSeek hat mit smallpond ein neues, leichtgewichtiges Datenverarbeitungs-Framework unter einer Open-Source-Lizenz veröffentlicht. Das Tool basiert auf der leistungsstarken SQL-Datenbank DuckDB sowie dem schnellen, verteilten Dateisystem 3FS. Ziel ist es, Entwicklern die Verarbeitung extrem großer Datensätze im Petabyte-Bereich mit hoher Performance zu ermöglichen.
Smallpond nutzt das Ray-System, um Abfragen parallel über mehrere Rechenknoten zu verteilen. Das Framework zeigt seine Stärken vor allem dort, wo bisher schwere Frameworks wie Apache Spark zum Einsatz kamen. In Tests konnte smallpond bereits demonstrieren, wie es 100 TiB an Daten in nur rund 30 Minuten sortiert. Es ist für Datenanalysen im Bereich des KI-Trainings konzipiert.
Mit der Freigabe von smallpond unterstreicht DeepSeek seinen Open-Source-Ansatz, nachdem das Unternehmen bereits mit anderen Tools und KI-Modellen für Aufsehen gesorgt hat. Entwickler können das Python-basierte Framework ab sofort kostenfrei auf GitHub nutzen.