DeepSeek hat am 1. März 2025 mit smallpond ein quelloffenes Datenverarbeitungs-Framework veröffentlicht. Entwickler Sumanth machte am selben Tag auf X darauf aufmerksam, dass sich damit große Datensätze mit hoher Performance verarbeiten lassen. Das Projekt ist auf GitHub frei verfügbar.
DuckDB trifft auf verteiltes Dateisystem
smallpond koppelt die In-Process-SQL-Analyse von DuckDB mit 3FS, einem von DeepSeek entwickelten verteilten Dateisystem für moderne SSDs und RDMA-Netzwerke. Dadurch soll sich DuckDB, das normalerweise auf einem einzelnen Rechner läuft, auf verteilte Cluster skalieren lassen. In einem GraySort-Benchmark sortierte das Framework nach Angaben der Entwickler 110,5 TiB Daten in gut 30 Minuten, was einem Durchsatz von rund 3,66 TiB pro Minute entspricht.
Für Studios und Tool-Teams, die eigene Telemetrie- oder Analytics-Pipelines für große Spieledatenmengen betreiben, liefert smallpond eine leichtgewichtige Alternative zu klassischen Big-Data-Frameworks, ohne dass ein komplettes Cluster-Setup wie bei Spark nötig wird.