Pardus AI

Pardus AI ist eine unternehmensinterne Versuchsplattform zur Erprobung von Hardware- und Softwaretechnologien im Bereich der Künstlichen Intelligenz. Der Aufbau dient als flexible Testumgebung, um neue Ansätze der KI-Inferenz, Datenverarbeitung und Systemintegration unter realen Bedingungen zu evaluieren.

Das System besteht aktuell aus zehn miteinander verknüpften NVIDIA-GPUs, die hohe Rechenleistung für Machine-Learning-Modelle, Deep-Learning-Inferenz und parallelisierte Datenanalysen bereitstellen. Durch die modulare Architektur können Komponenten jederzeit erweitert, ausgetauscht oder für spezifische Tests neu konfiguriert werden.

Pardus AI unterstützt verschiedene Frameworks wie PyTorch und TensorFlow sowie Inferenz-Engines wie vLLM und LlamaCPP und ermöglicht die schnelle Erstellung isolierter Testumgebungen. Die Plattform ist darauf ausgelegt, unterschiedliche Softwarestände, Modellvarianten und Hardwarekombinationen vergleichbar zu untersuchen, um Erkenntnisse für KI-Projekte zu gewinnen.

Mit dem System wurden beispielsweise Leistungsdaten tensorparalleler Inferenzverfahren als Vorstufe für die Entwicklung eingebetteter Inferenzlösungen ermittelt. In einer Vorstudie für die Echtzeitverarbeitung wurde ein Multi-Agent Classifier System mit einer Verarbeitungsleistung von rund 40k Tokens pro Sekunde demonstriert.