SoverIQ Core
- Startseite /
- Produkt /
- SoverIQ Core
Offen. Prüfbar. Selbst betreibbar.
SoverIQ Core ist die quelloffene Grundlage, auf der SoverIQ Stack, Cloud und Box aufbauen. Wer vollständige Transparenz über jede Schicht seiner KI-Infrastruktur benötigt – oder eigene Erweiterungen tief in den Stack integrieren will – startet mit Core.
Kein proprietärer Kern. Kein versteckter Code. Kein Vertrauen erforderlich.
Was ist SoverIQ Core?
SoverIQ Core ist ein kuratiertes, produktionsreifes Deployment aus Open-Source-Komponenten für selbst gehostete generative KI. Es bringt alle Bausteine mit – von der Modell-Inferenz über die Vektordatenbank bis zur Nutzeroberfläche – und verbindet sie zu einem betriebsbereiten System.
Der Stack ist für Kubernetes ausgelegt, vollständig über Helm konfigurierbar und mit Standard-Observability-Werkzeugen ausgestattet.
Komponenten und verwendete Open-Source-Tools
Modell-Inferenz
| Komponente | Tool | Beschreibung |
|---|---|---|
| LLM-Runtime | Ollama | Lokale Modell-Inferenz für CPU und GPU, OpenAI-kompatible API |
| Inferenz-Backend (alternativ) | vLLM | Hochdurchsatz-Inferenz für GPU-Cluster, PagedAttention |
| Modell-Hub | Hugging Face Hub | Modellbezug; Modelle werden lokal gespiegelt, kein laufender Zugriff erforderlich |
Unterstützte Modelle (Auswahl): Llama 3, Mistral, Phi-3, Gemma 2, Qwen 2.5 – alle in quantisierten Varianten für CPU-Deployments verfügbar.
RAG-Engine und Wissensdatenbank
| Komponente | Tool | Beschreibung |
|---|---|---|
| Vektordatenbank | Qdrant | Hochleistungs-Vektorspeicher, vollständig on-premise, Rust-basiert |
| Embedding-Modelle | nomic-embed-text / multilingual-e5 | Lokal laufende Embedding-Modelle, DSGVO-konform |
| RAG-Framework | LangChain / LlamaIndex | Dokumentenverarbeitung, Chunking, Retrieval-Pipelines |
| Dokumentenverarbeitung | Unstructured | PDF, DOCX, XLSX, HTML, E-Mail – Extraktion und Normalisierung |
API-Gateway und Orchestrierung
| Komponente | Tool | Beschreibung |
|---|---|---|
| API-Gateway | LiteLLM Proxy | OpenAI-kompatibler Proxy, Routing zwischen Modellen, Rate Limiting, Usage Tracking |
| Workflow-Engine | n8n | Low-Code-Automatisierung für KI-Workflows und Daten-Pipelines |
| Authentifizierung | Keycloak | Identity-Provider, SAML 2.0, OIDC, RBAC |
Nutzeroberfläche
| Komponente | Tool | Beschreibung |
|---|---|---|
| Chat-Interface | Open WebUI | Vollständige Chat-Oberfläche, RAG-Integration, Modellauswahl, Konversationshistorie |
| Admin-Interface | SoverIQ Admin (eigene Entwicklung, MIT-lizenziert) | Nutzerverwaltung, Modell-Deployment, Audit-Log-Ansicht |
Observability und Betrieb
| Komponente | Tool | Beschreibung |
|---|---|---|
| Metriken | Prometheus + Grafana | Inferenz-Latenz, Token-Throughput, GPU-Auslastung, API-Fehlerrate |
| Logging | Loki | Log-Aggregation, strukturiertes Logging aller Komponenten |
| Tracing | OpenTelemetry + Tempo | Distributed Tracing für RAG-Pipelines und API-Calls |
| Alerting | Alertmanager (Prometheus-Stack) | Alerts für GPU-Fehler, Modellausfall, Queue-Tiefe |
Repositories
SoverIQ Core besteht aus mehreren Repositories:
github.com/soveriq/
├── core # Helm Charts, Kubernetes-Manifeste, Konfigurationsreferenz
├── admin # SoverIQ Admin UI (React, MIT-Lizenz)
├── connector-framework # Konnektoren für SAP, SharePoint, DATEV, REST
├── rag-pipelines # Dokumentenverarbeitungs- und Retrieval-Pipelines
└── deployment-examples # Beispiel-Deployments: Bare Metal, K3s, EKS, Hetzner
Die Repositories sind derzeit in der Vorbereitung zur Veröffentlichung. Registrieren Sie sich für Early Access.
Kubernetes-Deployment
SoverIQ Core wird vollständig über Helm Charts ausgeliefert. Das Deployment ist für Standard-Kubernetes-Cluster (K3s, RKE2, EKS, GKE mit EU-Region, Hetzner K8s) ausgelegt.
Voraussetzungen
Kubernetes >= 1.28
Helm >= 3.12
Storage ReadWriteOnce PVC (min. 100 GB für Modelle)
RAM min. 16 GB (CPU-Only), min. 32 GB (mit GPU)
GPU optional: NVIDIA, CUDA 12.x (für GPU-Inferenz)
Schnellstart
# Repo hinzufügen
helm repo add soveriq https://charts.soveriq.ai
helm repo update
# Namespace anlegen
kubectl create namespace soveriq
# Werte-Datei anpassen
helm show values soveriq/core > values.yaml
# → values.yaml bearbeiten: Modell, Storage, Auth, Domain
# Deployment
helm install soveriq-core soveriq/core \
--namespace soveriq \
--values values.yaml
# Status prüfen
kubectl get pods -n soveriq
Was wird deployt?
soveriq-core/
├── ollama # Modell-Inferenz (StatefulSet + PVC)
├── qdrant # Vektordatenbank (StatefulSet + PVC)
├── litellm # API-Gateway (Deployment)
├── open-webui # Chat-Interface (Deployment)
├── keycloak # Identity Provider (StatefulSet)
├── n8n # Workflow-Engine (Deployment)
├── prometheus-stack # Metriken + Grafana + Loki (optional)
└── soveriq-admin # Admin-UI (Deployment)
Alle Komponenten sind per values.yaml einzeln aktivier- und konfigurierbar. Wer z. B. einen bestehenden Keycloak-Server nutzt, deaktiviert einfach die interne Keycloak-Instanz.
Ressourcenprofile
| Profil | Beschreibung | Min. Hardware |
|---|---|---|
| minimal | CPU-only, kleines Modell (Phi-3 Mini, Gemma 2B) | 4 vCPU, 16 GB RAM, 50 GB SSD |
| standard | CPU-only, mittleres Modell (Llama 3 8B quantisiert) | 8 vCPU, 32 GB RAM, 200 GB SSD |
| gpu-single | Eine NVIDIA GPU, großes Modell (Llama 3 70B quantisiert) | 16 vCPU, 64 GB RAM, 1× A10G oder RTX 4090 |
| gpu-cluster | Mehrere GPUs, Hochdurchsatz-Betrieb (vLLM) | nach Anforderung |
Lizenz
SoverIQ Core ist unter der Apache-2.0-Lizenz veröffentlicht. Kommerzielle Nutzung, Modifikation und Weitergabe sind explizit erlaubt.
Für Organisationen, die SoverIQ Core produktiv einsetzen und professionellen Support, SLAs oder eine verwaltete Erweiterung (Stack, Cloud, Box) benötigen, bieten wir kommerzielle Angebote. Sprechen Sie mit uns.
Community und Beiträge
- GitHub Discussions: Fragen, Ideen, Erfahrungsberichte
- Issues: Bug-Reports und Feature-Requests
- Pull Requests: willkommen – Contribution-Guide im Repository
Early Access: SoverIQ Core befindet sich kurz vor dem ersten öffentlichen Release. Wer früh dabei sein will – als Tester, als Contributor oder als Organisation, die das System produktiv einsetzen möchte – meldet sich gern bei uns.