Welche Modelle laufen wirklich on-premise?
Jedes Open-Weight-Modell über Ollama oder vLLM – z. B. Llama 3, Mistral, Qwen oder eure feingetunten Gewichte. Cloud-Provider (OpenAI, Anthropic, Azure) lassen sich optional zuschalten, sind aber standardmäßig aus. Der LLM-Router mischt beides hinter einer Fallback-Kette.
Brauchen wir GPUs?
Für lokale Inferenz ja – vLLM oder Ollama auf einer oder mehreren GPUs. Kleinere Modelle und Embeddings laufen auch auf CPU. Wir dimensionieren die Hardware passend zu Nutzerzahl und gewünschter Modellgröße.
Wie lange dauert die Einführung?
Wochen, nicht Monate. KIS:UI kommt als Docker-Compose-Stack, wird On-Premise installiert, ans Active Directory gebunden und eure Modelle werden freigeschaltet – inklusive Anbindung der ersten Wissensquellen.
Wie aktuell bleibt das angebundene Wissen?
Die 10 Konnektoren synchronisieren im Hintergrund über BullMQ – OAuth-basiert (Notion, Confluence, SharePoint, Drive, Slack) oder per Polling (Git, RSS, Sitemap, IMAP). Neue und geänderte Dokumente werden re-indexiert, der Vektor-Index bleibt aktuell.
Ist es DSGVO- und EU-AI-Act-konform?
Darauf ist es ausgelegt: 100 % On-Premise, lückenloses Audit, DSGVO-Export und -Löschung pro Nutzer, AES-256-GCM für Secrets, RBAC und Antworten mit Quellenangabe statt Halluzination. Die finale Bewertung trifft eure Compliance-Abteilung – wir liefern die technischen Voraussetzungen.
Was macht der Privacy Shield genau?
Wenn ihr doch einmal ein externes Modell (oder Tool) nutzt, maskiert der Privacy Shield erkannte personenbezogene Daten – Namen, IBANs, Steuer-IDs, Kreditkarten u. a. – bevor der Call das Haus verlässt. Ersetzt wird deterministisch durch Tokens wie [PERSON_1]; demaskiert wird die Antwort nur lokal, das Mapping bleibt verschlüsselt auf dem Server. Erkennung per Regex + Prüfsummen, optional per lokalem NER – nie über einen externen Dienst. Das Feature ist Flag-gesteuert und standardmäßig aus; technische Maskierung ist ein Baustein, keine Compliance-Garantie.
Wie kommen neue Modelle auf die GPU?
Über den Cookbook-v2-Wizard: Modell auswählen, Preflight-Gate prüft die Konfiguration, der vllm-runner-Sidecar startet den vLLM-Container auf dem GPU-Host – mit Live-Deploy-Polling und Rollback-Historie. Die App selbst bekommt dabei nie Zugriff auf den Docker-Socket; nur der gehärtete Sidecar mit Image-Allowlist und Namens-Präfix-Scope darf Container starten.
Skaliert das über viele Nutzer?
Ja. Hintergrundlast läuft über BullMQ-Worker, der LLM-Router verteilt mit Fallback und Rate-Limits, und die Plattform ist mandantenfähig mit Gruppen, Kanälen und per-KB-Berechtigungen. Skaliert wird horizontal über zusätzliche Worker und Inferenz-Knoten.