Lokale KI, die Ihre Daten nicht aus dem Unternehmen schickt
Verträge, Kundendaten, technische Dokumentation und Buchhaltung gehören nicht in öffentliche Chatbots. Wir betreiben Sprachmodelle auf einem Server in Ihrem Unternehmen und verbinden sie mit den Dokumenten und Systemen, die Sie täglich nutzen.
- Daten bleiben auf Ihrem Server, DSGVO-konform und mit Schutz von Geschäftsgeheimnissen
- Ein Assistent, der Fragen anhand Ihrer Unternehmensdokumente beantwortet
- Planbare Kosten ohne Gebühr pro Anfrage
Was ein lokales KI-Modell ist
Ein lokales KI-Modell (lokales LLM) ist ein Sprachmodell wie jene hinter ChatGPT, das auf einem Rechner oder Server Ihres Unternehmens läuft. Fragen und Dokumente werden vor Ort verarbeitet, ohne sie an einen externen Anbieter zu senden. Zugriff haben nur berechtigte Personen, und das System funktioniert auch ohne Internetverbindung.
Offene Modelle wie Llama, Qwen, Mistral oder Gemma sind inzwischen gut genug für die meisten Büroaufgaben: Zusammenfassen, Suchen in Dokumenten, Antwortentwürfe für Kunden und Datenextraktion aus Rechnungen und Bestellungen. Wir wählen das Modell passend zu Aufgabe, Sprache und Hardware, testen es mit Ihren Beispielen und setzen es erst dann ein.
Was die Einführung umfasst
Workshop und Anwendungsfälle
Wir suchen die Aufgaben, bei denen KI am meisten Zeit spart, und rechnen den Nutzen, bevor Sie Hardware kaufen.
Hardware-Auswahl
Server oder Workstation mit passender GPU für Modell und Nutzerzahl.
Modellbetrieb
Einrichtung der Laufzeitumgebung (Ollama, vLLM, llama.cpp), Modellauswahl und Tests, Performance und Updates.
Dokumenten-Assistent (RAG)
Die KI beantwortet Fragen anhand Ihrer Verfahren, Verträge, Angebote und Dokumentation und nennt die Quelle.
Integrationen
Anbindung an ERP, Microsoft 365, E-Mail und Fachanwendungen über API sowie Automatisierungen mit n8n.
Oberfläche für Mitarbeitende
Chat im Browser mit Firmenanmeldung, Verlauf und Berechtigungen je Dokumentensammlung.
Sicherheit und Compliance
Zugriffskontrolle, Protokollierung, KI-Nutzungsrichtlinie und Dokumentation nach DSGVO und EU AI Act.
Schulung und Betreuung
Schulung für Anwender und Administration, Monitoring und Modell-Updates.
Von der Idee zur laufenden KI
Workshop
Zwei bis drei Stunden mit den Menschen, die die Arbeit machen. Ein oder zwei Anwendungsfälle zum Start.
Prototyp
Test mit Ihren Dokumenten auf unserer Hardware. Sie sehen die Qualität vor der Investition.
Einführung
Installation auf Ihrem Server, Integrationen, Berechtigungen, Schulung.
Ausbau
Wirkung messen, weitere Anwendungsfälle, Modell-Updates.
Beispiele aus der Praxis
- Steuerbüro: Suche in Urteilen und Erlassen, Antwortentwürfe für Mandanten
- Produktion: Assistent für Technologen und Instandhaltung auf Basis von Maschinenhandbüchern
- Handel: Bestellungen aus E-Mails und PDFs auslesen und im ERP anlegen
- Verwaltung: Suche in Satzungen und Beschlüssen, Antwortentwürfe auf Anfragen
Häufige Fragen: Lokale KI-Modelle
Welche Hardware braucht ein lokales KI-Modell?
Das hängt von Modellgröße und gleichzeitigen Nutzern ab. Für eine Abteilung und ein mittelgroßes Modell genügt eine Workstation mit einer GPU mit 16–24 GB Speicher. Für das ganze Unternehmen und größere Modelle braucht es einen Server mit einer oder mehreren professionellen GPUs. Die Dimensionierung erfolgt nach dem Prototyp.
Ist ein lokales Modell so gut wie ChatGPT?
Bei Allgemeinwissen und den schwierigsten Aufgaben liegen die größten Cloud-Modelle vorn. Bei Unternehmensaufgaben wie Antworten aus Dokumenten, Zusammenfassungen und Datenextraktion liefert ein gut gewähltes lokales Modell vergleichbare Ergebnisse, weil es mit Ihren Daten arbeitet. Wir prüfen die Qualität mit Ihren Beispielen.
Ist lokale KI DSGVO-konform?
Die Verarbeitung auf dem eigenen Server vereinfacht die Compliance erheblich, weil keine Daten an Dritte oder außerhalb des EWR gehen. Zweck, Berechtigungen und Aufbewahrung des Chatverlaufs müssen dennoch festgelegt werden. Diese Dokumentation erstellen wir mit.
Was ist RAG?
Retrieval-Augmented Generation: Das Modell sucht zuerst passende Abschnitte in Ihren Dokumenten und antwortet auf dieser Grundlage mit Quellenangabe. So kennt die KI Ihre Verfahren und Preise ohne teures Training, und jede Antwort ist nachprüfbar.
Was kostet eine lokale KI-Lösung?
Die Kosten setzen sich aus Hardware, Einführung und Betreuung zusammen. Die kleinste Lösung für eine Abteilung besteht im Wesentlichen aus einer GPU-Workstation und einigen Tagen Arbeit. Ein genaues Angebot erhalten Sie nach dem Workshop.
Verwandte Leistungen
- KI-SchulungenKI-Schulungen für Geschäftsleitung, Büroteams und IT, vor Ort und online, mit Zertifikat.
- Prozessautomatisierungn8n, Power Automate, ERP-Integrationen über API, Datenanalyse und Management-Reporting.
- ProduktionIT in Halle und Büro, Produktionsdaten für die Geschäftsleitung, Automatisierung und KI.
Sehen Sie, was KI mit Ihren Dokumenten kann
Vereinbaren Sie ein kostenloses Gespräch. Wir wählen einen Anwendungsfall und zeigen einen Prototyp mit Beispieldaten, bevor Sie Hardware kaufen.
- Telefon (Englisch, Polnisch)
+48 501 035 571 - E-Mail (auch auf Deutsch)
kontaktaritmasoft.eu