Du möchtest vorhandenes Wissen in der Organisation besser nutzbar machen? Du möchtest Antworten schneller finden? Und du möchtest dabei die Kontrolle über deine Daten behalten?  

Genau hier setzt Retrieval-Augmented Generation an, kurz RAG. Diese Technologie verbindet klassische Suche mit künstlicher Intelligenz. Du nutzt deine eigenen geprüften Daten und kombinierst sie mit einem Sprachmodell. So entstehen Antworten, die nachvollziehbar, aktuell und auf deinen Kontext zugeschnitten sind.

Gerade für Kommunen und mittelständische Organisationen in Brandenburg ist das ein großer Vorteil. Du kannst bestehendes Wissen strukturiert zugänglich machen, ohne sensible Daten unkontrolliert nach außen zu geben.

Dieser Beitrag basiert auf praktischen Erfahrungen aus zwei Projekten:

Einmal ein System für den kommunalen Katastrophenschutz.

Einmal ein internes Wissenssystem für die DigitalAgentur Brandenburg.

Die Learnings daraus lassen sich gut auf andere Verwaltungen übertragen.

Was ist RAG – und wofür kannst du es nutzen?

RAG besteht aus zwei Bausteinen:

1. Eine Suche, die passende Inhalte aus deinen Daten findet  
2. Eine KI, die daraus verständliche Antworten formuliert  

Du kannst RAG zum Beispiel einsetzen für:

• Wissensassistenten für Mitarbeitende  
• Chatbots für Service und Beratung  
• Unterstützung bei Recherche und Dokumentenanalyse  
• Zugriff auf technische Dokumentationen oder Förderrichtlinien  
• Auswertung großer Textmengen, etwa aus Gesetzesdatenbanken  

Der entscheidende Vorteil:

Die Antworten kommen nicht nur aus allgemeinem Trainingswissen. Sie basieren auf deinen eigenen Dokumenten. Das System kann Quellen nennen und Inhalte zitieren.

So greift dein Chatbot auf genau das Wissen zu, das in deiner Organisation vorhanden ist.

Wie funktioniert das technisch?

Der Ablauf ist klar strukturiert:

1. Du bereitest Dokumente auf, zum Beispiel PDFs, Webseiten oder Datenbanken  
2. Du wandelst Inhalte in Vektoren um (das sind mathematische Darstellungen von Texten)  
3. Du speicherst diese in einer speziellen Datenbank  
4. Bei einer Anfrage sucht das System passende Inhalte  
5. Die KI nutzt diese Inhalte als Kontext und erstellt eine Antwort  

Die Qualität hängt dabei von vier Punkten ab:

• Saubere Datenstruktur  
• Klare Datenquellen  
• Passende Systemarchitektur  
• Transparente Regeln für Nutzung und Pflege  

Ein wichtiger Punkt aus der Praxis:

Technik allein reicht nicht. Deine Datenqualität entscheidet maßgeblich über den Erfolg.

Was solltest du ausschreiben?

Wenn du ein RAG-System beauftragst, musst du klar formulieren, was du brauchst.

Wichtige Punkte sind:

• Ziel des Systems (Anwendungsfälle und Zielgruppen)  
• Datenquellen und Datenmenge
• Anforderungen an Datenschutz und IT-Sicherheit
• Hosting (eigene Server oder Cloud)
• Schnittstellen zu bestehenden Fachverfahren
• Reifegrad (Prototyp oder fertiges Produkt)
• Wartung, Support und Weiterentwicklung  

Wichtig ist:

Beschreibe nicht nur Technik. Beschreibe vor allem den fachlichen Bedarf. Ein RAG ist kein Standardprodukt. Es ist immer eine individuelle Lösung.

Ein häufiger Fehler:

Die Erwartungen sind zu unklar.

Deshalb solltest du schon in der Ausschreibung konkrete Beispiel-Fragen und gewünschte Antworten definieren. Diese helfen dir später beim Testen und bei der Qualitätssicherung.

Ziele festlegen – welche Daten sollen rein?

Bevor du startest, brauchst du Klarheit:

• Welche Dokumente sind relevant?
• Welche Daten darfst du nutzen?
• Wie aktuell müssen die Inhalte sein?
• Wer ist für Pflege und Qualität verantwortlich?
• Ein gut strukturierter Datenbestand ist die Grundlage für gute Ergebnisse.

In der Praxis zeigt sich:

Die Aufbereitung der Daten ist oft der aufwendigste Schritt.

Du musst Dokumente bereinigen, strukturieren und vereinheitlichen. Plane dafür ausreichend Zeit und Ressourcen ein.

Ebenso wichtig:

Lege früh fest, wie du Daten aktuell hältst.

Welche Technik und Hardware brauchst du?

Die Infrastruktur hängt stark von deinem Anwendungsfall ab.

Hardware

Für den produktiven Betrieb reicht ein einzelner Rechner nicht aus.

Du brauchst in der Regel:

• Eine Serverumgebung (intern oder im Rechenzentrum)
• Genug Speicher für die Vektordatenbank
• Gegebenenfalls leistungsstarke Grafikkarten für lokale KI-Modelle  

Für Tests reicht oft eine kleinere Lösung. Für den Dauerbetrieb solltest du skalierbar planen.

Praxis-Erfahrung:

Integriere das System in deine bestehende IT. Baue keine Insellösung. Das spart Aufwand und erhöht die Akzeptanz.

Software

Du hast zwei Möglichkeiten:

• Open-Source-Komponenten (frei verfügbar, flexibel)
• Kommerzielle Lösungen (inklusive Support und Wartung)  

Deine Entscheidung hängt ab von:

• Budget
• Sicherheitsanforderungen
• IT-Kompetenz im Team
• Bedarf an individueller Anpassung  

Für erste Projekte ist oft ein technischer Dienstleister sinnvoll. In dieser Phase geht es vor allem um die Umsetzung, nicht um Strategie.

Lokal oder serverbasiert – was passt besser?

Du hast zwei grundlegende Ansätze:

1. Lokale Lösung

• Läuft komplett in deiner eigenen Infrastruktur
• Deine Daten bleiben intern  
• Hohe Flexibilität  

Aber:

• Begrenzte Leistung
• Schwieriger zu skalieren
• Du bist selbst für Wartung und Sicherheit verantwortlich  

2. Serverbasierte Lösung

• Läuft zentral, zum Beispiel im Rechenzentrum oder in der Cloud
• Gut skalierbar
• Wartung wird teilweise übernommen
• Einfacher Zugriff für mehrere Nutzer  

Aber:

• Datenschutz muss sauber geregelt sein  

Praxis-Tipp

Für Tests, kleine Datenbestände oder besonders sensible Inhalte kann ein lokales System sinnvoll sein. Für größere Nutzergruppen oder umfangreiche Wissensbestände lohnt sich meist eine serverbasierte Infrastruktur.

In der Praxis entstehen häufig hybride Architekturen, bei denen sensible Daten lokal verarbeitet werden, während zentrale Server Skalierung und Zugriff für mehrere Nutzer ermöglichen.  

Selbst entwickeln oder fertige Services nutzen?

Beides ist möglich.

Eigenentwicklung bedeutet:

• Maximale Kontrolle
• Hoher Aufwand
• Langfristige Ressourcenbindung  

Fertige Lösungen bieten:

• Schnellen Einstieg
• Support und Updates
• Bewährte Sicherheitskonzepte  

In vielen Fällen ist eine Kombination sinnvoll.

Besonders kleine Verwaltungen oder Organisationen ohne eigene IT profitieren von externen Lösungen. Der Betrieb von KI-Systemen bindet dauerhaft Ressourcen.

Typische Voraussetzungen für fertige Lösungen:

• Klare Datenquellen
• Geeignete Hosting-Umgebung
• Geregelter Datenschutz
• Zuständigkeiten im eigenen Haus  

Projektplanung – Zeit, Tests und klare Ziele

Ein RAG-System entsteht nicht auf einmal. Du arbeitest in Schleifen:

1. Daten integrieren
2. System testen
3. Ergebnisse bewerten
4. Anpassungen vornehmen  

Die Qualität verbessert sich Schritt für Schritt.

Deshalb brauchst du von Anfang an ein Testkonzept:

• Definierte Fragen
• Erwartete Antworten
• Regelmäßige Bewertungen

Ein weiterer zentraler Punkt:

Entscheide früh, was du bauen willst.

• Einen Prototyp zum Ausprobieren
• Oder ein produktives System für den Alltag  

Diese Entscheidung beeinflusst alles: Technik, Budget, Zeitplan und Sicherheit.

Fazit

RAG ist kein kurzfristiger Trend. Es ist ein nachhaltiger Ansatz, um Wissen sinnvoll zu nutzen. Gerade im öffentlichen Sektor kannst du damit vorhandene Informationen besser erschließen und Mitarbeitende entlasten.

Die Praxis zeigt: Auch komplexe Organisationen können RAG erfolgreich einsetzen.

Wichtig sind:

• Klare Ziele
• Gute Daten
• Saubere Planung
• Klare Verantwortlichkeiten  

Wenn du das früh klärst, schaffst du eine stabile Grundlage für digitale Anwendungen, die wirklich helfen.

Und ein letzter, wichtiger Punkt:

Wenn du keine eigene IT-Abteilung hast oder nur ein kleines Team, lohnt sich eine Eigenentwicklung meist nicht. In diesem Fall sind fertige Lösungen oder externe Partner der sinnvollere Weg.

Bildquelle: KI-generiert mit ChatGPT