Künstliche Intelligenz im öffentlichen IT-Umfeld – Technische Architekturen, Toolchains und Projektaufbau von KI PM 14-308

Einstieg und Erwartungsabgleich

• Erwartungen und Fragen der Teilnehmenden
• Überblick über Tagesablauf und Zielbild

Marktüberblick der wichtigsten Werkzeuge

• Was ist ein Chatbot bzw. Large Language Model?
• Kurze technische Einordnung
• Unterschied zwischen Chatbot, KI-Assistent und KI-Agent

Wichtige Plattformen und Tools im Überblick

• Vergleich der unterschiedlichen Tools (ChatGPT, MS Copilot, Google Gemini, Claude, Mistral, Aleph Alpha, etc.) mit:
  • Kostenplänen (Free, Plus, Team, Enterprise, etc.)
  • Stärken (Allzweck, Integration, Suche, Analyse, etc.)
  • Datenschutz-Eignung (Datenspeicherung, Transfer, Cloud vs. lokaler Betrieb, DSGVO-Konformität etc.)

Rechtsgrundlagen im Überblick

• DSGVO und Bundesdatenschutzgesetz: Was gilt für Kommunen?
• Auftragsverarbeitung: Wann ist eine KI-Nutzung AVV-pflichtig?
• Dienstgeheimnisse und Vertraulichkeit: Was darf nicht in die Cloud?
• KI-Verordnung und AI Act
• Kommunalrechtliche Besonderheiten für Behörden, zum Beispiel in Schleswig-Holstein

Die entscheidende Frage: Was darf ich eingeben?

• Kategorien von Daten: öffentlich, intern, vertraulich, personenbezogen
• Klassifikationsmodell für die Praxis: Ampelmodell Grün / Gelb / Rot
• Konkrete Beispiele aus dem Verwaltungsalltag:
  • Protokollentwürfe, Beschlussvorlagen, Pressemitteilungen: grün
  • Interne Vermerke, Stellungnahmen: gelb, mit Vorsicht
  • Personalakten, Sozialdaten, Gesundheitsdaten: rot, nicht erlaubt

Welche Tools sind für Kommunen bedingt erlaubt?

• Anforderungen: EU-Datenspeicherung, AVV, keine Trainingsnutzung
• Bewertung der Tools aus Block 1 nach Datenschutz-Kriterien
• Sonderfall lokale Modelle, zum Beispiel Ollama, als datenschutzrechtlicher Idealfall
• Aktuelle Empfehlungen von BSI und Datenschutzbehörden

Welche Tools lohnen sich – auch wenn sie Geld kosten?

• Kosten-Nutzen-Betrachtung: Wann rechnet sich eine kostenpflichtige Lizenz?
• Microsoft Copilot in M365: Integration in bestehende Infrastruktur
• Lokale Lösung mit Ollama und Open-Source-Modell: einmalige Investition
• n8n als Automatisierungsplattform

Typische Einsatzfelder mit Live-Demos

• Texte erstellen: Beschlussvorlagen, Pressemitteilungen, Protokolle
• Recherche und Zusammenfassung: Gesetze, Urteile, Berichte
• Übersetzung und Vereinfachung: Behördentexte verständlich machen
• Brainstorming und Ideenfindung: Projektplanung, Maßnahmenentwicklung
• Vibe Coding mit KI
• Prozessautomatisierung

Was funktioniert gut – was nicht?

• Stärken moderner LLMs im Verwaltungskontext
• Grenzen: Halluzinationen, fehlende Aktualität, Fachbereichslücken
• Qualitätssicherung: Wie überprüft man KI-Outputs?

Bausteine eines kommunalen KI-Leitfadens

• Zweck und Geltungsbereich des Leitfadens
• Erlaubte und nicht erlaubte KI-Tools, zum Beispiel als interne Liste
• Datenklassifikation und Eingaberegeln nach Ampelmodell
• Umgang mit KI-generierten Inhalten: Kennzeichnung und Prüfpflicht
• Verantwortlichkeiten: Wer entscheidet über neue Tools?
• Schulung und Sensibilisierung der Mitarbeitenden

Praxisteil Gruppenarbeit: Leitfaden-Entwurf für die eigene Verwaltung

• Kleingruppen erarbeiten je einen Leitfaden-Baustein
• Eine Vorlage wird bereitgestellt und gemeinsam angepasst
• Kurzpräsentation und Diskussion im Plenum

Tagesabschluss und Ausblick

• Reflexionsrunde: wichtigste Erkenntnisse des Tages
• Offene Fragen und Diskussion
• Ausblick auf Tag 2: Technische Architekturen und Projektaufbau

Einstieg und Zielbild

• Rückblick auf Tag 1: Erkenntnisse und offene Fragen
• Use-Case-Sammlung: Was haben die Teilnehmenden mitgebracht?
• Zielbild des Tages: Wie sieht eine vollständige KI-Chain technisch aus?
• Abgrenzung: kein Programmieren, keine Modellentwicklung – Fokus auf Architektur und Betrieb
• Überblick über die Gesamtarchitektur, die im Laufe des Tages schrittweise erklärt wird

Architektur-Ebenen moderner KI

• Modell-Ebene: das Herzstück
• Orchestrierungs-Ebene: der Dirigent
• Daten-Ebene: die Wissensbasis
• Tool- und Integrations-Ebene: die Werkzeuge
• Frontend- und API-Ebene: die Schnittstelle zum Nutzer

Large Language Models – Was steckt drin?

• Modelltypen: General Purpose vs. Instruction-tuned
• Open Source vs. proprietäre Modelle: Was bedeutet das für Kommunen?
• Wichtige Eigenschaften: Kontextlänge, Tokenisierung, Latenz, Speicherbedarf
• Grenzen und Implikationen für Architektur und Betrieb

Betriebsmodelle – Cloud, lokal oder hybrid?

• Cloud-Modelle: Komfort vs. Datenschutzrisiko
• Lokale Modelle: volle Kontrolle, aber eigene Infrastruktur nötig
• Hybridansätze: das Beste aus beiden Welten – für wen geeignet?
• Typische Entscheidungsparameter im öffentlichen Umfeld

Kultur der Security Awareness

• Sicherheitsbewusstsein stärken
• Erste Schritte zur Risikominimierung

Modell-Layer: Das richtige Modell auswählen

• Auswahlkriterien: Größe, Lizenz, Anpassbarkeit
• Inferenz vs. Training: Warum eigenes Training kaum nötig ist
• Modell-Updates und Versionierung: Was ändert sich wann?

Embeddings und semantische Suche

• Warum Embeddings zentral sind: Texte als Vektoren verstehen
• Embedding-Modelle für Text und Dokumente
• Typische Einsatzmuster in der Verwaltungspraxis
• Überblick über Hugging Face und verfügbare Open-Source-Modelle

Vektordatenbanken

• Rolle in RAG-Systemen: Warum klassische Datenbanken nicht reichen
• Technische Kriterien: Performance, Metadaten, Skalierbarkeit
• Abgrenzung zu klassischen relationalen Datenbanken
• Überblick freier Systeme: Chroma, Qdrant, Weaviate, pgvector

Dokumenten- und Datenpipelines

• Datenquellen: Dateien, Fachverfahren, Wikis, APIs
• Pipeline-Schritte: Extraktion, Chunking, Metadaten, Aktualisierung
• Praxisbeispiel: Wie kommt das Stadtrecht in eine KI?

Retrieval Augmented Generation – Architektur

• Warum RAG unverzichtbar ist: LLMs ohne eigenes Wissen nutzen
• Klassische RAG-Pipeline: Anfrage, Retrieval, Kontextaufbereitung, Generierung
• RAG-Varianten: Simple RAG, Multi-RAG, hierarchisches RAG
• Reranker und weitere Optimierungen
• Graphen als Alternative: GraphRAG
• Praxisbeispiel: Satzungsauskunft per RAG-System

Prompting und Kontextsteuerung

• System-Prompts vs. User-Prompts konzeptionell verstehen
• Kontextfenster optimal nutzen
• Steuerung von Antwortverhalten und Tonalität
• Intent Classification

Orchestrierungs-Frameworks

• Aufgaben: Prompt-Handling, Tool-Aufrufe, Speicher bzw. Memory
• Warum Orchestrierung wichtig ist – am Beispiel erklärt
• Überblick: LangChain, LlamaIndex, n8n für Nicht-Entwickler
• Trennung von Logik und Modell für Wartbarkeit und Austauschbarkeit

Von RAG zu Agentensystemen

• Unterschied zwischen Antwortsystem und aufgabenorientiertem System
• Agentenlogik: Ziel, Planung, Schritte, Rückkopplung
• Wann braucht eine Kommunalverwaltung einen Agenten?

MCP – Model Context Protocol: technische Grundidee

• Standardisierte Tool-Schnittstellen als Zukunftsstandard
• Entkopplung von Modell, Tools und Daten
• Vorteile für Behörden: Austauschbarkeit, Kontrolle, Nachvollziehbarkeit

Automatisierungsszenarien für die Kommunalverwaltung

• Mehrstufige Prozesse, zum Beispiel Anfrage, Recherche, Entwurf, Prüfung
• Kombination aus LLM, Tools und Regelwerken
• Grenzen und Sicherheitsmechanismen: Wo muss der Mensch eingreifen?
• Praxisbeispiele:
  • Automatische Beantwortung einfacher Bürgeranfragen
  • KI-gestützte Bearbeitung von Förderantragsunterlagen
  • Intelligente Dokumentensuche im Ratsinformationssystem

Hardware und Infrastruktur – Was braucht eine Kommune?

• CPU vs. GPU: Wann lohnt sich was?
• Speicher und Durchsatz: Richtwerte für den Kommunalbetrieb
• Cloud Services mit GPU vs. eigene Hardware
• Beispiel-Setups: Pilotbetrieb mit vorhandener Hardware vs. Produktivbetrieb

Betrieb und Governance

• Zugriffsmodelle: Wer darf was nutzen?
• Logging und Monitoring: Transparenz über KI-Nutzung
• Datenschutz und IT-Sicherheit im Betrieb
• Update- und Change-Management: Modelle veralten schnell

Projektstart: Vom Use Case zum Piloten

• Architektur-Skizze statt Use-Case-Roman: pragmatisch beginnen
• Minimal Viable AI-Chain: Was braucht man wirklich zum Start?
• Fahrplan: Pilot, Bewertung, Skalierung
• Fallstricke und Erfolgsfaktoren aus der Praxis

Abschlussdiskussion und Verabschiedung

• Reflexionsrunde: Wo steht die eigene Organisation?
• Nächste realistische Schritte: Jede Person nimmt eine konkrete Aufgabe mit
• Hinweis auf Unterlagen und Ressourcen