Worum es in dieser Reihe geht. Künstliche Intelligenz wirkt von außen oft wie eine Zauberkiste: oben die Frage hinein, unten die Antwort heraus, dazwischen scheinbar Magie. Diese Reihe schaut genauer hin. Wir geben einem KI-Modell einen alltäglichen Arbeitsauftrag aus der Ministerialverwaltung – unmittelbar in Agile Office – und bewerten nüchtern: Was leistet es, wo liegen die Grenzen, und worauf ist zu achten? Teil 1 untersucht Mistral. Spätere Teile prüfen mit demselben Auftrag weitere Modelle (etwa DeepSeek), sodass am Ende ein belastbarer Vergleich möglich ist.
Zunächst: Was ist KI – und was nicht?
Hilfreich ist nicht das Bild eines allwissenden Computers, sondern das eines sehr belesenen, aber unerfahrenen neuen Teammitglieds. Es hat außergewöhnlich viel gelesen und formuliert schnell sauberes Deutsch. Zugleich gilt: Es war bei den Vorgängen des Hauses nie dabei, es kennt die Akten nur, wenn man sie ihm vorlegt – und wo ihm Wissen fehlt, ergänzt es Lücken mitunter überzeugend, aber falsch. In der Fachsprache heißt das „halluzinieren“;[1] dazu später mehr.
Die eigentliche Frage lautet deshalb nicht „Kann KI zaubern?“, sondern:
Erledigt dieses Teammitglied einen realen Arbeitsauftrag zuverlässig genug, um spürbar zu entlasten – statt zusätzlichen Prüfaufwand zu erzeugen?
In der Verwaltung kommt eine zweite Frage sogar zuerst:
Ein Blick in die Kiste: die Modellfamilie von Mistral
„Mistral“ bezeichnet kein einzelnes Programm, sondern eine Modellfamilie – vom kleinen, schnellen und sehr günstigen Modell bis zum großen, leistungsstarken und entsprechend teureren. Die Modelle werden wie Werkzeuge gewählt: passend zur Aufgabe.
| Modell | Einordnung | Geeignet für | Preis* (Input / Output) |
|---|---|---|---|
| Mistral Medium 3.5 | leistungsstärkstes Modell | anspruchsvolle Analyse, mehrstufiges Schlussfolgern | hoch (1,25 € / 6,40 €) |
| Mistral Large 3 | vielseitiger Generalist | belastbare Zusammenfassungen, gute Entwürfe | mittel (0,50 € / 1,50 €) |
| Mistral Small 4 | effizientes Standardmodell | umfangreiche Routinearbeit | niedrig (0,10 € / 0,30 €) |
| Ministral 3 | schlanke Modelle (Edge) | einfaches Sortieren und Klassifizieren | sehr niedrig (ab 0,10 €) |
| OCR 3 | Texterkennung | Lesen eingescannter Papierakten | 2 € / 1.000 Seiten |
| Mistral Embed | semantische Suche | inhaltliches Auffinden von Dokumenten | 0,10 € |
* Preise je „Million Token“ – einmal für eingegebenen Text (Input), einmal für erzeugten Text (Output).
Entscheidend ist: Es muss nicht ein Modell für alles sein. Für die Suche eignet sich ein günstiges Modell, für das Verfassen von Texten ein leistungsfähigerer Generalist, für die Prüfung ein besonders sorgfältiges Modell. Diese Arbeitsteilung untersuchen wir im Test.
Was bedeutet „Token“?
Dieser Begriff begegnet einem überall – und er ist der Schlüssel zum Verständnis von Kosten und Grenzen der KI.[2] Im Kern:
Ein Token ist ein kleiner Textbaustein – weniger als ein Satz, oft weniger als ein ganzes Wort. Häufige Wörter wie „und“ oder „der“ sind je ein Token. Längere oder seltene Wörter werden in mehrere Bausteine zerlegt.
Zwei Faustregeln:
- Im Deutschen entspricht ein Wort etwa 1,5 bis 2 Token. Eine Seite Fließtext (rund 500 Wörter) umfasst somit ungefähr 750 bis 1.000 Token.
- Lange Komposita sind aufwendiger, als sie aussehen: „Onlinezugangsgesetz“ wird nicht als ein Wort verarbeitet, sondern in mehrere Bausteine zerlegt (etwa Online | zugangs | gesetz). Deutsche Fachtexte benötigen daher tendenziell mehr Token als vergleichbare englische.
Warum das praktisch bedeutsam ist – in zweifacher Hinsicht:
Token sind die Abrechnungseinheit. Berechnet wird pro Token, und zwar für die Eingabe und für die Ausgabe. Ein Modell, das eine 80-seitige Akte zusammenfasst, verarbeitet zehntausende Token – das verursacht Kosten.
Token bestimmen die „Gedächtnisgrenze“. Jedes Modell kann nur eine begrenzte Menge Token gleichzeitig berücksichtigen – das sogenannte Kontextfenster. Man kann es sich wie die Größe eines Schreibtischs vorstellen: Passt der gesamte Vorgang gleichzeitig darauf, oder muss das Modell blättern und verliert dabei den Anfang aus dem Blick?
Merksatz: Token sind zugleich der Preis und die Gedächtnisgrenze.
Wer das verstanden hat, versteht einen Großteil der Diskussionen über KI.
Der Test: ein gewöhnlicher Vorgang
Statt über „KI im Allgemeinen“ zu sprechen, geben wir dem Modell einen konkreten, realistischen Auftrag und gliedern ihn in vier nachvollziehbare Schritte, sämtlich in Agile Office.
Der fiktive Auftrag: Zum Thema „Stand der OZG-Umsetzung im Geschäftsbereich“ geht eine Anfrage ein. Die einschlägigen Unterlagen sind zu sichten, zu bewerten und in einen Antwortentwurf zu überführen.
- Schritt 1 – Finden. „Alle Dokumente zum Thema ermitteln.“ Hier zeigt die semantische Suche (Embeddings) ihre Stärke.
- Schritt 2 – Ordnen. Die Treffer nach Relevanz sortieren und als Suchknoten speichern.
- Schritt 3 – Erarbeiten. Aus den Unterlagen erzeugt das Modell: eine Zusammenfassung, eine Handlungsempfehlung sowie den Entwurf eines Antwortschreibens in angemessener Amtssprache.
- Schritt 4 (optional) – Prüfen. Ein zweites Modell kontrolliert die Handlungsempfehlung – ein digitales Vier-Augen-Prinzip.
Das Testszenario
Dieser Abschnitt ist der Werkstattbericht: Er beschreibt genau, wie wir den Test aufsetzen – Umgebung, vorbereitetes Aktensystem, Ablauf und Protokoll.
Umgebung: Plattform Agile Office, ein eigens eingerichteter Testmandant mit identischem Datenbestand. KI-Funktion „Mein A&O“ als Chatbot. Betrieb des Modells lokal (über LM Studio, Mistral-kompatibel) – damit keine Daten das Haus verlassen. Modell-Einstellung: niedrige „Temperatur“ (möglichst reproduzierbare Ausgaben).
Das vorbereitete Aktensystem umfasst zwölf fiktive Dokumente in gemischten Formaten (Word, PDF, Excel, Text), verteilt auf vier E-Akten mit je zwei Vorgängen. Die Struktur folgt der xDomea-Dreistufigkeit: Akte → Vorgang → Dokument.
| Akte | Vorgang | Dokumente | Relevanz |
|---|---|---|---|
| A – OZG-Steuerung | A1 – Sachstand Q1/2026 | 01–03 | hoch |
| A2 – Kleine Anfrage OZG | 04–06 | hoch | |
| B – BundID und EfA | B1 – BundID-Anbindung | 07 | mittel |
| B2 – EfA-Nachnutzung | 08 | mittel | |
| C – Online-Kommunikation | C1 – Barrierefreiheit | 09 | Ablenker |
| C2 – Reden | 12 | Ablenker | |
| D – Innere Verwaltung | D1 – Beschaffung DMS | 10 | Ablenker |
| D2 – Datenschutz | 11 | Ablenker |
Anlegen und Konfigurieren – Schritt für Schritt
- E-Akte anlegen: Titel und Beschreibung erfassen, Objekttyp zuweisen.
- Vorgänge anlegen: innerhalb jeder Akte je zwei Vorgänge erzeugen.
- Dokumente ablegen: je Dokument über Quickstore in den vorgesehenen Vorgang einstellen, Dokumentenklasse zuweisen und Metadaten erfassen.
- Berechtigungen festlegen: Testkonto mit Leserecht ausstatten.
- Indexierung sicherstellen: vor dem Test prüfen, dass „Mein A&O“ die Akten erfasst hat.
Durchführung – wo genau geklickt wird
Schritt 1 – Finden: Globale Suche nach „Onlinezugangsgesetz (OZG)“ → Trefferliste sichten → als Suchordner speichern.
Schritt 2 – Ordnen: Suchordner als Kontext für „Mein A&O“ bereitstellen → Prompt P2 eingeben → Relevanz-Reihenfolge festhalten.
Schritt 3 – Erarbeiten: Prompts P3 (Zusammenfassung), P4 (Handlungsempfehlung) und P5 (Antwortschreiben) nacheinander eingeben → Ausgaben speichern.
Schritt 4 – Prüfen: Auf zweites Modell umstellen → Prompt P6 eingeben → Fehler/Lücken protokollieren.
Die verwendeten Prompts (wortgleich für alle Modelle)
- P1 (Finden): „Onlinezugangsgesetz (OZG)“
- P2 (Ordnen): „Sortiere die gefundenen Dokumente nach Relevanz für die Frage ‚Stand der OZG-Umsetzung im Geschäftsbereich‘ – das relevanteste zuerst – und begründe die Reihenfolge in je einem Satz.“
- P3 (Zusammenfassung): „Fasse den Sachstand zur OZG-Umsetzung in höchstens zehn Sätzen zusammen. Stütze jede Aussage auf die Unterlagen.“
- P4 (Handlungsempfehlung): „Leite aus dem Sachstand eine Handlungsempfehlung für die Leitung ab (höchstens fünf Punkte), mit kurzer Begründung je Punkt.“
- P5 (Antwortschreiben): „Entwirf ein Antwortschreiben zur Beantwortung der Kleinen Anfrage in sachlicher Amtssprache.“
- P6 (Prüfung): „Prüfe die Handlungsempfehlung und das Antwortschreiben auf sachliche Richtigkeit, Vollständigkeit und auf nicht durch die Unterlagen gedeckte Aussagen.“
Was wir protokollieren
Für jeden Lauf werden festgehalten: Modell und Version, Betriebsart (lokal/Cloud), Datum und Uhrzeit, der Prompt im Wortlaut, die vollständige Ausgabe, sofern sichtbar die Token-/Kostenabschätzung, die Antwortzeit sowie Auffälligkeiten (etwa erfundene Angaben).
Der Bewertungsmaßstab
Jeder Schritt wird auf einer Skala von 1 (mangelhaft) bis 5 (sehr gut) beurteilt. Dieser Maßstab bleibt für jedes Modell identisch.
| Kürzel | Bewertungskriterium | In Alltagssprache |
|---|---|---|
| K1 | Trefferqualität | Werden die richtigen Akten gefunden? |
| K2 | Sortierlogik | Steht das Wichtigste oben? |
| K3 | Faktentreue | Ist alles belegt – oder wird ergänzt? |
| K4 | Vollständigkeit | Fehlt ein wesentlicher Aspekt? |
| K5 | Sprache und Form | Entspricht es der Amtssprache? |
| K6 | Nachvollziehbarkeit | Sind die Aussagen belegbar? |
| K7 | Souveränität | Bleiben die Daten im Haus? |
| K8 | Kosten | Wie viele Token – und damit welche Kosten? |
| K9 | Tempo und Stabilität | Schnell und verlässlich genug? |
Ergebnisse mit Mistral
Diese Sektion wird nach den Testläufen mit den tatsächlichen Beobachtungen, Beispielausgaben und Bewertungen ergänzt.
Das Gesamtbild
| Schritt | Geeignetstes Mistral-Modell | Bewertung (Ø) | Kurzkommentar |
|---|---|---|---|
| 1 Finden | […] | [_/5] | […] |
| 2 Ordnen | […] | [_/5] | […] |
| 3 Erarbeiten | […] | [_/5] | […] |
| 4 Prüfen | […] | [_/5] | […] |
Fazit: verlässliche Unterstützung oder Spielerei?
Mistral ist keine Zauberkiste, wohl aber ein erstaunlich leistungsfähiges Werkzeug, sofern es richtig eingesetzt wird: ein günstiges Modell für die Suche, ein leistungsfähiger Generalist für das Verfassen, ein sorgfältiges Modell für die Prüfung. Für die Verwaltung besonders relevant: Der Betrieb ist im eigenen Haus möglich, ohne dass eine Akte das Gebäude verlässt.
Was die KI nicht leistet: eigenverantwortlich entscheiden oder zeichnen. Die abschließende Verantwortung – und die letzte Prüfung – verbleibt beim Menschen.[4][5] Genau dafür ist Schritt 4 vorgesehen.
Ausblick
Im zweiten Teil erhält dasselbe Vorgehen einen Vergleichspartner: Der identische Auftrag geht etwa an DeepSeek, bewertet nach demselben Maßstab. So wird nachvollziehbar, welches Modell überzeugt – und ob sich der Unterschied im Verwaltungsalltag tatsächlich bemerkbar macht.
Für einen sauberen Vergleich gilt durchgängig: derselbe Agile-Office-Mandant, derselbe Aktenbestand, dieselbe Aufgabenstellung, derselbe Bewertungsmaßstab. Modellversion und Betriebsart werden bei jedem Lauf dokumentiert.
