Interne KI-Richtlinie erstellen: Inhalte, Rollen und Vorlage

Stand: Juli 2026. Dieser Artikel ist keine Rechtsberatung – bei konkreten Datenschutz- oder AI-Act-Fragen gehören Datenschutzbeauftragte oder Fachanwält:innen an den Tisch. Er ist Teil unseres Clusters KI-Governance, Datenschutz und Sicherheit.

Das Problem: Ohne Richtlinie entscheidet der Zufall über eure KI-Nutzung

Wenn im Unternehmen KI-Tools ohne schriftliche Richtlinie genutzt werden, entscheidet nicht die Geschäftsführung über Risiken und Chancen, sondern die jeweils mutigste Person im Team. Der eine lädt einen Vertragsentwurf in einen öffentlichen Chatbot, die andere traut sich gar nicht erst, KI für die Angebotsvorbereitung zu nutzen, aus Sorge, etwas falsch zu machen. Beides ist teuer – nur auf unterschiedliche Weise: einmal als Risiko, einmal als liegen gelassene Produktivität.

Eine KI-Richtlinie schließt genau diese Lücke. Sie beantwortet für alle im Unternehmen dieselben drei Fragen: Welche Tools darf ich mit welchen Daten nutzen? Wie bekomme ich ein neues Tool freigegeben? Und wer ist verantwortlich, wenn etwas schiefgeht? Dieser Artikel richtet sich an Geschäftsführung, Operations, IT und Fachbereiche in KMU, die eine solche Richtlinie neu aufsetzen oder ein bestehendes, meist zu allgemeines Dokument konkretisieren wollen. Er zeigt die Bausteine, die aus offiziellen Quellen und der Praxis heraus wirklich gebraucht werden – nicht als Blaupause zum Abschreiben, sondern als Struktur, die du an dein Unternehmen anpasst.

Begriffe: KI-Richtlinie, Acceptable-Use-Policy und KI-Inventar

• KI-Richtlinie (KI-Leitlinie): das verbindliche Regelwerk, das festlegt, wer welche KI-Systeme zu welchem Zweck einsetzen darf. Das BSI nennt genau diese Frage in seinem Management-Blitzlicht zu generativer KI als Kernpunkt jeder KI-Leitlinie. Sie ist typischerweise ein eigenständiges, kurzes Dokument – kein Anhang zur IT-Sicherheitsrichtlinie, auch wenn sie technisch daran anknüpft.
• Acceptable-Use-Policy (AUP) für KI: der Teil der Richtlinie, der sich direkt an Mitarbeitende richtet – erlaubte und verbotene Nutzungsszenarien, konkrete Beispiele, Ansprechpersonen. In vielen KMU ist das faktisch die gesamte Richtlinie, weil ein separates Governance-Dokument fehlt.
• KI-Inventar: die Liste aller im Unternehmen eingesetzten KI-Systeme mit Zweck, Nutzerkreis, Datenarten und Status. Kein Regelwerk, sondern die Faktenbasis, auf der die Richtlinie aufbaut – ohne Inventar bleibt jede Richtlinie abstrakt, weil niemand weiß, worauf sie eigentlich angewendet werden soll.
• Freigabeprozess: der operative Weg, über den ein neues Tool geprüft und zugelassen oder abgelehnt wird. Steht meist als eigener Abschnitt in der Richtlinie, ist aber ein Prozess, kein Regelsatz.

Die Abgrenzung nach unten ist wichtig: Eine KI-Richtlinie ersetzt keine Datenschutz-Folgenabschätzung für ein konkretes System und keine arbeitsrechtliche Betriebsvereinbarung. Sie ist der Rahmen, aus dem heraus solche Einzelprüfungen ausgelöst werden.

Was gehört in eine KI-Richtlinie?

Aus den Empfehlungen von BSI und Datenschutzkonferenz sowie aus der Praxis lassen sich sieben wiederkehrende Module ableiten. Die folgende Struktur ist unser eigenes Arbeitsmodell aus Beratungsprojekten – kein amtliches Muster, aber direkt als Gliederung für ein eigenes Dokument nutzbar. Du kannst sie kopieren, kürzen und mit euren Beispielen füllen.

Editierbare Richtlinienstruktur mit Rollen- und Risikomodulen

#	Modul	Kernfrage, die es beantwortet	Typische Verantwortung	Risikostufe, wenn es fehlt
1	Geltungsbereich & Ziel	Für wen gilt die Richtlinie, welche Systeme sind gemeint?	Geschäftsführung	Mittel – Richtlinie wird als unverbindlich wahrgenommen
2	Positivliste & Datenklassen	Welche Tools sind erlaubt, mit welchen Daten?	IT / KI-Verantwortliche:r	Hoch – unkontrollierter Datenabfluss
3	Freigabeprozess	Wie kommt ein neues Tool auf die Positivliste?	IT / benanntes Gremium	Mittel – Schatten-IT durch zu langsame Prüfung
4	Prüf- und Sorgfaltspflichten	Was ist vor Einsatz und bei kritischen Ausgaben zu tun?	Fachbereich, Datenschutzbeauftragte:r	Hoch – DSGVO- und Haftungsrisiken
5	Rollen & Verantwortlichkeiten	Wer entscheidet, wer schult, wer wird bei Vorfällen informiert?	Geschäftsführung	Mittel – Zuständigkeit verläuft im Sand
6	Schulung & Kompetenz	Wie wird KI-Kompetenz nach Art. 4 AI Act sichergestellt?	HR / Fachbereichsleitung	Mittel–hoch – Aufsichtsrisiko ab August 2026
7	Review & Aktualisierung	Wann und durch wen wird die Richtlinie geprüft?	Verantwortliche:r für Modul 2–4	Mittel – Richtlinie veraltet innerhalb eines Jahres

Jedes Modul braucht in der Praxis nur wenige Sätze – das BSI selbst hält sein „Getting started”-Papier bewusst knapp und erhebt ausdrücklich keinen Anspruch auf Vollständigkeit, sondern nennt ein Mindestmaß an Überlegungen vor dem KI-Einsatz. Genau diese Logik lohnt sich auch für die eigene Richtlinie: lieber zwei bis vier Seiten, die gelesen und angewendet werden, als zwanzig Seiten, die im Intranet verstauben. Wichtig ist, dass alle sieben Module wirklich beantwortet sind, nicht wie ausführlich.

Welche Tools und Daten sind erlaubt?

Das BSI empfiehlt in seinem Management-Blitzlicht zu generativer KI ausdrücklich, KI-Leitlinien so zu formulieren, dass sie festlegen, wer welche KI-Systeme zu welchem Zweck einsetzen darf – und Schatten-IT damit aktiv verhindern, indem nur genehmigte Systeme verwendet werden. In der Praxis funktioniert dafür eine kurze Positivliste besser als ein Verbotskatalog: Sie ist kürzer, verständlicher und muss nicht jedes neue Tool einzeln nachtragen, das gerade verboten werden soll.

Für die Datenseite reichen am Anfang drei Klassen, die jede:r im Unternehmen ohne Nachfragen versteht:

• Unkritisch: keine Firmen- oder Personenbezüge, öffentlich ohnehin verfügbare Informationen. Frei nutzbar in jedem freigegebenen Tool.
• Intern: Konzepte, interne Texte, nicht-öffentliche Geschäftsinformationen. Nur in freigegebenen Tools mit betrieblichem Account und der richtigen Konfiguration.
• Vertraulich: personenbezogene Daten von Kund:innen, Bewerber:innen oder Beschäftigten sowie Geschäftsgeheimnisse. Nur in explizit dafür geprüfte Systeme mit Vertrag – im Zweifel gar nicht in ein KI-Tool.

Für die technische Konfiguration nennt das BSI konkrete Mindestanforderungen: datensparsame Einstellungen wählen, die Nutzung der eigenen Daten fürs Training des Anbieters ausschließen und Löschfristen für Chats und Dokumente setzen. Dazu gehört, bei der Anbieterauswahl auf Transparenz und den Serverstandort zu achten. Für KI-Systeme, die per API in eigene Anwendungen integriert werden – etwa ein Kunden-Chatbot – kommen laut BSI weitere Punkte hinzu: klar zugewiesene Rollen und Verantwortlichkeiten, ein Berechtigungskonzept, das auch vorab hochgeladene Dokumente berücksichtigt, sowie eine Begrenzung des Zugriffs des KI-Systems auf andere Unternehmenssysteme.

Für laufende Kosten gilt: Business- oder Enterprise-Tarife etablierter Anbieter mit vertraglich geregelter Datenverarbeitung sind für die meisten KMU der praktikablere Weg als die technisch spannendste Einzellösung – die Richtlinie sollte diesen Grundsatz benennen, ohne konkrete Preise festzuschreiben, da sich Tarife häufig ändern.

Mehr zur laufenden Übersicht über eingesetzte Tools findest du in unserem Artikel zum KI-Tool-Verzeichnis im selben Cluster.

Wie regelt man Freigaben?

Der Unterschied zwischen einer Richtlinie, die gelebt wird, und einer, die umgangen wird, liegt oft an einer einzigen Zahl: Wie lange dauert die Prüfung eines neuen Tools? Dauert sie Wochen oder bleibt sie unbeantwortet, weichen Mitarbeitende auf private Accounts aus – die Richtlinie wird dann zur Theorie.

Ein Freigabeprozess, der in KMU tatsächlich funktioniert, braucht aus meiner Erfahrung nicht mehr als vier Elemente:

1. Ein kurzes Formular: Tool, Zweck, geplante Datenarten, Anbieter, Kontaktperson im Fachbereich. Mehr Felder erhöhen die Hürde, ohne die Prüfung wirklich zu verbessern.
2. Eine klar benannte Zuständigkeit. In kleineren Unternehmen reicht eine Person mit IT- und Datenschutzverständnis; größere KMU bilden dafür ein kleines, funktionsübergreifendes Gremium. Entscheidend ist, dass alle im Unternehmen wissen, wer zuständig ist – nicht die Größe des Gremiums.
3. Eine realistische Zielzeit. Wenige Arbeitstage für die Erstbewertung sind für ein KMU machbar und ausreichend; ein förmlicher Gremienprozess mit Wochen Vorlauf ist es in der Regel nicht.
4. Ein dokumentiertes Ergebnis, auch bei Ablehnung. Ein begründetes Nein mit Verweis auf eine Alternative ist ein gutes Ergebnis. Schlecht ist nur der unbeantwortete Antrag – er ist der Moment, in dem Schatten-IT entsteht.

Positiv geprüfte Tools wandern auf die Positivliste aus dem vorigen Abschnitt, abgelehnte werden dokumentiert, damit dieselbe Anfrage nicht wiederholt geprüft werden muss. Bei Systemen, die personenbezogene Daten verarbeiten, gehört die Einbindung der Datenschutzbeauftragten von Beginn an in diesen Prozess – nicht erst nach der Entscheidung.

Welche Prüfpflichten gelten?

Zwei Rechtsrahmen sind für die meisten KMU relevant, wenn KI-Tools eingesetzt werden: die DSGVO, sobald personenbezogene Daten verarbeitet werden, und der EU AI Act mit seiner Kompetenzpflicht.

DSGVO-Anforderungen. Die Datenschutzkonferenz stellt in ihrer Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei KI-Systemen klar, dass die allgemeinen DSGVO-Grundsätze uneingeschränkt gelten: Der Zweck der Verarbeitung muss vorher festgelegt, eindeutig und legitim sein, es braucht eine Rechtsgrundlage, und die entstehenden Risiken müssen ausreichend eingedämmt werden. Konkret bedeutet das für ein Unternehmen, das KI-Tools nutzt:

• Technische und organisatorische Maßnahmen (Art. 32 DSGVO): ein dem Risiko angemessenes Schutzniveau, etwa durch Zugriffskontrolle, Verschlüsselung und Protokollierung – Anforderungen, die viele Unternehmen aus ihrem bestehenden IT-Sicherheitsmanagement bereits kennen und auf KI-Werkzeuge übertragen können.
• Datenschutz-Folgenabschätzung (Art. 35 DSGVO): verpflichtend, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten Betroffener zur Folge hat. Ob das bei einem konkreten KI-Einsatz zutrifft, ist im Einzelfall zu prüfen – die Richtlinie sollte den Prüfschritt selbst vorschreiben, nicht das Ergebnis vorwegnehmen.
• Betroffenenrechte (Art. 13 bis 22 DSGVO): Informationspflichten sowie Auskunfts-, Berichtigungs- und Löschrechte müssen auch dann erfüllbar sein, wenn Daten über ein KI-System verarbeitet wurden. Das setzt voraus, dass überhaupt bekannt ist, welche Daten wo verarbeitet werden – ein weiterer Grund, warum das KI-Inventar keine Kür, sondern Voraussetzung ist.

EU-AI-Act-Anforderungen. Seit dem 2. Februar 2025 gilt Art. 4 der KI-Verordnung: Anbieter und Betreiber von KI-Systemen müssen für ein angemessenes Maß an KI-Kompetenz bei den Personen sorgen, die mit den Systemen arbeiten. Die EU-Kommission stellt in ihren FAQ klar, dass dafür kein einheitliches Trainingsformat vorgeschrieben ist – Schulungen, Leitfäden oder interne Anleitungen sind zulässig, solange sie zu Sektor, Risiko und Vorwissen der Belegschaft passen; ein reines „Bedienungsanleitung lesen” reicht in der Regel nicht aus. Die Aufsicht durch die nationalen Marktüberwachungsbehörden beginnt laut Kommission am 2. August 2026. Der AI Act selbst kategorisiert KI-Systeme zusätzlich nach Risikoklassen mit eigenen Pflichten für Hochrisiko-Anwendungen – die meisten in KMU eingesetzten generativen KI-Tools fallen nicht in diese Kategorie, wohl aber Transparenzpflichten für erkennbar KI-generierte Inhalte greifen können.

Die Richtlinie sollte diese Pflichten nicht juristisch ausformulieren, sondern operationalisieren: Wer prüft die Rechtsgrundlage vor dem Einsatz eines neuen Tools? Wer entscheidet über eine Datenschutz-Folgenabschätzung? Wer stellt sicher, dass Schulungen tatsächlich stattfinden? Das sind die Fragen, die im Modul „Prüf- und Sorgfaltspflichten” aus der Tabelle oben beantwortet werden müssen.

Wie aktualisiert man eine KI-Richtlinie?

Eine KI-Richtlinie ist kein Dokument, das man einmal schreibt und dann liegen lässt. Drei Gründe machen einen festen Review-Rhythmus notwendig:

• Neue Tools entstehen laufend, und bestehende Software bekommt per Update neue KI-Funktionen, die nie einzeln geprüft wurden. Ohne Review-Termin bleiben solche Fälle unentdeckt.
• Rechtliche Vorgaben verschieben sich. Der AI Act tritt stufenweise in Kraft, die Aufsicht zur KI-Kompetenzpflicht beginnt erst im August 2026, und Aufsichtsbehörden wie die Datenschutzkonferenz veröffentlichen fortlaufend neue Orientierungshilfen. Eine Richtlinie, die 2025 geschrieben wurde, kann 2026 an einzelnen Stellen veraltet sein.
• Erfahrung verändert die Regeln. Nach den ersten Monaten im Betrieb zeigt sich, welche Module zu streng oder zu vage formuliert waren – das gehört in die nächste Version, nicht in eine Ausnahmeliste außerhalb des Dokuments.

Ein Quartals-Review ist ein realistisches Minimum: kurz prüfen, ob die Positivliste noch stimmt, ob neue Freigabeanträge Muster zeigen, die eine Regeländerung nahelegen, und ob sich rechtliche Rahmenbedingungen verschoben haben. Zusätzlich sollte jeder größere Vorfall – etwa eine fehlerhafte KI-Ausgabe in einem Kundendokument oder ein gemeldeter Datenabfluss – einen außerplanmäßigen Review auslösen. Ohne benannte verantwortliche Person für dieses Modul verwaist der Review-Termin erfahrungsgemäß nach der ersten oder zweiten Runde.

Umsetzung: ein realistischer Fahrplan

Für ein KMU mit 20 bis 200 Beschäftigten, unter der Annahme, dass eine Person das Thema hauptverantwortlich treibt und Geschäftsführung sowie – falls vorhanden – Betriebsrat mitziehen, ist folgender Ablauf eine grobe Orientierung, keine feste Zusage:

1. Woche 1–2: Bestandsaufnahme. KI-Inventar aufbauen – welche Tools sind aktuell im Einsatz, offiziell und inoffiziell, mit welchen Daten.
2. Woche 2–4: Entwurf. Die sieben Module aus der Tabelle oben mit konkreten Inhalten füllen, Positivliste und Datenklassen festlegen, Freigabeprozess und Zuständigkeiten benennen.
3. Woche 4–6: Abstimmung. Entwurf mit Datenschutzbeauftragten, IT und – bei Bedarf – Beschäftigtenvertretung besprechen, insbesondere die Module zu Prüfpflichten und Datenklassen.
4. Woche 6–8: Kommunikation und Schulung. Kick-off, in dem erklärt wird, was ab jetzt gilt und warum, plus erste rollenbezogene Schulungseinheit zur KI-Kompetenzpflicht.
5. Ab Woche 8: Betrieb. Freigabeanträge bearbeiten, Review-Termin im Kalender fixieren, nach dem ersten Quartal die erste planmäßige Aktualisierung durchführen.

Diese Zeiten verlängern sich spürbar, wenn Mitbestimmungsverfahren nötig werden oder die Tool-Auswahl politisch diskutiert wird. Wenn du dir für die Bestandsaufnahme und den ersten Entwurf externe Unterstützung holen willst, ist das der Kern unserer KI-Beratung; praxisorientierte Schulungen zur Umsetzung findest du unter Schulungen. Ein unverbindliches Erstgespräch reicht, um einzuschätzen, wie groß der Aufwand bei euch tatsächlich ist.

Risiken und Grenzen dieses Ansatzes

Vier Grenzen gehören zur ehrlichen Einordnung dazu:

• Eine Richtlinie ist kein Compliance-Nachweis. Sie senkt Risiken erheblich, garantiert aber weder DSGVO- noch AI-Act-Konformität im Einzelfall. Bei sensiblen Verarbeitungen – etwa im HR- oder Gesundheitsbereich – braucht es eine eigene rechtliche Bewertung, keine allgemeine Vorlage.
• Eine zu strenge Richtlinie erzeugt Schatten-IT. Wenn die Positivliste zu kurz ist oder der Freigabeprozess zu langsam, weichen Mitarbeitende auf private Tools aus – die Richtlinie verfehlt dann ihren Zweck, obwohl sie formal existiert.
• Rollen ohne echte Kapazität bleiben Papier. Wer für die Aktualisierung „zuständig” ist, aber keine Zeit dafür eingeräumt bekommt, wird das Dokument in der Praxis nicht pflegen. Das Modul „Review & Aktualisierung” ist nur so gut wie die Zeit, die dafür budgetiert ist.
• Rechtslage und Marktumfeld ändern sich schneller als viele Governance-Dokumente. Die hier zitierten Fristen – etwa die Aufsicht zur KI-Kompetenzpflicht ab August 2026 – gelten zum Zeitpunkt der Erstellung dieses Artikels; prüfe vor der Umsetzung, ob sich an den offiziellen Quellen etwas geändert hat.

Checkliste: KI-Richtlinie erstellen und pflegen

• KI-Inventar erstellt: alle aktuell genutzten Tools, offiziell und vermutet inoffiziell
• Geltungsbereich und Ziel der Richtlinie in ein bis zwei Sätzen festgelegt
• Positivliste erlaubter Tools erstellt statt Verbotskatalog
• Drei Datenklassen definiert (unkritisch, intern, vertraulich) und mit Beispielen kommuniziert
• Technische Konfiguration geprüft: Trainingsnutzung aus, Löschfristen gesetzt, Vertrag mit Anbieter vorhanden
• Freigabeprozess benannt: Formular, zuständige Person oder Gremium, realistische Zielzeit
• Prüf- und Sorgfaltspflichten dokumentiert: Rechtsgrundlage, Art. 32 DSGVO, Prüfung Datenschutz-Folgenabschätzung
• Rollen und Verantwortlichkeiten klar zugewiesen, inklusive Kapazität für die Pflege
• Schulungskonzept zur KI-Kompetenzpflicht nach Art. 4 AI Act aufgesetzt
• Datenschutzbeauftragte:n und – falls vorhanden – Beschäftigtenvertretung eingebunden
• Review-Rhythmus festgelegt, mindestens vierteljährlich
• Kick-off-Kommunikation an alle Mitarbeitenden geplant

Eine KI-Richtlinie ist kein einmaliges Projekt, sondern ein lebendes Dokument. Wer sie schlank hält, Verantwortlichkeiten klar benennt und regelmäßig aktualisiert, bekommt beides: weniger unkontrolliertes Risiko und mehr Klarheit für alle, die mit KI produktiv arbeiten wollen.