KI für den Mittelstand

Wo der Mittelstand bei KI heute steht

KI ist im Mittelstand angekommen – allerdings oft ungeordnet. Laut einer repräsentativen Bitkom-Befragung von 604 Unternehmen ab 20 Beschäftigten nutzten im Sommer 2025 bereits 36 Prozent der Unternehmen KI, ein Jahr zuvor waren es 20 Prozent. Weitere 47 Prozent planen oder diskutieren den Einsatz. Als größte Hürden nennen die Unternehmen rechtliche Unsicherheit (53 Prozent), fehlendes technisches Know-how (53 Prozent) und fehlendes Personal (51 Prozent).

Diese Zahlen beschreiben eine typische Lage: Einzelne Mitarbeitende nutzen private Chat-Konten, die IT kennt die Datenflüsse nicht, und die Geschäftsführung fragt sich, ob aus Experimenten ein messbarer Nutzen wird. Dieser Ratgeber ordnet, wo KI im Mittelstand heute verlässlich hilft, welche Voraussetzungen zählen und wie Sie in überschaubaren Schritten von der ersten Idee zum produktiven Einsatz kommen.

Was KI im Unternehmen konkret leisten kann

Moderne KI-Systeme basieren auf Large Language Models (LLMs). Sie verstehen und erzeugen Sprache, lesen Dokumente, schreiben Code und bedienen zunehmend Werkzeuge. Für mittelständische Unternehmen lassen sich die Einsatzfelder in vier Gruppen einteilen.

1. Wissen finden und nutzen

Angebote, Projektakten, Handbücher, Verträge und E-Mails enthalten das Erfahrungswissen eines Unternehmens. Eine KI-Wissensdatenbank beantwortet Fragen aus diesen Quellen und nennt die Dokumente, auf die sie sich stützt. Technisch geschieht das meist per RAG (Retrieval-Augmented Generation): Das System sucht passende Textstellen und formuliert daraus die Antwort. Der Nutzen ist besonders groß, wenn Wissen auf viele Systeme verteilt ist oder erfahrene Mitarbeitende in den Ruhestand gehen.

2. Texte, Tabellen und Präsentationen erstellen

Angebotsentwürfe, Protokolle, Stellenanzeigen, Produkttexte oder Auswertungen entstehen mit KI deutlich schneller. Entscheidend ist, dass die KI mit den echten Vorlagen und Daten des Unternehmens arbeitet und Ergebnisse direkt in Word, Excel oder PowerPoint landen – nicht als Text, den jemand mühsam umformatiert.

3. Abläufe automatisieren

KI-Agenten übernehmen wiederkehrende Aufgaben: E-Mails vorsortieren, Berichte zu festen Zeitpunkten erstellen, Daten aus mehreren Quellen zusammenführen oder Rückfragen vorbereiten. Anders als klassische Regelautomatisierung kommen sie mit unstrukturierten Eingaben zurecht. Gute Agenten arbeiten dabei mit klaren Rechten und holen bei kritischen Schritten eine Freigabe ein.

4. Kommunikation und Meetings

Meeting-Transkripte mit Sprecherzuordnung, automatische Zusammenfassungen und vorbereitete Folgeaufgaben sparen Zeit nach jedem Termin. Hier gelten besondere Anforderungen an Information und Einwilligung der Teilnehmenden – mehr dazu im Beitrag Meeting-Transkription DSGVO-konform.

Typische Anwendungsfälle nach Bereich

Die folgenden Beispiele zeigen, wo Unternehmen erfahrungsgemäß beginnen. Wählen Sie für den Start einen Fall, der häufig vorkommt, klar abgegrenzt ist und dessen Ergebnis eine Fachperson schnell prüfen kann.

• Geschäftsführung: Entscheidungsvorlagen aus Berichten, Verträgen und Kennzahlen zusammenfassen; Fragen an das Unternehmenswissen stellen, statt Informationen einzusammeln.
• Vertrieb: Kundenhistorie vor dem Termin aufbereiten, Angebotsentwürfe aus Vorlagen erstellen, Gesprächsnotizen strukturieren. Sieben konkrete Beispiele finden Sie unter KI im Vertrieb.
• Service und Innendienst: Wiederkehrende Kundenfragen mit Verweis auf Handbuch und Produktdaten beantworten.
• Personal: Stellenanzeigen, Einarbeitungspläne und interne Richtlinien formulieren. Vorsicht bei automatisierter Bewerberauswahl: Sie gilt nach dem EU AI Act als Hochrisiko-Anwendung.
• Controlling und Buchhaltung: Exporte aus verschiedenen Systemen zusammenführen, Abweichungen erklären, Monatsberichte vorbereiten.
• Technik und Produktion: Wartungshandbücher, Prüfprotokolle und Normen durchsuchbar machen; Fehlerberichte zusammenfassen.
• IT: Dokumentation pflegen, Skripte schreiben, Tickets vorqualifizieren.

Voraussetzungen: Was vor dem Start geklärt sein sollte

Die Technik ist selten das Problem. Projekte scheitern häufiger an ungeklärten Zuständigkeiten, fehlenden Daten oder an Unsicherheit im Datenschutz. Fünf Fragen sollten Sie vorab beantworten.

1. Welche Daten darf die KI nutzen? Legen Sie fest, welche Ablagen, Systeme und Dokumentarten einbezogen werden – und welche nicht.
2. Wer darf was sehen? Die KI darf niemandem Inhalte zeigen, die er ohne KI nicht sehen dürfte. Rollen und Rechte müssen deshalb auch in der KI gelten.
3. Welche Modelle und Anbieter sind zulässig? Klären Sie mit Ihrem Datenschutz, wo Daten verarbeitet werden, ob ein Auftragsverarbeitungsvertrag vorliegt und ob Eingaben für Training genutzt werden.
4. Wer ist verantwortlich? Benennen Sie eine Person, die Anwendungsfälle priorisiert, Feedback sammelt und Regeln pflegt.
5. Wie messen Sie Erfolg? Erfassen Sie vor dem Start, wie lange eine Aufgabe heute dauert. Nur so lässt sich der Nutzen später belegen.

Datenschutz und Regulierung pragmatisch lösen

Rechtliche Unsicherheit ist die meistgenannte Hürde. Sie lässt sich mit einer klaren Struktur auflösen. Für die meisten Anwendungsfälle im Mittelstand – Wissenssuche, Texterstellung, Zusammenfassungen – stehen zwei Regelwerke im Mittelpunkt.

DSGVO

Sobald personenbezogene Daten verarbeitet werden, gilt die Datenschutz-Grundverordnung. Wichtig sind eine Rechtsgrundlage, ein Auftragsverarbeitungsvertrag mit dem KI-Anbieter, Transparenz über Unterauftragsverarbeiter und Drittlandtransfers sowie ein wirksames Rechtekonzept. Der Ratgeber DSGVO-konforme KI führt Schritt für Schritt durch die Prüfung und zeigt, worauf es bei einer ChatGPT-Alternative für Unternehmen ankommt.

EU AI Act

Die KI-Verordnung der EU gilt für alle Unternehmen, die KI einsetzen. Seit Februar 2025 sind Maßnahmen zur KI-Kompetenz der Mitarbeitenden verpflichtend, seit August 2026 gelten Transparenzpflichten etwa für KI-generierte Inhalte. Die strengen Pflichten für Hochrisiko-Systeme wurden durch den „Digital Omnibus“ auf Dezember 2027 verschoben. Welche Pflichten Sie konkret betreffen, erklärt der Ratgeber EU AI Act: Pflichten für Unternehmen.

Einzeltools oder Plattform?

Viele Unternehmen starten mit einzelnen Tools: ein Chat-Abo hier, ein Transkriptionsdienst dort, ein Automatisierungswerkzeug für die IT. Das ist schnell, führt aber zu verstreuten Daten, mehrfachen Verträgen und fehlender Übersicht über Kosten und Zugriffe. Eine Plattform – manchmal als KI-Betriebssystem bezeichnet – bündelt Modelle, Wissen, Agenten und Integrationen unter einer Rechteverwaltung.

Achten Sie bei der Auswahl auf diese Kriterien:

• Modellwahl: Können Sie zwischen mehreren Modellen und Anbietern wählen, statt an einen Hersteller gebunden zu sein? Ist BYOK möglich, also die Nutzung eigener API-Schlüssel?
• Rechte: Gelten Rollen und Freigaben pro Dokument, Agent und Chat – auch bei der Suche im Wissen?
• Quellen: Zeigt die KI, worauf sich eine Antwort stützt?
• Integrationen: Lassen sich E-Mail, Kalender, Dateiablagen und CRM anbinden? Gibt es offene Schnittstellen wie das Model Context Protocol (MCP)?
• Vertrag und Hosting: Liegen AVV, technische und organisatorische Maßnahmen und eine Liste der Unterauftragsverarbeiter offen?
• Kostenkontrolle: Lässt sich die Nutzung nach Personen oder Kostenstellen auswerten und begrenzen?

Einen strukturierten Vergleich gängiger Lösungen finden Sie auf der Seite Vergleich.

In fünf Schritten zum produktiven Einsatz

1. Anwendungsfall wählen (Woche 1): Ein häufiger, gut prüfbarer Fall mit messbarem Zeitaufwand, etwa die Beantwortung interner Fragen aus Handbüchern.
2. Daten anbinden (Woche 1–2): Die relevanten Ordner und Systeme verbinden, Rechte übernehmen, veraltete Dokumente aussortieren.
3. Pilot mit einem Team (Woche 2–6): Zehn bis zwanzig Personen arbeiten täglich damit. Sammeln Sie Beispiele für gute und schlechte Antworten.
4. Regeln und Schulung (parallel): KI-Richtlinie veröffentlichen, kurze Schulung zu Möglichkeiten, Grenzen und Halluzinationen durchführen und dokumentieren.
5. Ausweiten und automatisieren (ab Monat 2): Weitere Teams anbinden, wiederkehrende Aufgaben als Agenten oder Routinen umsetzen, Nutzen anhand der Vorher-Nachher-Messung bewerten.

Kosten und Nutzen realistisch bewerten

Die Kosten einer KI-Plattform setzen sich typischerweise aus Lizenzen pro Nutzer und dem Verbrauch der KI-Modelle zusammen. Rechnen Sie den Nutzen konservativ: Wie viele Stunden pro Woche spart ein Team bei einer konkreten Aufgabe, und was kostet diese Zeit? Ein ausführliches Rechenschema finden Sie im Beitrag KI-ROI im Mittelstand berechnen. Planen Sie außerdem Zeit für Datenpflege und Einführung ein – sie ist der häufigste unterschätzte Posten.

Häufige Fehler und wie Sie sie vermeiden

• Zu groß starten: Ein unternehmensweites Projekt ohne konkreten Fall verliert schnell an Schwung. Beginnen Sie klein und messbar.
• Wissen ohne Rechte anbinden: Eine KI, die allen alles zeigt, wird zum Sicherheitsrisiko und verliert das Vertrauen der Belegschaft.
• Ergebnisse ungeprüft übernehmen: KI-Antworten bleiben Entwürfe. Fachliche Verantwortung liegt beim Menschen.
• Schatten-KI tolerieren: Wer kein freigegebenes Werkzeug anbietet, bekommt private Konten mit unklaren Datenflüssen.
• Akzeptanz unterschätzen: Binden Sie Betriebsrat und Fachbereiche früh ein und zeigen Sie, dass KI Routinearbeit abnimmt.

Belegschaft und Betriebsrat mitnehmen

KI verändert Arbeit – und damit auch Erwartungen und Sorgen der Mitarbeitenden. Unternehmen, die KI erfolgreich einführen, sprechen früh und offen darüber, wofür sie KI einsetzen wollen und wofür nicht. Ein Betriebsrat ist zu beteiligen, weil KI-Systeme regelmäßig geeignet sind, Verhalten oder Leistung zu überwachen. Eine Betriebsvereinbarung, die Zwecke, Datenarten, Auswertungen und Rechte festhält, schafft Vertrauen und beschleunigt die Einführung.

Besonders wirksam sind interne Vorreiter: Mitarbeitende aus den Fachbereichen, die Anwendungsfälle ausprobieren, Erfahrungen teilen und Kolleginnen und Kollegen unterstützen. Kurze Formate – eine wöchentliche Sprechstunde, eine Sammlung guter Prompts in einer gemeinsamen Bibliothek, Beispiele aus dem eigenen Alltag – wirken nachhaltiger als einmalige Großschulungen.

Wie AIPE den Mittelstand unterstützt

AIPE ist eine KI-Plattform für mittelständische Unternehmen, die in Deutschland gehostet wird. Teams arbeiten in einem KI-Chat mit frei wählbaren Modellen, nutzen ihr Unternehmenswissen mit Quellenangaben und Rechten pro Organisation und Ressource, erstellen Dokumente im Canvas und übergeben wiederkehrende Arbeit an Agenten und Routinen. Über Konnektoren werden Systeme wie Gmail, Google Drive, Nextcloud oder HubSpot eingebunden; mit dem AIPE Worker übernimmt ein Mac oder Windows-PC Aufgaben mit lokalen Dateien und Programmen. Der Auftragsverarbeitungsvertrag ist online einsehbar. Einen Überblick aller Funktionen bietet die Seite Alle Funktionen, die Pakete finden Sie unter Preise.