Wie sieht der Use Case konkret aus?
Viele Unternehmen müssen regelmäßig umfangreiche Fragebögen zu sich, ihren Produkten und Services ausfüllen. Die dafür notwendigen Antworten sind meist in ganz unterschiedlichen Dokumenten und in den Köpfen von Expert:innen verschiedener Abteilungen zu finden. Die Beantwortung ist daher komplex und zeitraubend.
Wär es nicht toll, wenn die KI all dieses Wissen zusammenbringen könnte? Die Idee: Wir wollen eine App erstellen, die komplexe Fragen über ein Unternehmen und dessen Produkte und Services beantworten kann – mithilfe eines Sets verschiedener Dokumente.
Hierbei setzen wir auf den Ansatz der Retrieval Augmented Generation (RAG) – eine Methode, die präzise Faktenabfrage mit flüssiger, natürlicher Sprache kombiniert. Ziel ist es, ein zuverlässiges RAG-basiertes System zu erstellen, das eingebaute Prüf- und Freigabeprozessen beinhaltet.
Welche Technologie können wir dafür nutzen?
Um die Idee in die Praxis zu bringen, bietet sich Microsoft Copilot Studio an. Warum? Weil es unterschiedliche Dateiformate verarbeiten kann, sich nahtlos ins Microsoft-Ökosystem integriert und als Microsoft Teams-App bereitgestellt werden kann. So wird die KI dort verfügbar, wo die meisten Mitarbeiter:innen ohnehin arbeiten und kann im gewohnten Chat-Interface genutzt werden. Damit entsteht eine Brücke zwischen KI und User:innen.
Hinter den Kulissen braucht es im nächsten Schritt ein paar Setups (u.a. für das Deployment und Billing), damit alles zuverlässig und skalierbar funktionieren kann:
- 1. App-Ersteller:innen benötigen eine MS 365 Copilot- oder Copilot-Studio-Lizenz innerhalb des Admin Centers, die ihren Usern zugewiesen wird.
- 2. Ein Power Platform-Admin muss eine Pay-as-you-go-Umgebung einrichten, bei der MS Dataverse und generative KI-Funktionen aktiviert sind. Ansonsten würde die App die Verbindung zu den zugrundeliegenden Modellen verlieren, sobald das Standard-Token-Limit erreicht ist.
Wie sieht der Workflow Schritt für Schritt aus?
Wir empfehlen einen kontrollierten und strukturierteren Ansatz, um das KI-Projekt umzusetzen. – anstatt einfach nur Dokumente hochzuladen und den Chat-Building-Prozess zu starten.
Zwar könnte man natürlich in MS Copilot Studio einen Agenten anlegen, Dokumente und einen Prompt hochladen und die App direkt bereitstellen. Doch unsere Erfahrung zeigt: Dadurch entsteht lediglich eine Basis-Demo, nicht aber eine echte, verlässliche Lösung.
Bei solchen KI-Projekten hängt die Qualität der Ergebnisse stark von der Komplexität der Quelldokumente und der Fähigkeit des Modells ab, den Inhalt zu verstehen. Ein durchdachtes Setup stellt sicher, dass KI zu einem verlässlichen Partner wird – mit Tiefe, Genauigkeit und Vertrauen.
Unser empfohlener Ansatz:
1. Das Fundament legen
Zuerst braucht es eine Art „Zwischen-Agenten“, den wir in Copilot Studio erstellen. In dessen Wissenspool landen alle Dokumente eines Fach- oder Themenbereichs (z.B. Datenschutz) – mit klaren, eindeutigen Namen versehen, z. B. A.01-xxx, A.02-xxx.
Dann muss ein Prompt dem Agenten klare Anweisungen erteilen:
- Lies ein einzelnes Dokument mit einem bestimmten Präfix, das ein:e User:in eingibt, z.B. A-01.
- Generiere daraus eine Liste von Fragen und Antworten.
- Zeige die Ergebnisse im Chat-Fenster an.
- Exportiere die Fragen und Antworten in einem downloadbaren Format, z.B. CSV oder JSON.
Dies muss für alle Dokumente wiederholt werden. So entsteht ein strukturiertes Set mit Frage-Antwort-Dateien, welches die wesentlichen Informationen eines Fachbereichs abbildet.
Es mag nun verlockend sein, einen weiteren Agenten zu erstellen, um die Ergebnisse zusammenzuführen oder alle Dokumente gleichzeitig zu verarbeiten. Unsere Erfahrung zeigt jedoch, dass solche Ansätze zu einer geringeren Ergebnisqualität führen.
Stattdessen empfehlen wir, die extrahierten Fragen und Antworten in einem zentralen Quelldokument – beispielsweise einer Excel-Tabelle – zu bündeln und diesen Prozess für alle Dokumente einer einzelnen Abteilung oder Expertengruppe zu wiederholen. Anschließend wird derselbe Ansatz genutzt, um eine weitere Quelldatei mit Informationen einer anderen Abteilung zu erstellen – bis schließlich alle Ressourcendokumente aus allen relevanten Bereichen gesammelt sind.
2. Menschliche Kontrolle bleibt entscheidend
Bevor KI-generierte Inhalte „offiziell“ werden, sollten sie stets durch die Hände von Expert:innen gehen. Jedes Quelldokument sollte mit den verantwortlichen Personen geteilt werden, damit sie die erstellten Inhalte prüfen und eventuelle Fehler oder Unstimmigkeiten korrigieren können. Nach dieser Überprüfung werden die Dateien zu verlässlichen Ausgangsdaten – und zur Grundlage des eigentlichen Agenten.
Dieser Schritt ist ganz essenziell. Er fügt dem KI-Prozess eine entscheidende menschlichen Qualitätssicherung hinzu und sorgt dafür, dass die Ergebnisse die Effizienz der KI mit der Erfahrung und Expertise der Menschen vereinen.
3. Den eigentlichen „Questionnaire Expert“ aufbauen
Mit den geprüften Inhalten lässt sich nun ein neuer Agent aufbauen. Die validierten Quell-Tabellen können in dessen Wissensbasis hochgeladen und als „offiziell“ markiert werden. Dadurch wird deutlich, dass diesen Dokumenten ein höheres Vertrauen und eine höhere Priorität zukommt. Auch die ursprünglichen Quelldateien sollten hier integriert werden, sollten aber keine Kennzeichnung als „offiziell“ erhalten.
Nun braucht auch dieser Agent einen Prompt, der klare Regeln aufstellen sollte:
- Beantworte Fragen zuerst mithilfe der offiziellen Quellen.
- Wenn dort keine Antworten zu finden sind, prüfe verwandte Dokumente auf ähnliche Fragen.
- Wenn die Frage immer noch nicht gelöst werden konnte, greife auf Originalquellen zurück.
So entsteht ein Ergebnis, das weit über ein Standard-RAG-Setup hinaus geht: ein zuverlässiger, vertrauensvoller und nachvollziehbarer Assistent.
4. Bereit für den Einsatz
Der fertige Agent kann nun als Microsoft Teams-App bereitgestellt werden – an alle, die regelmäßig Fragebögen ausfüllen.
Ein solcher Agent, der menschliche Kontrolle als wichtigen Schritt integriert, kann wertvolle Zeit beim Ausfüllen von komplexen Fragebögen sparen und dabei gleichzeitig sicherstellen, dass die Antworten verlässlich, konsistent und nachvollziehbar sind.
Täglich nutzen wir KI-Modelle, deren Technologie manchmal wie Magie wirken mag. Doch wir sollten der KI niemals blind vertrauen. Erst wenn die Intelligenz der Maschinen mit dem Wissen und der Erfahrung von Organisationen und Expert:innen verknüpft wird, kann das volle Potenzial von Daten genutzt und es können Ergebnisse erzielt werden, die nicht nur effizient, sondern auch verlässlich sind.
Beim nächsten Blogartikel verlassen wir das Microsoft-Universum und schauen auf weitere KI-Projekte. Stay tuned!
Jerry Amadon
Senior Advisor
