Vom KI-Hype zur echten Anwendung: Smarte Fragen, bessere Antworten

Wie sieht der Use Case konkret aus?

Viele Unternehmen müssen regelmäßig umfangreiche Fragebögen zu sich, ihren Produkten und Services ausfüllen. Die dafür notwendigen Antworten sind meist in ganz unterschiedlichen Dokumenten und in den Köpfen von Expert:innen verschiedener Abteilungen zu finden. Die Beantwortung ist daher komplex und zeitraubend.

Wär es nicht toll, wenn die KI all dieses Wissen zusammenbringen könnte? Die Idee: Wir wollen eine App erstellen, die komplexe Fragen über ein Unternehmen und dessen Produkte und Services beantworten kann – mithilfe eines Sets verschiedener Dokumente.

Hierbei setzen wir auf den Ansatz der Retrieval Augmented Generation (RAG) – eine Methode, die präzise Faktenabfrage mit flüssiger, natürlicher Sprache kombiniert. Ziel ist es, ein zuverlässiges RAG-basiertes System zu erstellen, das eingebaute Prüf- und Freigabeprozessen beinhaltet.

Wie sieht der Workflow Schritt für Schritt aus?

Wir empfehlen einen kontrollierten und strukturierteren Ansatz, um das KI-Projekt umzusetzen. – anstatt einfach nur Dokumente hochzuladen und den Chat-Building-Prozess zu starten.

Zwar könnte man natürlich in MS Copilot Studio einen Agenten anlegen, Dokumente und einen Prompt hochladen und die App direkt bereitstellen. Doch unsere Erfahrung zeigt: Dadurch entsteht lediglich eine Basis-Demo, nicht aber eine echte, verlässliche Lösung.

Bei solchen KI-Projekten hängt die Qualität der Ergebnisse stark von der Komplexität der Quelldokumente und der Fähigkeit des Modells ab, den Inhalt zu verstehen. Ein durchdachtes Setup stellt sicher, dass KI zu einem verlässlichen Partner wird – mit Tiefe, Genauigkeit und Vertrauen.

Unser empfohlener Ansatz:

1. Das Fundament legen

Zuerst braucht es eine Art „Zwischen-Agenten“, den wir in Copilot Studio erstellen. In dessen Wissenspool landen alle Dokumente eines Fach- oder Themenbereichs (z.B. Datenschutz) – mit klaren, eindeutigen Namen versehen, z. B. A.01-xxx, A.02-xxx.

Dann muss ein Prompt dem Agenten klare Anweisungen erteilen:

• Lies ein einzelnes Dokument mit einem bestimmten Präfix, das ein:e User:in eingibt, z.B. A-01.
• Generiere daraus eine Liste von Fragen und Antworten.
• Zeige die Ergebnisse im Chat-Fenster an.
• Exportiere die Fragen und Antworten in einem downloadbaren Format, z.B. CSV oder JSON.

Dies muss für alle Dokumente wiederholt werden. So entsteht ein strukturiertes Set mit Frage-Antwort-Dateien, welches die wesentlichen Informationen eines Fachbereichs abbildet.

Es mag nun verlockend sein, einen weiteren Agenten zu erstellen, um die Ergebnisse zusammenzuführen oder alle Dokumente gleichzeitig zu verarbeiten. Unsere Erfahrung zeigt jedoch, dass solche Ansätze zu einer geringeren Ergebnisqualität führen.

Stattdessen empfehlen wir, die extrahierten Fragen und Antworten in einem zentralen Quelldokument – beispielsweise einer Excel-Tabelle – zu bündeln und diesen Prozess für alle Dokumente einer einzelnen Abteilung oder Expertengruppe zu wiederholen. Anschließend wird derselbe Ansatz genutzt, um eine weitere Quelldatei mit Informationen einer anderen Abteilung zu erstellen – bis schließlich alle Ressourcendokumente aus allen relevanten Bereichen gesammelt sind.

2. Menschliche Kontrolle bleibt entscheidend

Bevor KI-generierte Inhalte „offiziell“ werden, sollten sie stets durch die Hände von Expert:innen gehen. Jedes Quelldokument sollte mit den verantwortlichen Personen geteilt werden, damit sie die erstellten Inhalte prüfen und eventuelle Fehler oder Unstimmigkeiten korrigieren können. Nach dieser Überprüfung werden die Dateien zu verlässlichen Ausgangsdaten – und zur Grundlage des eigentlichen Agenten.
Dieser Schritt ist ganz essenziell. Er fügt dem KI-Prozess eine entscheidende menschlichen Qualitätssicherung hinzu und sorgt dafür, dass die Ergebnisse die Effizienz der KI mit der Erfahrung und Expertise der Menschen vereinen.

3. Den eigentlichen „Questionnaire Expert“ aufbauen

Mit den geprüften Inhalten lässt sich nun ein neuer Agent aufbauen. Die validierten Quell-Tabellen können in dessen Wissensbasis hochgeladen und als „offiziell“ markiert werden. Dadurch wird deutlich, dass diesen Dokumenten ein höheres Vertrauen und eine höhere Priorität zukommt. Auch die ursprünglichen Quelldateien sollten hier integriert werden, sollten aber keine Kennzeichnung als „offiziell“ erhalten.

Nun braucht auch dieser Agent einen Prompt, der klare Regeln aufstellen sollte:

• Beantworte Fragen zuerst mithilfe der offiziellen Quellen.
• Wenn dort keine Antworten zu finden sind, prüfe verwandte Dokumente auf ähnliche Fragen.
• Wenn die Frage immer noch nicht gelöst werden konnte, greife auf Originalquellen zurück.

So entsteht ein Ergebnis, das weit über ein Standard-RAG-Setup hinaus geht: ein zuverlässiger, vertrauensvoller und nachvollziehbarer Assistent.

4. Bereit für den Einsatz

Der fertige Agent kann nun als Microsoft Teams-App bereitgestellt werden – an alle, die regelmäßig Fragebögen ausfüllen.