Hamburgs größter AWS-Spezialist
Hamburgs größter Unternehmenswissen ist wertvoll, existentiell und gleichzeitig hochsensibel. Mit KI-gestützten Assistenten können Mitarbeiter heute blitzschnell durch tausende Dokumente navigieren und Antworten finden. Das ist effizient und effektiv - doch wie stellt man sicher, dass der Chatbot nicht versehentlich Geschäftsgeheimnisse an unbefugte Mitarbeiter oder gar Externe weitergibt?
Moderne KI-Assistenten, die auf Large Language Models (LLMs) basieren, revolutionieren den Zugriff auf Unternehmenswissen. Anstatt mühsam SharePoint-Ordner zu durchsuchen, können Mitarbeiter einfach fragen: „Was sind die wichtigsten Learnings aus dem Projekt X?“ oder „Wie lautet unsere Policy zu Thema Y?“
Dazu verarbeitet das LLM kontinuierlich sämtliche Dokumente, Wikis, Nachrichten und Unterlagen des Unternehmens – von Strategiepapieren über Entwicklungsdokumente bis hin zu HR-Richtlinien.
Aber was passiert, wenn ein Mitarbeiter Details zu einem Projekt abfragt und der Assistent ungewollt vertrauliche Informationen aus anderen Abteilungen preisgibt? Ein Albtraum für jedes Compliance-Team!
Die herkömmliche Herangehensweise setzt auf separate KI-Assistenten für verschiedene Vertraulichkeitsstufen. Dies führt jedoch zu erheblichen Mehrkosten durch zusätzliche Infrastruktur und erschwert das Management der unterschiedlichen Systeme. Nutzer müssen sich zudem in verschiedene Plattformen einarbeiten, was die Akzeptanz hemmt und zu einer inkonsistenten User Experience führt.
Besonders problematisch ist in diesem Zusammenhang die Entstehung von Datensilos, die den Wissensaustausch behindern. Auch die Integration neuer Dokumente wird komplizierter, da für jedes Dokument einzeln entschieden werden muss, in welches System es eingespielt wird.
Unser innovativer Ansatz setzt auf einen zentralen KI-Assistenten mit rollenbasiertem Dokumentenzugriff. Das System führt eine intelligente Filterung nach Benutzerrollen durch, noch bevor Informationen an die KI weitergegeben werden. So bleibt die User Experience einheitlich, während die Sicherheit maximiert wird.
Der Chatbot antwortet nur mit dem Wissen, das dem jeweiligen Benutzer entsprechend seiner Rolle zugänglich ist. Das gewährleistet nicht nur die Sicherheit der Inhalte, sondern erleichtert auch die Pflege und Wartung des Gesamtsystems erheblich.
Im Folgenden zeigen wir exemplarisch, wie man anhand von AWS-Services ein rollenbasiertes System aufbauen kann. Dabei werden die Dokumente in der Knowledge Base zusammen mit Metadaten gespeichert. Diese Metadaten entscheiden in der Retrieval-Phase, welche Dokumente an das LLM gesendet werden dürfen.
Abfolge der RAG-Applikation:
Unstrukturierte Dateien (z.B. .docx oder .pdf Dateien) werden in einem Document Store (auch Data Source genannt) wie S3 zusammen mit ihren zugehörigen Metadaten gespeichert.
Aus der Data Source wird eine Knowledge Base erstellt. Als Vektordatenbank dient dabei Amazon OpenSearch (Serverless).
Der User loggt sich mit seinen Credentials über das Frontend ein.
Die Dokumente in der Vektordatenbank werden gefiltert mit der Filterexpression.
Konkrete Implementierung
Der Ausgangspunkt eines solchen Systems sind die zugrunde liegenden Daten (Dokumente). Diese sollten auf einer geeigneten Data Source (z.B. S3) hinterlegt werden. Zu jedem Dokument muss nun eine weitere Datei (z.B JSON) angelegt werden, die alle notwendigen Metadaten für eine spätere Filterung enthält.
Wichtig dabei ist, dass der Filenamen des Dokuments und der zugehörigen Metadaten identisch sind, wobei die Metadaten-Datei den Zusatz .metadata.json trägt.
Der Inhalt des Metadata JSONs könnte nun so aussehen. Die in dem metadataAttributes vorhanden Key-Value pairs können später zur Filterung genutzt werden.
Im nächsten Schritt werden die Dokumente und ihre Metadaten der Data Source mithilfe eines Ingestion-Jobs mit Amazon OpenSearch Serverless in eine Knowledge Base ingested, um sie für das RAG-System bereitzustellen.
Retrieval der zugelassenen Dokumente
Anschließend muss der rollenbasierte Zugang eingebaut werden. Hierfür werden die Benutzer in einem Cognito User Pool mit einem zusätzlichen Rollenattribut angelegt.
Beim Einloggen im Frontend des RAGs wird dieses Attribut von Cognito bei erfolgreicher Authentifizierung zurückgegeben. Eine DynamoTabelle wird nun mit Items befüllt, die aus einer Rolle und Filtern bestehen.
Wenn ein User jetzt das RAG beispielsweise nach dem Inhalt des „Lead Generation Reports 2023“ promptet, wird diese Request zunächst an eine Lambda-Funktion gesendet, die mithilfe des Rollenattributs den Filtersyntax aus der DynamoTable erhält. Die Lambda Funktion sendet nun den Filtersyntax (vector_search_config) mit dem Prompt (user_input) an die Knowledge Base.
Diese retrieved das Dokument AnyCompany-Lead Generation Report-2023.docx aus der Vektordatenbank und sendet es mit dem Prompt an das LLM. Auf Grundlage der zusätzlichen Informationen aus dem Dokument generiert das LLM anschließend eine passende Antwort für den User.
Tipp: Amazon OpenSearch Serverless kann bei moderater Nutzung recht teuer sein. Rollenbasierte RAG-Systeme lassen sich für den Fall auch mit anderen Vektordatenbanken aus dem AWS Marketplace realisieren – beispielsweise Pinecone.
Bevor mit der technischen Implementierung eines rollenbasierten RAG-Systems begonnen werden kann, sollte das bestehende Wissensmanagementsystem analysiert werden. Dabei ist wichtig zu überprüfen, ob und wie eine Rollenzuordnung bereits umgesetzt wurde.
Existierende Strukturen aus Wikis oder Dokumentenmanagementsystemen lassen sich meist gut übertragen. Arbeitet man dagegen noch mit einfachen Ordnerstrukturen auf SharePoint, sollte zunächst ein durchdachtes Rollenkonzept entwickelt werden.
KI-Assistenten sind aus dem modernen Wissensmanagement nicht mehr wegzudenken. Niemand möchte heute mehr auf die beeindruckenden Möglichkeiten verzichten. Doch bislang standen Unternehmen vor einer schwierigen Entscheidung: Entweder die innovativen KI-Features nutzen und dabei Compliance-Risiken eingehen, oder auf Nummer sicher gehen und den Anschluss verpassen.
Mit einem rollenbasierten RAG-System gehört dieses Dilemma der Vergangenheit an. Deine Mitarbeiter profitieren von der vollen Leistungsfähigkeit der KI, während Du die Kontrolle behältst: Sensible Daten bleiben geschützt, Compliance-Vorgaben werden eingehalten und jeder Nutzer erhält genau den Wissenszugang, den er benötigt. Die perfekte Kombination aus Innovation und Sicherheit.
