{"id":493,"date":"2026-09-24T15:20:00","date_gmt":"2026-09-24T13:20:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/?p=493"},"modified":"2026-10-26T12:42:57","modified_gmt":"2026-10-26T11:42:57","slug":"aufbau-einer-rag-wissensdatenbank-mit-google-cloud-vertex-ai-bigquery","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/de\/cloud-ai-de\/tutorials-de-cloud-ai-de\/aufbau-einer-rag-wissensdatenbank-mit-google-cloud-vertex-ai-bigquery\/","title":{"rendered":"Aufbau einer RAG-Wissensdatenbank mit Google Cloud Vertex AI & BigQuery"},"content":{"rendered":"

Retrieval-Augmented Generation (RAG) erg\u00e4nzt eine Modellanfrage um passende Ausschnitte aus einem eigenen Dokumentbestand. Das hilft bei Fragen zu internen Handb\u00fcchern oder technischen Abl\u00e4ufen. RAG kann falsche Antworten verringern, garantiert aber weder richtige Aussagen noch vollst\u00e4ndige Quellenbelege. Entscheidend sind die Qualit\u00e4t der Dokumente, die Treffer der Suche und die Pr\u00fcfung der Antwort.<\/p>\n

1. Zwei getrennte Abl\u00e4ufe: Dokumente aufbereiten und Fragen beantworten<\/h2>\n

Die Aufbereitung zerlegt Dokumente in Abschnitte, erzeugt daf\u00fcr Zahlenvektoren (Embeddings) und speichert Text, Quelle und Vektor in BigQuery. Ein Embedding ist eine Liste von Zahlen, die Merkmale eines Textes abbildet. \u00c4hnliche Zahlenlisten helfen dabei, Abschnitte zu \u00e4hnlichen Themen zu finden. Bei einer Frage entsteht ein weiterer Vektor. Die Suche liefert \u00e4hnliche Abschnitte; Gemini formuliert daraus eine Antwort. Cloud Storage ist ein m\u00f6glicher Ablageort f\u00fcr Quelldateien, aber keine Voraussetzung f\u00fcr die folgenden SQL-Beispiele.<\/p>\n

Token sind die vom Modell verarbeiteten Texteinheiten, h\u00e4ufig ganze W\u00f6rter oder Wortteile. \u00dcberlappung bedeutet, dass am \u00dcbergang zwischen zwei Abschnitten etwas Text wiederholt wird. Dadurch geht der Zusammenhang eines Satzes oder einer Erkl\u00e4rung weniger leicht verloren. Eine Abschnittsgr\u00f6\u00dfe von etwa 500 bis 1000 Token mit etwas \u00dcberlappung ist ein Startpunkt f\u00fcr Tests, kein allgemeines Optimum. \u00dcberschriften, Tabellen, Sprachwechsel und das Tokenlimit des Embedding-Modells beeinflussen die passende Aufteilung. gemini-embedding-001<\/code> verarbeitet mehrsprachigen Text. Die Embeddings f\u00fcr Frage und Dokumente m\u00fcssen vom selben Modell stammen und gleich viele Zahlen enthalten. Die Dokumentaufgabe lautet RETRIEVAL_DOCUMENT<\/code>, die Frageaufgabe RETRIEVAL_QUERY<\/code>.<\/p>\n

\"Dokumente
Aufbereitung und Antwortgenerierung bleiben getrennt. Inhalts\u00e4nderungen erfordern Pflege; Suche und Modell-Prompt garantieren keine belegten Antworten.<\/figcaption><\/figure>\n

2. Embeddings erzeugen und Fehler vor der Freigabe erkennen<\/h2>\n

Das Beispiel beschreibt einen ersten Aufbau in einem eigenen Test-Dataset. Ein Dataset ist hier ein benannter Bereich in BigQuery, der die zugeh\u00f6rigen Tabellen und Modelle zusammenfasst. Projektname und Tabellen sind Platzhalter. Vorher m\u00fcssen Dataset, BigQuery-Verbindung vom Typ Cloud resource und ben\u00f6tigte APIs eingerichtet sein. CREATE MODEL<\/code> verwendet die bestehende Verbindung; der Befehl legt keine Verbindung an. Das Dataset und die Verbindung liegen hier in us-central1<\/code>. Das Dienstkonto der Verbindung ben\u00f6tigt Zugriff auf das Embedding-Modell, \u00fcblicherweise \u00fcber Vertex AI User.<\/p>\n

Die Eingangstabelle enth\u00e4lt pro Abschnitt doc_id<\/code>, chunk_id<\/code>, content_text<\/code> und source_url<\/code>. F\u00fcr dieses vereinfachte Beispiel muss der gesamte Bestand f\u00fcr alle zugelassenen Anfragen freigegeben sein. Ein gemeinsam verwendetes Dienstkonto bildet individuelle Dokumentrechte der Anwendung nicht automatisch ab. Bei unterschiedlichen Rechten ist eine gepr\u00fcfte Zugriffskontrolle vor der Weitergabe von Treffern an Gemini erforderlich.<\/p>\n

SQL<\/span>