{"id":494,"date":"2026-09-24T20:00:00","date_gmt":"2026-09-24T18:00:00","guid":{"rendered":"https:\/\/www.lukaswojcik.com\/?p=494"},"modified":"2026-09-10T10:52:53","modified_gmt":"2026-09-10T08:52:53","slug":"budowa-bazy-wiedzy-rag-z-google-cloud-vertex-ai-i-bigquery","status":"publish","type":"post","link":"https:\/\/www.lukaswojcik.com\/blog\/pl\/cloud-ai-pl\/tutorials-pl-cloud-ai-pl\/budowa-bazy-wiedzy-rag-z-google-cloud-vertex-ai-i-bigquery\/","title":{"rendered":"Budowa bazy wiedzy RAG z Google Cloud Vertex AI i BigQuery"},"content":{"rendered":"\r\n
Standardowe du\u017ce modele j\u0119zykowe (LLM) cz\u0119sto wykazuj\u0105 tendencj\u0119 do halucynacji i posiadaj\u0105 nieaktualn\u0105 wiedz\u0119, gdy s\u0105 odpytywane o wewn\u0119trzne instrukcje firmowe, dedykowane bazy danych czy specjalistyczn\u0105 dokumentacj\u0119 techniczn\u0105. Generowanie wspomagane wyszukiwaniem (Retrieval-Augmented Generation \u2013 RAG) eliminuje te ograniczenia, osadzaj\u0105c proces generowania odpowiedzi w zweryfikowanym, specyficznym dla przedsi\u0119biorstwa repozytorium wiedzy. Wdro\u017cenie bezserwerowej architektury RAG z wykorzystaniem mechanizmu Google Cloud Vertex AI Embeddings oraz BigQuery Vector Search umo\u017cliwia skalowalne wyszukiwanie semantyczne w milionach fragment\u00f3w dokument\u00f3w bez konieczno\u015bci utrzymywania odr\u0119bnej infrastruktury baz danych wektorowych.<\/p>\r\n\r\n\r\n\r\n
1. Architektura rozwi\u0105zania: Bezserwerowy RAG w Google Cloud<\/h2>\r\n\r\n\r\n\r\n
Profesjonalny potok RAG w Google Cloud rozdziela przetwarzanie dokument\u00f3w, indeksowanie semantyczne i generowanie odpowiedzi na trzy zarz\u0105dzane us\u0142ugi:<\/p>\r\n\r\n\r\n\r\n
\r\n
Pozyskiwanie danych i podzia\u0142 (Chunking):<\/strong> Surowe podr\u0119czniki PDF, strony intranetowe oraz ustrukturyzowane tabele baz danych s\u0105 wgrywane do Google Cloud Storage (GCS) i dzielone na semantyczne fragmenty (chunki) po 500\u20131000 token\u00f3w z 10-procentowym nak\u0142adaniem.<\/li>\r\n
Indeksowanie wektorowe BigQuery ML:<\/strong> Fragmenty s\u0105 przechowywane w tabelach BigQuery, gdzie modele osadzania Vertex AI (np. text-embedding-004<\/code> lub text-multilingual-embedding-002<\/code>) generuj\u0105 wysokowymiarowe wektory bezpo\u015brednio za pomoc\u0105 polece\u0144 SQL.<\/li>\r\n
Osadzanie fakt\u00f3w w Vertex AI Gemini:<\/strong> W momencie wp\u0142yni\u0119cia zapytania, us\u0142uga BigQuery Vector Search wykonuje wyszukiwanie przybli\u017conych najbli\u017cszych s\u0105siad\u00f3w (ANN), aby pobra\u0107 najbardziej trafne fragmenty tekstu, kt\u00f3re nast\u0119pnie s\u0105 wstrzykiwane jako merytoryczny kontekst do monitu modelu Gemini.<\/li>\r\n<\/ul>\r\n\r\n\r\n\r\n\n\nIndeksowanie i odpowiadanie to dwa osobne zadania po\u0142\u0105czone jednym artefaktem: indeks wektorowy powstaje raz i jest czytany przy ka\u017cdym pytaniu \u2014 to trzyma odpowiedzi przy \u017ar\u00f3d\u0142ach, a koszty w ryzach.<\/figcaption>\n<\/figure>\r\n\r\n\r\n\r\n
2. Generowanie wektor\u00f3w w BigQuery ML krok po kroku<\/h2>\r\n\r\n\r\n\r\n
Aby generowa\u0107 osadzenia wektorowe bez eksportowania danych do zewn\u0119trznych skrypt\u00f3w Python, nale\u017cy skonfigurowa\u0107 zdalne po\u0142\u0105czenie z modelem Vertex AI wewn\u0105trz BigQuery. Poni\u017cszy skrypt SQL \u0142\u0105czy model osadzania i przekszta\u0142ca tabel\u0119 z surowymi fragmentami dokument\u00f3w w zaindeksowane wektorowo repozytorium wiedzy:<\/p>\r\n\r\n\r\n\r\n
-- 1. Utworzenie zdalnego po\u0142\u0105czenia z punktem ko\u0144cowym Vertex AI Embedding\nCREATE OR REPLACE MODEL `enterprise_kb.vertex_embed_model`\nREMOTE WITH CONNECTION `us-central1.vertex_ai_connection`\nOPTIONS (\n ENDPOINT = 'text-embedding-004'\n);\n\n-- 2. Wygenerowanie osadze\u0144 wektorowych dla surowych fragment\u00f3w dokument\u00f3w\nCREATE OR REPLACE TABLE `enterprise_kb.document_embeddings` AS\nSELECT\n doc_id,\n chunk_id,\n content_text,\n source_url,\n ml_generate_embedding_result AS content_embedding\nFROM\n ML.GENERATE_EMBEDDING(\n MODEL `enterprise_kb.vertex_embed_model`,\n TABLE `enterprise_kb.raw_document_chunks`,\n STRUCT(TRUE AS flatten_json_output)\n )\nWHERE\n content_text IS NOT NULL;<\/code><\/pre>\r\n\r\n\r\n\r\n
3. Indeksowanie wektorowe i wyszukiwanie semantyczne krok po kroku<\/h2>\r\n\r\n\r\n\r\n
W celu zapewnienia b\u0142yskawicznego czasu odpowiedzi w du\u017cych zbiorach dokument\u00f3w, na kolumnie wektorowej nale\u017cy utworzy\u0107 indeks IVF (Inverted File) przed uruchomieniem zapyta\u0144 o podobie\u0144stwo semantyczne:<\/p>\r\n\r\n\r\n\r\n
-- 1. Utworzenie indeksu IVF (Approximate Nearest Neighbor)\nCREATE VECTOR INDEX `kb_semantic_index`\nON `enterprise_kb.document_embeddings`(content_embedding)\nOPTIONS (\n index_type = 'IVF',\n distance_type = 'COSINE',\n ivf_options = '{\"num_lists\": 1000}'\n);\n\n-- 2. Wykonanie wyszukiwania wektorowego w celu pobrania 3 najbardziej trafnych fragment\u00f3w\nSELECT\n base.doc_id,\n base.chunk_id,\n base.content_text,\n base.source_url,\n distance AS cosine_distance\nFROM\n VECTOR_SEARCH(\n TABLE `enterprise_kb.document_embeddings`,\n 'content_embedding',\n (\n SELECT ml_generate_embedding_result AS content_embedding\n FROM ML.GENERATE_EMBEDDING(\n MODEL `enterprise_kb.vertex_embed_model`,\n (SELECT 'Jakie s\u0105 zasady eskalacji SLA podczas krytycznych awarii serwer\u00f3w?' AS content_text),\n STRUCT(TRUE AS flatten_json_output)\n )\n ),\n top_k => 3,\n distance_type => 'COSINE'\n )\nORDER BY distance ASC;<\/code><\/pre>\r\n\r\n\r\n\r\n
4. Potok generowania RAG z modelem Gemini krok po kroku<\/h2>\r\n\r\n\r\n\r\n
Po pobraniu odpowiednich fragment\u00f3w kontekstu za po\u015brednictwem BigQuery Vector Search, ustrukturyzowany monit jest sk\u0142adany i przekazywany do interfejsu API Vertex AI Gemini za pomoc\u0105 j\u0119zyka Python:<\/p>\r\n\r\n\r\n\r\n
from google.cloud import bigquery\nimport vertexai\nfrom vertexai.generative_models import GenerativeModel\n\n# Inicjalizacja klient\u00f3w Google Cloud\nbq_client = bigquery.Client(project='enterprise-ai-project')\nvertexai.init(project='enterprise-ai-project', location='us-central1')\n\ndef answer_query_with_rag(user_question):\n \"\"\"Wykonuje wyszukiwanie wektorowe BigQuery i osadza odpowiedzi Gemini w faktach.\"\"\"\n \n # Pobranie 3 najbardziej trafnych semantycznie fragment\u00f3w z BigQuery\n search_query = f\"\"\"\n SELECT base.content_text, base.source_url\n FROM VECTOR_SEARCH(\n TABLE `enterprise_kb.document_embeddings`,\n 'content_embedding',\n (\n SELECT ml_generate_embedding_result AS content_embedding\n FROM ML.GENERATE_EMBEDDING(\n MODEL `enterprise_kb.vertex_embed_model`,\n (SELECT @question AS content_text),\n STRUCT(TRUE AS flatten_json_output)\n )\n ),\n top_k => 3,\n distance_type => 'COSINE'\n )\n \"\"\"\n \n job_config = bigquery.QueryJobConfig(\n query_parameters=[bigquery.ScalarQueryParameter(\"question\", \"STRING\", user_question)]\n )\n results = bq_client.query(search_query, job_config=job_config).result()\n \n # Sformatowanie pobranych fragment\u00f3w w blok kontekstowy\n context_block = \"\\n---\\n\".join([f\"\u0179r\u00f3d\u0142o ({row.source_url}): {row.content_text}\" for row in results])\n \n # Zbudowanie rygorystycznego monitu RAG\n rag_prompt = f\"\"\"Jeste\u015b autorytatywnym asystentem technicznym w firmie.\nOdpowiedz na pytanie WY\u0141\u0104CZNIE w oparciu o fakty podane w poni\u017cszym Kontek\u015bcie.\nJe\u015bli odpowiedzi nie mo\u017cna ustali\u0107 na podstawie Kontekstu, poinformuj wyra\u017anie, \u017ce informacja jest niedost\u0119pna.\n\nKontekst:\n{context_block}\n\nPytanie:\n{user_question}\n\"\"\"\n\n model = GenerativeModel(\"gemini-1.5-pro\")\n response = model.generate_content(rag_prompt)\n return response.text\n\nif __name__ == '__main__':\n output = answer_query_with_rag(\"Jakie s\u0105 zasady eskalacji SLA podczas krytycznych awarii serwer\u00f3w?\")\n print(output)<\/code><\/pre>\r\n\r\n\r\n\r\n
5. Podsumowanie i warto\u015b\u0107 architektoniczna<\/h2>\r\n\r\n\r\n\r\n
Co da si\u0119 osi\u0105gn\u0105\u0107 dzi\u0119ki temu poradnikowi:<\/strong> Wdro\u017cenie bezserwerowej, wysoce skalowalnej bazy wiedzy RAG przy u\u017cyciu mechanizm\u00f3w osadzania Google Cloud Vertex AI, indeksowania wektorowego BigQuery ML oraz generowania opartego na faktach w modelu Gemini.<\/p>\r\n\r\n\r\n\r\n
Wynikaj\u0105ca z tego warto\u015b\u0107:<\/strong> Specjalistyczne pytania dotycz\u0105ce wewn\u0119trznej dokumentacji firmowej, podr\u0119cznik\u00f3w i baz danych uzyskuj\u0105 precyzyjne odpowiedzi poparte rzetelnymi przypisami \u017ar\u00f3d\u0142owymi. Zjawisko halucynacji sztucznej inteligencji zostaje wyeliminowane poprzez rygorystyczne powi\u0105zanie generowanych tre\u015bci ze sprawdzonymi danymi organizacji. Ponadto realizacja indeksowania i wyszukiwania wektorowego bezpo\u015brednio w BigQuery eliminuje potrzeb\u0119 utrzymywania kosztownych, dedykowanych klastr\u00f3w baz wektorowych przy zachowaniu najwy\u017cszych standard\u00f3w bezpiecze\u0144stwa danych oraz uprawnie\u0144 IAM.<\/p>\r\n\n\n
![\"Dwa](\"https:\/\/www.lukaswojcik.com\/blog\/wp-content\/uploads\/diagrams\/hand-rag-pl.png\")
\n