Hoe werkt RAG?
- Iemand stelt een vraag.
- Een zoekonderdeel (de retriever) zoekt in een index naar passages die bij de vraag passen. Zo’n index bestaat bijvoorbeeld uit webpagina’s of documenten.
- Het taalmodel krijgt de vraag en die passages.
- Het model schrijft een antwoord op basis van beide.
Het paper van Lewis en collega’s werd geaccepteerd voor de conferentie NeurIPS 2020. De auteurs kwamen onder meer van Facebook AI Research. Hun model had twee soorten geheugen: de kennis in het taalmodel zelf en een vectorindex van Wikipedia, die een neurale retriever doorzocht. In hun tests hallucineerden de RAG-modellen minder dan een vergelijkbaar model zonder zoekstap.
Een groot voordeel: je werkt de kennis bij door de index te vervangen. Een model zonder zoekstap moet je daarvoor verder trainen.
Hoe gebruikt Google RAG?
Google noemt RAG, ook wel grounding, als techniek achter de eigen generatieve AI-functies. De systemen halen relevante, actuele pagina’s uit de zoekindex en baseren het antwoord daarop. Bij het antwoord staan klikbare links naar die pagina’s.
Voor je eigen site betekent dit: een pagina moet geïndexeerd zijn en met een fragment in Google kunnen verschijnen. Pas dan kan de pagina in die AI-functies opduiken. Meer hierover lees je in het kennisbankartikel over AI Overviews.
Voorbeeld: RAG in een klantenservicechat
Keukenwinkel Pannenhuis zet een chatbot op de site. Die beantwoordt vragen over garantie en retouren. Bij elke vraag zoekt het systeem eerst de passende alinea in de eigen voorwaarden en handleidingen. Het taalmodel formuleert daarmee een antwoord en toont de bron. Veranderen de retourvoorwaarden, dan past de winkel alleen het document aan.
Verwar RAG niet met
- Fine-tuning: het taalmodel zelf verder trainen op nieuwe data. Met RAG werk je kennis bij via de index.
- Query fan-out: een andere techniek uit de AI-functies van Google. Het model bedenkt daarbij zelf verwante zoekopdrachten om extra resultaten op te halen.
Veelgestelde vragen over RAG
Waar staat RAG voor?
RAG staat voor retrieval-augmented generation. Een taalmodel zoekt eerst informatie op en gebruikt die om te antwoorden.
Waarom gebruikt Google RAG?
Volgens Google maakt RAG antwoorden beter, nauwkeuriger en actueler. Het model baseert zich dan op pagina’s uit de zoekindex. Bij het antwoord staan links naar die bronnen.
Wat is het verschil tussen RAG en fine-tuning?
Bij fine-tuning train je het model zelf verder. Bij RAG zoekt het model informatie op in een aparte index. Die index kun je bijwerken zonder het model opnieuw te trainen.