Hoe werkt multimodale AI?
Google noemt elke soort data een modaliteit. Getallen, tekst, afbeeldingen, video en audio zijn vijf verschillende modaliteiten. Een model is multimodaal als de invoer, de uitvoer of allebei uit meer dan één modaliteit bestaan. Een model dat een foto met bijschrift krijgt en een score geeft voor hoe goed het bijschrift past, heeft dus multimodale invoer en een uitvoer van één soort.
OpenAI presenteerde GPT-4 in maart 2023 als multimodaal model: het accepteerde beeld en tekst als invoer en gaf tekst terug. Volgens Google zijn de Gemini-modellen vanaf de basis multimodaal gebouwd. De Gemini API zet alle invoer om in tokens, ook beeld, video en audio. Een foto telt dus mee in de kosten van een aanroep, net als tekst.
Multimodale AI in Google Zoeken
Op 7 april 2025 bracht Google multimodaal zoeken naar AI Mode. Je maakt een foto of uploadt een afbeelding en stelt er een vraag over. Google Lens herkent elk object op de foto. Gemini begrijpt de hele scène, inclusief materialen, kleuren, vormen en hoe de objecten zich tot elkaar verhouden. Daarna voert AI Mode meerdere zoekopdrachten uit over de afbeelding als geheel en over de objecten erin.
Volgens Google hoef je voor de AI-functies in Zoeken geen speciale bestanden of markup toe te voegen. De gewone SEO-basis blijft gelden. Twee punten daaruit raken aan multimodale AI: zet belangrijke inhoud in tekst op de pagina en ondersteun die tekst waar het past met goede afbeeldingen en video’s.
Wat kun je ermee als marketeer?
Met een multimodaal model laat je beelden beschrijven of indelen in categorieën. Je kunt het model ook vragen stellen over wat erop staat. Volgens Google kan dat met Gemini zonder dat je eerst een eigen, gespecialiseerd model traint. Ook video en audio kun je als invoer gebruiken, bijvoorbeeld om een opname samen te vatten.
Een voorbeeld: woonwinkel Lampenhuis uit Amersfoort heeft 1.200 productfoto’s zonder alt-tekst. Een multimodaal model schrijft per foto een eerste beschrijving, zoals ‘messing hanglamp met kap van opaalglas’. Een medewerker leest elke tekst na voordat die online gaat. Dat is geen overbodige stap: Google waarschuwt dat generatieve modellen soms onjuiste of bevooroordeelde uitkomsten geven. Nabewerking en een menselijke controle noemt Google daarom nodig.
Verwar multimodale AI niet met
- Multichannelmarketing: marketing via meerdere kanalen, zoals e-mail, social media en een fysieke winkel. Multimodaal gaat over soorten data, niet over kanalen.
- Visual search: zoeken met een afbeelding als vertrekpunt. Dat is een toepassing; multimodale AI is de techniek die beeld en tekst samen kan verwerken.
Veelgestelde vragen over Multimodale AI
Wat betekent multimodaal?
Multimodaal betekent: met meerdere soorten data. Denk aan tekst, beeld, video en geluid. Een multimodaal model kan bijvoorbeeld een foto bekijken en er in tekst over antwoorden.
Is Gemini multimodaal?
Ja. Volgens Google zijn alle versies van Gemini multimodaal. De Gemini API accepteert tekst, beeld, audio en video. Het model kan onder meer afbeeldingen beschrijven en vragen erover beantwoorden.
Wat is het verschil tussen multimodale en generatieve AI?
Generatieve AI maakt nieuwe content. Multimodale AI werkt met meerdere soorten data. Een model kan allebei zijn, zoals een model dat een foto bekijkt en er een tekst over schrijft.