Zero-shot, one-shot en few-shot: wat is het verschil?
Het verschil zit in het aantal voorbeelden. In de woordenlijst van Google staat steeds dezelfde vraag: wat is de officiële munteenheid van een land?
| Vorm | Voorbeelden in de prompt | Prompt volgens Google |
|---|---|---|
| Zero-shot | Geen | Alleen de vraag en ‘India:’ |
| One-shot | Eén | ‘France: EUR’, daarna ‘India:’ |
| Few-shot | Meer dan één | ‘France: EUR’ en ‘United Kingdom: GBP’, daarna ‘India:’ |
Zonder voorbeeld kan het model op allerlei manieren antwoorden: Rupee, INR of het symbool ₹. Allemaal juist, maar misschien niet in de vorm die je wilt. Volgens Google geeft few-shot prompting doorgaans betere resultaten dan zero-shot en one-shot. Few-shot prompting vraagt wel een langere prompt, en die kost meer tokens.
Few-shot prompting in het GPT-3-paper
In mei 2020 verscheen het paper ‘Language Models are Few-Shot Learners’ van Tom Brown en dertig co-auteurs. Ze trainden GPT-3, een taalmodel met 175 miljard parameters, en testten het in de few-shot-opzet. De taak en de voorbeelden stonden alleen als tekst in de invoer. Het model kreeg geen extra training.
Het vertrekpunt was een verschil met mensen. Mensen kunnen een nieuwe taaltaak vaak al uitvoeren na een paar voorbeelden of een simpele instructie, schreven de auteurs. De toenmalige aanpak vroeg per taak duizenden tot tienduizenden voorbeelden voor fine-tuning.
Voorbeeld: zoektermen indelen voor een verhuisbedrijf
Een verhuisbedrijf uit Zwolle wil zoektermen uit Google Ads indelen naar zoekintentie. De marketeer geeft het model drie voorbeelden en daarna een nieuwe zoekterm:
Deel elke zoekterm in als 'oriënteren' of 'boeken'.
Zoekterm: checklist verhuizing
Label: oriënteren
Zoekterm: verhuisbedrijf zwolle offerte
Label: boeken
Zoekterm: wat kost een verhuislift
Label: oriënteren
Zoekterm: verhuizers met lift huren deventer
Label:
Het model ziet zo welke vorm je verwacht: één label, zonder uitleg. Let wel op ongewenste patronen. In dit voorbeeld bevat alleen het voorbeeld met ‘boeken’ een plaatsnaam. Het model kan dan elke zoekterm met een plaats als ‘boeken’ gaan zien. Meer variatie in de voorbeelden helpt dat te voorkomen.
Waar let je op bij voorbeelden in een prompt?
- Relevant: volgens Anthropic moeten voorbeelden dicht bij je echte taak liggen.
- Gevarieerd: laat ook randgevallen zien, zodat het model geen onbedoelde patronen oppikt. Ook OpenAI raadt een gevarieerde reeks voorbeelden aan.
- Herkenbaar: zet voorbeelden tussen eigen tags, zoals
<example>, zodat het model ze niet voor instructies aanziet. - Aantal: Anthropic noemt drie tot vijf voorbeelden.
Bij redeneermodellen raadt OpenAI aan eerst zonder voorbeelden te beginnen. Stel je complexere eisen aan de uitvoer, dan kunnen een paar voorbeelden helpen. Die moeten dan goed aansluiten op je instructies. Wijken voorbeelden en instructies van elkaar af, dan kan het resultaat slecht uitvallen. Zet je ook de redenering in elk voorbeeld, dan heet dat chain-of-thought prompting.
Veelgestelde vragen over Few-shot prompting
Wat is het verschil tussen zero-shot en few-shot prompting?
Bij zero-shot prompting stel je alleen de vraag, zonder voorbeeld. Bij few-shot prompting geef je eerst een paar voorbeelden van vraag en antwoord. Het model volgt dan doorgaans beter de vorm die je wilt.
Hoeveel voorbeelden heb je nodig bij few-shot prompting?
Anthropic noemt drie tot vijf voorbeelden. Meer voorbeelden maken de prompt langer. Kies liever een paar goede voorbeelden die van elkaar verschillen.
Leert het model van few-shot voorbeelden?
Niet blijvend. De voorbeelden werken alleen binnen die ene prompt. Wil je dat het model zelf verandert, dan is fine-tuning nodig. Dan train je het model verder op een eigen set voorbeelden.