Waar staat BERT voor en hoe werkt het?
BERT staat voor Bidirectional Encoder Representations from Transformers. Jacob Devlin en drie collega’s van Google beschreven het model in oktober 2018 in een paper op arXiv. Google maakte de techniek in datzelfde jaar open source.
Het woord bidirectional is de kern. BERT kijkt bij elk woord naar de woorden ervoor en erna. Volgens het paper onderscheidt BERT zich daarmee van eerdere taalmodellen. Dat helpt vooral om de bedoeling achter een zoekopdracht te begrijpen.
BERT bouwt voort op het onderzoek van Google naar transformers. Hoe die architectuur werkt, lees je bij NLP.
Hoe gebruikt Google BERT in Search?
Op 25 oktober 2019 maakte Google bekend dat het BERT inzette voor de ranking en voor featured snippets. Google noemde het de grootste sprong in vijf jaar. Bij de start hielp BERT een op de tien Engelstalige zoekopdrachten in de VS beter te begrijpen. Een jaar later meldde Google dat BERT bij bijna elke Engelstalige zoekopdracht meedeed.
Google gaf onder meer dit voorbeeld: ‘can you get medicine for someone pharmacy’. Eerder toonde Google algemene resultaten over het ophalen van medicijnen op recept. Met BERT begrijpt het systeem dat ‘for someone’ telt: de zoeker wil medicijnen ophalen voor iemand anders.
In 2022 schreef Google dat BERT helpt bij twee taken: ranken en relevante documenten ophalen. BERT werkt daarbij altijd samen met andere systemen. Foutloos is het niet. Google gaf in 2019 zelf toe dat BERT bij ‘what state is south of Nebraska’ gokte op een plaats die South Nebraska heet.
Wat betekent BERT voor je content?
Google schreef in 2019 dat mensen vaak in een soort zoekwoordtaal typen: losse woorden waarvan ze denken dat Google die snapt. Google hoopte dat mensen dankzij BERT op een natuurlijke manier zouden zoeken.
Een reisbureau uit Utrecht schrijft daarom een pagina met de vraag ‘Heb je een visum nodig als je naar Canada reist?’ in gewone zinnen. Een rijtje zoekwoorden als ‘visum canada nederland aanvragen’ voegt niets toe. Er bestaat geen aparte BERT-optimalisatie: duidelijke tekst die de vraag beantwoordt, is het uitgangspunt.
Verwar BERT niet met
- RankBrain: het systeem uit 2015 dat woorden aan concepten koppelt. BERT kijkt naar de betekenis van een hele combinatie van woorden.
- MUM: een nieuwer model van Google dat taal kan begrijpen en maken. Google noemde het in 2022 duizend keer krachtiger dan BERT, maar gebruikt het niet voor de algemene ranking.
- Bit error rate test: een meting in de telecom met dezelfde afkorting BERT. Die heeft niets met zoekmachines te maken.
Veelgestelde vragen over BERT
Waar staat BERT voor?
BERT staat voor Bidirectional Encoder Representations from Transformers. Het is een taalmodel van Google dat elk woord leest in samenhang met de woorden ervoor en erna.
Sinds wanneer gebruikt Google BERT?
Google maakte op 25 oktober 2019 bekend dat het BERT gebruikte voor de ranking en featured snippets. Een jaar later ging het om bijna elke Engelstalige zoekopdracht.
Kun je optimaliseren voor BERT?
Niet apart. BERT helpt Google gewone, natuurlijke taal te begrijpen. Schrijf dus voor je lezer in normale zinnen, zonder losse zoekwoorden aan elkaar te plakken.