John Mueller van Google beantwoordde een vraag op Reddit over een veelgebruikte robots-metatag en wat er zou gebeuren als deze zou ontbreken. Het antwoord van Mueller is weliswaar logisch en gedocumenteerd, maar kan voor veel uitgevers en SEO’s nog steeds als een verrassing komen.

Robots-metatag

Het HTML-meta-element communiceert metadata. Metagegevens is machinaal leesbare informatie die een crawler als Googlebot kan lezen.

Er zijn veel soorten meta-elementen, zoals het metabeschrijvingselement, maar het Robots-meta-element is anders omdat het de crawlers van zoekmachines kan besturen.

De informatie die door de robots-metatag wordt gecommuniceerd, wordt een richtlijn genoemd, wat betekent dat robotcrawlers verplicht zijn de instructies in de robots-metatag te gehoorzamen.

Er zijn veel aanwijzingen om door de robots-meta te gaan, maar de volgende metatag is er een die relevant is voor de vraag die John Mueller heeft beantwoord.

De noindex, no follow-metatag:

<meta name="robots" content="noindex, nofollow">

De bovenstaande metatag vertelt de crawlers van de zoekmachine om de inhoud van de webpagina niet te indexeren en geen links te volgen.

Een van de meest voorkomende metatags is deze, die zoekmachines de opdracht geeft de inhoud te indexeren en alle links te volgen:

<meta name="robots" content="index, follow">

Hoewel de bovenstaande metatag gebruikelijk is, bestaat er een aanzienlijke hoeveelheid misverstanden over. Er is een redenering dat, omdat Google nofollow ondersteunt, dit moet impliceren dat Google de follow-richtlijn ondersteunt.

Ik heb een aantal gezaghebbende websites gevonden die zeggen dat Google de meta robots index, follow meta tag gebruikt.

Maar dat is eigenlijk niet hoe Google deze richtlijnen gebruikt, zoals John Mueller duidelijk maakt in zijn antwoord.

Zie ook: Google antwoordt als meta-robots-tags de zoekrangschikking beïnvloeden

Wat is het effect van het weglaten van de Meta Robots Index-tag?

De persoon op Reddit stelde de volgende vraag:

“Ik ben een beetje in de war met een website waar ik aan werk.

Dit is dus hoe de metafragmenten op de meeste websites waar ik aan werk er uitzien:

documentatie over robots-tags adviseert:

“De standaardwaarden zijn index, follow en hoeven niet te worden opgegeven.”

De volledige lijst met geldige richtlijnen voor Google is hier.

Als de robots-meta die u wilt gebruiken daar niet wordt vermeld, zal Googlebot deze negeren.

Verwant: Hoe u de interactie van Googlebot met uw website kunt controleren

Is Index, Follow volkomen nutteloos?

Het is waar, gedocumenteerd en officieel dat als het om Googlebot gaat, een verspilling van HTML-ruimte is en door Googlebot wordt genegeerd.

Bing behandelt index, volg op een vergelijkbare manier maar met een klein verschil, zoals beschreven in de oofficiële Bing-documentatie voor metatags.

Dit is wat de documentatie van Bing zegt over de indexrichtlijn:

“Standaard gaan we uit van “index”, maar indien nodig kun je gebruiken om expliciet aan te geven dat we de pagina mogen indexeren.”

En dit staat er over de volgrichtlijn:

“Standaard gaan we uit van ‘volgen’, maar je kunt desgewenst expliciet ‘volgen’ vermelden.”

In de ruim 20 jaar dat ik in de SEO-branche werkzaam ben bij het maken van websites, het optimaliseren ervan en het rangschikken ervan, heb ik het altijd als een goed beleid beschouwd om de bots te geven wat ze verwachten en te proberen ze niets onverwachts te geven. Dus als een metabeschrijving niet nodig is, zou mijn impuls zijn om deze weg te laten, omdat het hele punt van optimaliseren is om het voor de zoekmachines zo gemakkelijk mogelijk te maken om de inhoud te indexeren en te begrijpen, wat betekent dat we alles moeten verwijderen dat zou tegen dat doel kunnen werken.

In dit geval is het zeer waarschijnlijk dat het op de een of andere manier geen effect zal hebben.

Maar… Er is een andere manier om mensen te volgen en te indexeren.

Sommige uitgevers gebruiken deze robots-metatag:

<meta name="robots" content="noindex, follow">

Sommige sites geven aan dat als de pagina niet wordt geïndexeerd, het gebruik van de “follow”-richtlijn de zoekmachine dwingt de links te volgen.

Maar dat is niet waar als er een “noindex”-richtlijn bestaat, om de eenvoudige redenen dat Google een link niet kan volgen op een pagina die niet is geïndexeerd. Als het niet in de index staat, staan ​​de links op die pagina’s niet in de index.

Lezen: Hoe u Google uw site kunt laten indexeren (snel)

Uitgelichte afbeelding door Shutterstock/Bangun Stock Productions