Alles wat je aan je website verbetert is verspilde moeite als Google de pagina niet kan bereiken, lezen of indexeren. Dat klinkt als een open deur, maar het is de meest voorkomende oorzaak van “we staan nergens in Google” die we tegenkomen: niet de teksten, niet de concurrentie, maar één regel in een bestand dat niemand meer kende.
Dit artikel loopt de technische voorwaarden langs waar een pagina aan moet voldoen voordat de rest ertoe doet: HTTPS, de noindex-instructie, robots.txt, de sitemap, de canonieke URL, de HTTP-status, 404-pagina’s en doorverwijzingen.
HTTPS
Een site zonder geldig certificaat wordt door browsers gelabeld als “Niet beveiligd”, en dat kost bezoekers voordat ze je tekst hebben gelezen. Google bevestigt daarnaast dat HTTPS een licht rankingsignaal is. Een certificaat is bij vrijwel elke hoster gratis (Let’s Encrypt) en de installatie is meestal één knop.
Belangrijk is de tweede stap die vaak wordt overgeslagen: stuur al het HTTP-verkeer door naar HTTPS. Anders bestaat je site in twee versies naast elkaar, wat zowel bezoekers als zoekmachines in verwarring brengt.
De noindex-instructie
Eén regel in de broncode kan je hele pagina uit Google houden:
<meta name="robots" content="noindex">
Dit is de schadelijkste fout die er is, en hij komt vaker voor dan je denkt: hij blijft staan nadat een site live is gegaan, want tijdens de bouw stond hij er met opzet. Zolang die regel er staat, doet niets anders ertoe. Controleer hem op je belangrijkste pagina’s, en controleer ook de X-Robots-Tag in de serverheaders, want daar kan dezelfde instructie staan zonder dat je hem in de broncode ziet.
robots.txt
Dit bestand staat op jouwdomein.nl/robots.txt en vertelt crawlers welke delen van je site ze mogen ophalen. Je site werkt prima zonder, maar met dit bestand kun je twee nuttige dingen doen: crawlers wegsturen bij delen die er niet toe doen (interne zoekresultaten, filterpagina’s met eindeloze combinaties) en verwijzen naar je sitemap.
Waar het misgaat is deze regel:
Disallow: /
Dat vraagt elke crawler om je hele site te mijden. Het hoort in een testomgeving en nergens anders. Kijk ook uit met het blokkeren van je CSS- en JavaScript-bestanden: Google rendert je pagina zoals een browser dat doet, en kan hem niet goed beoordelen als de opmaak geblokkeerd is.
Eén misverstand is hardnekkig: robots.txt houdt een pagina niet uit de zoekresultaten. Het houdt crawlers weg, maar een geblokkeerde pagina kan alsnog in de index belanden via links van elders. Wil je een pagina echt uit Google, gebruik dan noindex en blokkeer hem juist niet in robots.txt, anders kan Google die instructie nooit lezen. Google beschrijft dat in zijn robots.txt-documentatie.
De XML-sitemap
Een sitemap is een lijst van de adressen die jij geïndexeerd wilt hebben. Google vindt pagina’s door links te volgen; de sitemap is de kortere weg, en die telt het zwaarst voor nieuwe pagina’s en voor pagina’s waar weinig naartoe gelinkt wordt.
Vrijwel elk CMS maakt er automatisch een. Controleer of hij bestaat (meestal /sitemap.xml of /sitemap_index.xml), of er alleen pagina’s in staan die je echt geïndexeerd wilt hebben, en of hij genoemd wordt in je robots.txt. Dien hem daarnaast één keer in bij Google Search Console en bij Bing Webmaster Tools.
De canonieke URL
Dezelfde pagina is vaak via meerdere adressen bereikbaar: met en zonder www, met en zonder slash aan het eind, met een trackingparameter erachter. Voor jou is dat één pagina, voor een zoekmachine zijn het er vier.
De canonical is het linkelement waarmee je zegt welk adres het origineel is:
<link rel="canonical" href="https://jouwdomein.nl/diensten/dakreparatie/">
Dubbele inhoud levert geen straf op, dat heeft Google expliciet gezegd. Zonder canonical moet Google alleen zelf kiezen welke versie hij indexeert, en die keuze valt niet altijd zoals jij zou willen. Eén regel neemt de gok weg.
De HTTP-status
Elke pagina geeft een statuscode terug. 200 betekent “hier is de pagina”. 301 betekent “verhuisd, blijvend”. 404 betekent “bestaat niet”. 500 betekent “er is iets stuk”. Een pagina die je geïndexeerd wilt hebben hoort 200 te geven, altijd.
404-pagina’s en soft 404’s
Een adres dat niet bestaat hoort een 404 terug te geven. Dat klinkt vanzelfsprekend, maar veel sites sturen zo’n verzoek door naar de homepage met een keurige 200 erbij. Google noemt dat een soft 404, en het gevolg is dat er onbeperkt rommeladressen in de index terecht kunnen komen, met crawlbudget dat naar je echte pagina’s had moeten gaan.
Maak daarnaast een 404-pagina die iets doet: een zoekveld, links naar je belangrijkste pagina’s en een normale menubalk. Een doodlopende foutmelding kost je de bezoeker.
Doorverwijzingen
Eén doorverwijzing is normaal en onschadelijk, bijvoorbeeld van HTTP naar HTTPS of van non-www naar www. Ketens van drie of vier achter elkaar zijn dat niet: elke stap kost tijd voordat de eerste byte binnen is, en de bezoeker staat te wachten. Kijk periodiek of je oude redirects niet op elkaar gestapeld zijn en laat ze rechtstreeks naar de eindbestemming wijzen.
Wat je vandaag kunt doen
- Open
jouwdomein.nl/robots.txten controleer of er geenDisallow: /staat. - Bekijk de broncode van je belangrijkste pagina en zoek op “noindex”.
- Controleer of je sitemap bestaat en of hij in Search Console is ingediend.
- Typ een adres in dat niet bestaat en kijk of je een echte 404 krijgt met een bruikbare pagina.
- Controleer of
http://netjes doorstuurt naarhttps://.
Wil je dit in één keer gecontroleerd hebben? De gratis SEO-check loopt deze punten voor je langs en laat per onderdeel zien wat er op jouw pagina gevonden is.
