Waarom uw website niet gevonden wordt door zoekmachines

Een van de doelen van zoekmachine optimalisatie is het beter gevonden worden in de organische (niet betaalde) zoekresultaten van een zoekmachine. Betere posities bij relevante zoekwoorden zorgen over het algemeen voor meer relevante bezoekers en uiteindelijk voor meer inkomsten. Voor bedrijven is er dus veel aan gelegen om een zo hoog mogelijke positie te bemachtigen. Toch kan het ook voor komen dat een zoekmachine u helemaal niet vind! Hieronder zullen de meest voorkomende redenen hiervoor gegeven worden en zullen er oplossingen aangedragen worden zodat u wel (weer) gevonden wordt.

Hoe werkt een zoekmachine?

Om te begrijpen waarom uw website niet gevonden wordt is het belangrijk om een idee te hebben van hoe zoekmachines werken. Voordat een website vindbaar is via een zoekmachine heeft deze drie stappen doorlopen:

1. Crawlen: allereerst stuurt de zoekmachine een webcrawler (ook wel spider, robot of bot genaamd) het internet op om nieuwe pagina’s te doorzoeken. Webcrawlers worden gebruikt om een kopie te maken van alle pagina’s die ze doorzoeken zodat deze vervolgens geïndexeerd kunnen worden door de zoekmachine;Computerprogramma’s bepalen welke sites doorzocht moeten worden, hoe vaak dat moet gebeuren en hoeveel pagina’s er van een website moeten worden opgehaald. Als een webcrawler een link tegenkomt op een pagina wordt deze toegevoegd aan de lijst van te doorzoeken pagina’s en wordt deze vervolgens doorzocht en opgeslagen;
2. Indexeren: alle pagina’s die zijn opgeslagen door de webcrawler worden vervolgens geïndexeerd door de zoekmachine en opgeslagen in een grote index. Deze index wordt opgebouwd aan de hand van de gevonden woorden op pagina’s en hier worden gegevens aan toegevoegd die afkomstig zijn uit belangrijke tags en attributen van de site (zoals title-tags en alt-attributen);
3. Presenteren: tenslotte worden de door de zoekmachine opgeslagen en geïndexeerde pagina’s gepresenteerd aan de eindgebruiker wanneer deze een zoekopdracht invoert. De resultaten worden getoond aan de hand van de door de zoekmachine bepaalde relevantie die webpagina’s hebben ten opzichte van de gebruikte zoekwoorden.

Om gevonden te worden dient uw website dus eerst door een webcrawler doorzocht te worden en vervolgens geïndexeerd te worden. Indien uw website niet gevonden wordt door een zoekmachine kunnen daar een aantal redenen voor zijn. Hieronder zullen de belangrijkste redenen worden besproken, maar eerst zal aangegeven worden hoe u kunt zien of uw website wel of niet gevonden wordt.

Word ik wel gevonden?

Het kan zijn dat u ten onrechte denkt dat uw website via zoekmachines niet te vinden is. Het kan zijn dat uw website wel gevonden kan worden bij bepaalde zoekwoorden, maar dat uw website niet als heel relevant wordt gezien door de zoekmachine en dat u daarom heel laag staat in de gevonden resultaten. Om te controleren of zoekmachines uw website überhaupt kunnen vinden gaat u naar de zoekmachine en geeft u als zoekopdracht een zogeheten site: search in: site:website.nl

Indien uw resultaten voor uw website terugkrijgt dan bent u door de zoekmachine in ieder geval in de index opgenomen en kunt u middels die zoekmachine gevonden worden. Mocht dat niet zo zijn, dan kunnen er een aantal redenen voor zijn.

Redenen dat een website niet geïndexeerd is

Nu zullen de belangrijkste reden waarom uw website niet gevonden kan worden besproken en wat u hier aan kunt doen.

Indextijd

Het duurt even voordat een zoekmachine uw website gevonden heeft, deze doorzocht heeft en toegevoegd heeft aan de index. Een zoekmachine vindt u vanzelf wanneer er naar een van uw pagina’s gelinkt wordt. Mocht dat nog niet het geval zijn kunt u altijd zelf uw website aanmelden bij een zoekmachine om doorzocht te worden. Let wel op: u krijgt dan het voordeel van de twijfel: als andere websites naar verloop van tijd nog steeds niet naar uw site linken neemt een zoekmachine aan dat uw website niet belangrijk is en verwijdert het de website uit haar index.

Daarnaast bestaat bij Google het “Sandbox” effect: nieuwe sites die pas geïndexeerd zijn kunnen in de “sandbox” worden gestopt waardoor ze vervolgens een bepaalde tijd niet meer te vinden zijn in (een groot deel van) de zoekresultaten. Dit effect is waarschijnlijk in het leven geroepen om eventuele manipulatie door spam-bedrijven tegen te gaan. Nieuwe sites moeten eerst bewijzen dat ze “goede websites” zijn alvorens ze volledig te vinden zijn. Het sandbox-effect is onvoorspelbaar en grillig maar kan dus voorkomen.

Oplossing: wachten en goede content creëren. Zeker niet overgaan op extreme vormen van zoekmachine optimalisatie, dit werkt (altijd) tegen u.

Geen externe links (backlinks) naar uw website

Zoals aangegeven vinden webcrawlers uw website als er naar uw pagina gelinkt wordt. Wanneer dit niet het geval is zult u dus niet gevonden worden. Ook als u uw webpagina zelf hebt aangemeld, maar er naar verloop van tijd nog steeds geen pagina’s zijn die naar uw linken, kunt u uit de index worden gehaald.

Oplossing: zorg voor genoeg kwalitatief goede backlinks op relevante sites.

Robots.txt

Robots.txt is een bestand dat u toevoegt aan uw website waarmee u zoekmachines kunt vertellen welke pagina’s wel en welke niet geïndexeerd mogen worden. Dit bestand wordt geplaatst op de locatie: site.nl/robots.txt. Voordat een webcrawler uw pagina’s gaat doorzoeken leest het eerst de instructies in dit bestand. Indien uw webpagina niet gevonden wordt kan het dus zijn dat u bepaalde delen van uw website heeft afgeschermd voor de webcrawler die wel geïndexeerd moeten worden.

Oplossing: zorg ervoor dat enkel de pagina’s die de webcrawler niet mag doorzoeken opgenomen zijn in robots.txt.

Robots Meta Tag

Naast robots.txt kan er ook gebruik worden gemaakt van de robots meta tag die geplaatst wordt in het head van het document. Met deze tag kunnen ook instructies worden gegeven aan de webcrawler, met name:

• noindex = de pagina mag niet geïndexeerd worden. Wel worden links op de pagina gevolgd;
• nofollow = de pagina mag wel geïndexeerd worden, maar links op de pagina mogen niet worden gevolgd;

Standaard zal een webcrawler de pagina doorzoeken en opslaan voor indexering, en links die aanwezig zijn volgen. Dit hoeft u dus niet aan te geven. Indien uw pagina niet gevonden wordt in de zoekresultaten dient u te kijken of u niet onterecht bovenstaande meta tags hebt gebruikt.

Oplossing: zorg ervoor dat de robots meta tags op een juiste wijze worden gebruikt.

Penalty

Iedere zoekmachine heeft richtlijnen waaraan u zich dient te houden. Indien u deze negeert kunt u hier voor gestraft worden. Zo kunt u teruggeworpen worden in de zoekresultaten (slechter vindbaar) of kunt u zelfs helemaal uit de zoekresultaten worden gehaald. Een aantal redenen waarom u een dergelijke penalty zou kunnen krijgen zijn:

• Duplicate content;
• Zoekwoorden “verbergen” in de tekst;
• Overmatig gebruik van zoekwoorden;
• Aankopen van externe links;
• Het verkopen van links;
• Linkuitwisseling puur om meer links te krijgen;

Wanneer uw website eerst wel geïndexeerd was en te vinden was, en nu niet meer, zou het kunnen zijn dat u een penalty hebt gekregen. Wanneer de bovengenoemde site: search niks oplevert, kunt u altijd nog
link:uwdomein.nl proberen. Als dit niks oplevert is er een grote kans dat u een penalty hebt gekregen.

Oplossing: probeer te achterhalen wat de reden is van de vermindering van uw vindbaarheid. Analyseer of u zich wel aan de richtlijnen van de zoekmachine hebt gehouden. Indien u twijfelt, kunt u altijd contact proberen op te nemen met de zoekmachine. Vaak wordt uw penalty, nadat u berouw hebt getoond door de juiste aanpassingen te maken, opgeheven en bent u weer normaal vindbaar.

Overige redenen

Nu volgt nog een korte opsomming van overige redenen waardoor uw website niet gevonden zou kunnen worden, waarvan de oplossingen voor de hand liggen:

• Registratie: uw pagina heeft een registratie nodig. Webcrawlers kunnen hier niet mee omgaan;
• Duplicate content gebruikt: wanneer u veel content kopieert van andere websites zal uw website niet getoond worden in de zoekresultaten. Zoekmachines laten geen dubbele content zien en de webpagina die het eerste gevonden wordt met de betreffende content wordt getoond;
• Onbetrouwbaar IP-adres: als uw website een IP-adres deelt met minder betrouwbare websites kan dit ervoor zorgen dat u zelf als minder betrouwbaar wordt gezien, met negatieve gevolgen voor uw vindbaarheid;
• Teveel pagina’s toegevoegd: u moet niet teveel pagina’s in één keer toe willen voegen aan een zoekmachine, dit kan als misleiding of manipulatie worden gezien;
• Dynamische pagina’s: dit type webpagina wordt vaak genegeerd door webcrawlers, maak dus vaste pagina’s;
• Frames: webcrawlers kunnen niet goed omgaan met pagina’s die zich in frames openen. Vermijd dus het gebruik van frames;
• Grote pagina’s: pagina’s die erg groot zijn en er lang over doen om te laden kunnen ervoor zorgen dat de webcrawler na een bepaalde tijd stopt met doorzoeken en niet alles gehad heeft. Maak dus niet te grote pagina’s;
• Limieten: webcrawlers hebben een limiet aan webpagina’s die ze doorzoeken. Indien u dus heel veel pagina’s heeft kan het zijn dat niet alle pagina’s doorzoeken en indexeren;
• Onbetrouwbare host: indien uw webpagina niet reageert op het moment dat een webcrawler uw pagina wil doorzoeken wordt uw website niet geïndexeerd. Het kan zelfs zo zijn dat uw webpagina als onbetrouwbaar wordt gezien en uit de index wordt gehaald.

Slot

Hierboven zijn meerdere redenen beschreven waarom een zoekmachine uw webpagina niet weergeeft in haar zoekresultaten. Zorg voor goede content, probeer voor zoveel mogelijk kwalitatief goede backlinks te zorgen en houd rekening met de richtlijnen van de zoekmachine. Mochten er toch problemen voordoen met de vindbaarheid, controleer dan eerst of u wel echt geïndexeerd bent en het niet enkel om een daling in de zoekresultaten gaat.