25 maart 2010
Een van de doelen van zoekmachine optimalisatie is het beter gevonden worden in de organische (niet betaalde) zoekresultaten van een zoekmachine. Betere posities bij relevante zoekwoorden zorgen over het algemeen voor meer relevante bezoekers en uiteindelijk voor meer inkomsten. Voor bedrijven is er dus veel aan gelegen om een zo hoog mogelijke positie te bemachtigen. Toch kan het ook voor komen dat een zoekmachine u helemaal niet vind! Hieronder zullen de meest voorkomende redenen hiervoor gegeven worden en zullen er oplossingen aangedragen worden zodat u wel (weer) gevonden wordt.
Posts getagd met ‘Robots.txt’
Robots.txt is dood: omarm canonical tags en meta robots
Robots.txt wordt nog door veel websites gebruikt om aan robots te vertellen welke pagina’s ze wel en niet mogen bezoeken. Vaak wordt gedacht dat pagina’s die uitgesloten zijn in robots.txt helemaal niet meer terugkomen in de zoekresultaten van zoekmachines. Dit is echter niet waar. Robots.txt geeft alleen aan dat een robot de pagina niet mag bezoeken, zoekmachines kunnen de URL echter nog wel laten zien in de zoekresultaten. Wil je voorkomen dat bepaalde pagina’s terugkomen in de zoekresultaten van zoekmachines gebruik dan meta robots en canonical tags.
Korte introductie in robots.txt
Robots.txt gebruik je om aan een zoekmachine te vertellen welke pagina’s deze niet mag crawlen. Dit doe je door in de root van je website het bestand robots.txt te plaatsen (bijv.: http://www.google.com/robots.txt). De robots die het internet crawlen om websites te indexeren luisteren vervolgens naar de instructies die in dit bestand staan. Robots lezen dit bestand regel voor regel en volgen de instructies op. Er kunnen regels ingesteld worden die voor alle robots gelden, maar regels kunnen ook specifiek voor één bepaalde robot gemaakt worden.
