Robots.txt gebruik je om aan een zoekmachine te vertellen welke pagina’s deze niet mag crawlen. Dit doe je door in de root van je website het bestand robots.txt te plaatsen (bijv.: http://www.google.com/robots.txt). De robots die het internet crawlen om websites te indexeren luisteren vervolgens naar de instructies die in dit bestand staan. Robots lezen dit bestand regel voor regel en volgen de instructies op. Er kunnen regels ingesteld worden die voor alle robots gelden, maar regels kunnen ook specifiek voor één bepaalde robot gemaakt worden.