Aanvullend: onlangs toch een sterke case gezien van de canonical tag:
Een klant had de canonical tag op de homepage staan, maar verwees daarin elke keer naar het laatste artikel (ging om een blog).

De homepage was daardoor helemaal niet geïndexeerd…

Het klinkt aannemelijk / klopt dat er verschillende prio’s worden gegeven aan bepaalde processen, het is de vraag welke prio een canonical heeft gekregen, Google zegt zelf dat het een aanwijziging is. Ik heb sterke aanwijzingen dat je er leuke dingen mee kunt doen (het zou niet multi-domain werken bijv.). Ik heb impressums, AGB/ALV’s en andere pagina’s welke je zou uitsluiten, canonicals zien hebben welke sites op hoge competitieve termen van 16 naar 4 duwde overnight…

Het probleem is dat de informatie door Google wordt vrijgegeven en dat we daar tussen de regels de strekking van kunnen lezen en begrijpen, maar ik heb nog nergens gezien of het inderdaad zo werkt als dat ze zeggen, hoewel er toch wel wat uitzonderingen zijn zo onderhand.

De robots.txt was inderdaad voorheen bedoeld om zaken uit in de index te houden, totdat Google besloot dat ze het beter wisten, maar dat was pas nadat er hoop gezeik was omdat het ding gewoon niet altijd goed werkte.

Laten we proberen met zijn allen in 2010 minder aannames te doen en meer zaken zelf uit te testen, zo is het tenslotte ook allemaal begonnen. Onze canonical test zal zeker een artikeltje krijgen, of we daar alles in gaan delen wat we hebben gevonden weet ik nog niet, maar iig a good share of information…

Daarnaast is de kans op fouten bij implementatie van rel=canonical vrij groot, waardoor Google het als hint oppakt.

Google wil echter natuurlijk liever zelf automatisch detecteren en bepalen wat de originele (canonical) url is. Net als ze automatisch willen bepalen waar een pagina over gaat i.p.v. de opgegeven Meta Keywords te gebruiken ;)

Ergo, het lijkt me dus logisch dat Google de pagina’s die een canonical tag bevatten gewoon blijft crawlen. Maar aangezien de canonical zich steeds meer als een 301 redirect gaat gedragen, lijkt me dit een test waard :)

Als je er goed over nadenkt hoeft Google helemaal niet de links te volgen, de links zijn namelijk gelijk als het origineel. Behalve dan in jouw voorbeeld.

En ik kan dan nog steeds genoeg voorbeelden bedenken waarin je wel de canonical wil gebruiken. Bijvoorbeeld zoals het (automatisch) door wordpress op dit blog wordt gedaan. Wanneer ik deze comment plaats kom ik volgens mij uit op:

http://blog.e-difference.nl/zoekmachine-optimalisatie/robots-txt-is-dood-omarm-canonical-tags-en-meta-robots.html/comment-page-1/

Gelukkig heeft die pagina de canonical tag en verwijst naar het origineel:
http://blog.e-difference.nl/zoekmachine-optimalisatie/robots-txt-is-dood-omarm-canonical-tags-en-meta-robots.htm

Andere voorbeelden:
- gebruik van analytics parameters en niet # kunnen gebruiken
- sessie id’s in de url
- tabel sorteringen
- etc..

Enfin, je kan goed gelijk hebben. Ik zou er in de praktijk heel erg mee uitkijken. De canonical tag lijkt heel erg op een 301 en je loopt dus het risico dat je de helft van je producten gewoon niet laat zien aan zoekmachines.

De pagina’s zijn inderdaad niet volledig duplicate maar bevatten in principe dezelfde kern van inhoud, opgedeeld in verschillende stukken. Je hebt het alleen in stukken gedeeld om het overzichtelijker te maken, niet omdat het verschillende onderwerpen zijn. Volgens mij valt dit ook binnen de toepassingsmogelijkheden van de canonical tag.

Daarnaast zijn de pagina’s niet volledig duplicate, omdat je andere producten toont. Kleine verschillen zijn toegestaan, maar het is maar de vraag en afhankelijk van andere factoren (denk aan externe links naar pagina 2) of Google de canonical tag accepteert.

Volgens mij is je voorbeeld prima te vergelijken met de situatie van elke blog of nieuwssite (homepage en archief pagina’s) en naar mijn mening kan je vervolgpagina’s beter geven.

Met de meta robots, canonical en 301 redirect (en de URL removal tool) kun je zorgen dat bepaalde pagina’s niet opgenomen worden in de zoekresultaten, of enkel de juiste pagina’s.

De belangrijkste toepassing van de robots.txt is echter het gericht toewijzen van de Google resources. Pagina’s die niet gecrawled en/of geindexeerd hoeven te worden plaats je in je robots.txt. De beschikbare resources worden dan gebruikt om die pagina’s te crawlen en indexeren die belangrijk zijn en toegevoegde waarde bieden.

Daarnaast, kan je individuele bestanden zoals pdf, jpeg, doc etc, niet eenvoudig blokkeren via de bovengenoemde technieken.

Zo dood is het dus alweer niet hè.