Bonjour,
J'ai remarqué sur de gros sites que le robots.txt bloquait de nombreux robots.
Les deux fois ou mon compte chez PH à été fermé il y avait eu peu avant une augmentation importantes des visites, non répercuté sur google analytics, donc des robots.
Cela peut donc avoir son utilité et augmenter la vitesse du site, j'ai donc pris le fichier robots de forumactif qui a l'air assez complet:
http://www.forumactif.com/robots.txt
Enfin seulement la liste des robots bloqués bien sur, pour la rajouter à mes sites.
Je ne suis pas un spécialiste à ce propos donc n'hésitez pas à me dire ce que vous en pensez et me conseiller une liste plus complète si il y'a.
J'ai remarqué sur de gros sites que le robots.txt bloquait de nombreux robots.
Les deux fois ou mon compte chez PH à été fermé il y avait eu peu avant une augmentation importantes des visites, non répercuté sur google analytics, donc des robots.
Cela peut donc avoir son utilité et augmenter la vitesse du site, j'ai donc pris le fichier robots de forumactif qui a l'air assez complet:
http://www.forumactif.com/robots.txt
Enfin seulement la liste des robots bloqués bien sur, pour la rajouter à mes sites.
Je ne suis pas un spécialiste à ce propos donc n'hésitez pas à me dire ce que vous en pensez et me conseiller une liste plus complète si il y'a.