Amelioration du robots.txt

#1
Bonjour,

J'ai remarqué sur de gros sites que le robots.txt bloquait de nombreux robots.
Les deux fois ou mon compte chez PH à été fermé il y avait eu peu avant une augmentation importantes des visites, non répercuté sur google analytics, donc des robots.

Cela peut donc avoir son utilité et augmenter la vitesse du site, j'ai donc pris le fichier robots de forumactif qui a l'air assez complet:
http://www.forumactif.com/robots.txt

Enfin seulement la liste des robots bloqués bien sur, pour la rajouter à mes sites.

Je ne suis pas un spécialiste à ce propos donc n'hésitez pas à me dire ce que vous en pensez et me conseiller une liste plus complète si il y'a.
 

Sirius

New Member
#3
Cela peut donc avoir son utilité et augmenter la vitesse du site, j'ai donc pris le fichier robots de forumactif qui a l'air assez complet:
http://www.forumactif.com/robots.txt

Enfin seulement la liste des robots bloqués bien sur, pour la rajouter à mes sites.
Bonsoir,

à ceci près que les "mauvais robots" non de toutes façon pas pour habitudes de venir consulter le /robots.txt pour savoir si ils ont le droit ou pas de scanner votre site.
Ils le font...

La on parle plutôt d'un blocage à l'entrée du serveur, par .htaccess avec par exemple une liste deny
 
Haut