Mais cela ne m'inquiète pas outre-mesure. Qu'ils se repaissent donc, ces robots du web, ces programmes en vadrouille sur le réseau !
Le fait de parcourir mes fichiers fait frissonner de plaisir le serveur web qui m'heberge !
Chaque nouveau chemin detecté le fait frémir alors que le "Hit" est comptabilisé dans ses logs de visite !
Il en va de la survie de votre site ! Optimiser son site pour le référencement passe par un découpage intelligent de son arborescence !
Tous les repertoires, sous-repertoires, dossiers divers et plus ou moins avariés selon la dernière date de modification, se doivent d'être irréprochablement bien alignés, comme à la revue, les pointes de pieds sur la ligne, le long de l'arbre qui compose votre site : un index, quelques fichiers qui demandent à être là, puisque de toutes façons, certains seront appelés par les agents utilisateurs lors de leurs passages (consulter la liste des fichiers demandés lors du passage d'un agent utilisateur sur votre site), d'autres obligatoires pour pouvoir bénéficier de services offerts (sic, tout à un prix, ce n'est pas à vous que je vais l'apprendre) notamment par les moteurs de recherche (consulter la liste des fichiers requis pour bénéficier de services pour webmaster, d'autres enfin totalement optionnels mais néanmoins bien utiles si vous souhaitez restreindre les droits d'accès à certains de vos repertoires de l'arborescence (robots.txt mais surtout .htaccess)
© 2007 L'attrape robots