Les moteurs de recherche parcourent chaque jour Internet et examinent de nombreux sites. Pour mener à bien cette tâche, ils utilisent des logiciels, appelés robots d’indexation qui “crawlent” l’ensemble des ressources d’un site dans un but d’indexation des données présentes. La fonction du fichier robots.txt est de fournir des informations à ces robots et ainsi […]
Lire la suite...