# ce dièse indique un commentaire # ce fichier est un exemple de fichier d'exclusion des robots pour http://www.example.com/ # il #doit être placé dans le répertoire racine User-agent: * # l'étoile indique que tous les robots sont concernés. # pour exclure un robot donné faire User-agent: Nom_du_Méchant_Robot # on va ensuite à la ligne # Disallow: / ceci exclut de tout le site # Disallow: /cyberworld/map/ # répertoire à ne pas indexer Disallow: /tmp/ # idem Disallow: /foo.html #fichier à ne pas indexer User-agent: * Disallow: /forums Disallow: /html Disallow: /music Disallow: /include #Disallow: /nav