Sitemap: http://kinoute.org/sitemap.xml.gz

User-agent: *
# l'astérisque ou “wildcard” a fonction de joker, les paramètres s'appliqueront à tous les robots.

Disallow: /log/wp-
# On interdit l'accès aux répertoires de wordpress tels que wp-includes et wp-content.
Disallow: /feed
Disallow: /log/search
Disallow: /spongestats
Disallow: /spongestats/$
Disallow: /log/2007
Disallow: /log/2007/$
Disallow: /log/2008
Disallow: /log/2008/$
Disallow: /hawaii/spongestats
Disallow: /hawaii/spongestats/$
Disallow: /log/feed
Disallow: /log/comments/feed
Disallow: /log/feed/$
Disallow: /log/*/feed/$
Disallow: /log/*/feed/rss/$
Disallow: /log/*/trackback/$
Disallow: /log/*/*/feed/$
Disallow: /log/*/*/feed/rss/$
Disallow: /log/*/*/trackback/$
Disallow: /log/*/*/*/feed/$
Disallow: /log/*/*/*/feed/rss/$
Disallow: /log/*/*/*/trackback/$
# On interdit l'accès aux pages de recherches, aux trackbacks, aux fils RSS du blog, des billets, et des commentaires.

Disallow: /log/*?*
Disallow: /log/*?#
# On interdit l'accès aux urls qui contiennent des paramètres (ex: http://kinoute.org/log/?s=cinema)

Disallow: /log/theme/*/*
Disallow: /blog/tag/*/*
# Les pages de catégories et de tags sont un exemple typique de Duplicate Content, on les bloque aussi.


User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google Image indexera toutes les images

User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Google AdSense aura accès à tout

User-agent: duggmirror
Disallow: /
# digg mirror ne pourra pas sauvegarder une page après qu'elle soit passée sur Digg