# robots.txt voor www.intoto.nl

# wget e.d. slurpers niet fijn voor de serverload
User-agent: wget

User-agent: webzip

User-agent: webmirror

User-agent: webcopy

Disallow: /

# advertentiebots niet fijn
User-agent: Mediapartners-Google*
Disallow: /

# deze slurpt ook bandwidth
User-agent: WebReaper
Disallow: /

# niet alle dirs openzetten
User-agent: *
Disallow: /tool_admin/


# lokatie sitemap bestand
Sitemap: http://www.intoto.nl/sitemap.xml