########################################
# set a delay to avoid sucking bandwidth
########################################
User-agent: msnbot
Crawl-delay: 3

User-agent: slurp
Crawl-delay: 3

#############################
# Block out some directories
#############################
User-agent: *
Disallow: /cgi/
Disallow: /admin/
Disallow: /cart/
Disallow: /modules/
Disallow: /CUSTOM/
Disallow: /img/