############################################################################ ##########robots.txt file by Tito Lukic - revised on Tuesday, 11.05.2010. ############################################################################ ##########http://www.robotstxt.org/ ##########http://googlewebmastercentral.blogspot.com/2008/06/improving-on-robots-exclusion-protocol.html ##########http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360 ##########http://user-agents.org/index.shtml ##########http://en.wikipedia.org/wiki/Robots.txt ##########http://www.javascriptkit.com/howto/robots.shtml ##########etc ... ############################################################################ User-agent: Googlebot ####################folders Disallow: /redirect/ ####################pages # ####################forum and directory issues Disallow: /*guest= Disallow: /*search_string= Disallow: /*track_hits Disallow: /*username= ####################cgi files Disallow: /*bookmark.cgi Disallow: /*community.cgi Disallow: /*contact_form.cgi Disallow: /*listings.cgi Disallow: /*modify.cgi Disallow: /*rate.cgi Disallow: /*review.cgi Disallow: /*search.cgi Disallow: /*subscribe.cgi Disallow: /*user.cgi Disallow: User-agent: Mediapartners-Google Disallow: User-agent: Slurp Disallow: User-agent: msnbot Disallow: User-agent: Teoma Disallow: User-agent: Jeeves Disallow: User-agent: * Disallow: / ############################################################################ ##########End of the file ############################################################################