# robots.txt fuer http://www.damastmesser.asia/
# Anleitungen udn Regeln finden Sie am Ende des Dokuments

User-agent: *
Disallow: /sitemap/
Disallow: /blog/wp-admin/
Disallow: /blog/wp-login.php
Disallow: /blog/xmlrpc.php
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /1/
Disallow: /2/
Disallow: /rss/
Disallow: /astrologie/
Disallow: /nlp
Disallow: /handylogo/
Disallow: /tracker/
Disallow: /ranking/
Disallow: /keyvote/
Disallow: /4ko4hl4at/
Disallow: /video/
# Google 404er Fehler zum entfernen
Disallow: /cse
Disallow: /diadem-travel-spam/diadem-travel-spam-1.html
Disallow: /eintrag.htm
Disallow: /linkpartner/digits-counter.html
Disallow: /linkpartner/digits.html
Disallow: /linkpartner/itplus.html
Disallow: /partner/inode.html
Disallow: /promomasters-1/
Disallow: /spammers/spam.html
Disallow: /tipps-und-newsletter-20030125.html
Disallow: /tipps-und-newsletter-20030326.html
Disallow: /video/real.htm
Disallow: /video/windowsmedia.htm
Disallow: /werbung.html
Disallow: /zahnarzt
# Hier steht der Linkverweis fuer die XML Sitemap
# Sitemap: http://www.promomasters.at/sitemap.xml

# DIE REGELN by http://www.kohlfuerst.at/

# Disallow:/
# Gesamte Präsenz soll nicht gecrawlt werden

# Disallow: /*?
# Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden

# Disallow: /verzeichnis/
# Allow: /verzeichnis/datei.htm
# Crawle verzeichnis nicht ausser datei.htm

# Disallow: /*.doc$
# Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden

# Disallow: /*?
# Allow: /*?$
# Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. 
# Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden

# Disallow: /nein*/
# Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen