#    Ticcon AG - new media marketing
#
# File	: 	robots.txt
# Autor	: 	Frank Agerholm <agerholm@ticcon.de>
#
# Mit Hilfe dieser Datei koennen Sie Suchmaschienen von Verzeichnissen/Dateien fernhalten.
# Sinnvoll ist dies z.B. fuer Verzeichnissse, die sich haefig aendern oder zu denen kein 
# anderer Zugang haben soll.
#
# Syntax:
#
# Zuerst muss ein User-agent angegeben werden.
#

# User-agent: spider    # haelt die Suchemaschienen, die im User Agent "spieder" angeben fern.
User-agent: *		# Aller folgende gilt fuer alle Sucher



# Nun werden die Verzeichnisse angegeben, zu denen der Zugriff gesperrt wird:

Disallow: /cgi-bin/
Disallow: /admin/


# Zusaetzlich koennen gezielt Dateien freigegeben werden.
Allow:	/cgi-bin/inhalt.pl	# Wenn Dieser File z.B. eine Sitemap generiert.


# 
# Weitere Regeln koennen nun angelegt werden.

User-agent: *
Disallow: /temp/	        	# Der Inhalt aendert sich eh immer.