#Soll für alle Crawler gelten darum *
User-agent: *
#
#
# Disallow: /verzeichnis/ --> verzeichnis wird von indexierung ausgeschlossen
# Disallow: /verzeichnis --> indexiert auch nicht verzeichnis.html .....
# Disallow: / --> ganze seite wird von indexierung ausgeschlossen
#
# Alles mit Forum wird von indexierung ausgeschlossen (forum1.cfm, forum.cfm etc.)
Disallow: /forum