Eine simple ASCII Datei im Root (=Stammverzeichnis) des Servers. Mit ihrer Hilfe werden bestimmte Spider von bestimmten Verzeichnissen oder Seiten erlaubt bzw. ausgeschlossen. Diese Datei sollte auf jeden Fall angelegt werden.
Über den Autor: design2enjoy
Jochen Kröh hat 2002 Design2Enjoy als rein Webdesign orientiertes Unternehmen gegründet. Mittlerweile liegt der Schwerpunkt in der Grafikentwicklung und in der Ausarbeitung kompletter Full-Service Werbekonzepte. Das Ziel von Jochen Kröh ist mit seinen Kunden gemeinsam Erfolg zu haben und "alt" zu werden. Dabei setzt er sehr auf Transparenz, umfassende Betreuung und Vernetzung seiner Kunden.