Robots.txt generátor

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Soubor Robots.txt na webové stránce je nápověda Webmaster ignorovat zadané soubory nebo adresáře, když se oslčuje motor pavouk procházení webu.

Robots.txt generátor vám pomůže získat soubor Robost.txt Snadnější, Wehn ​​jste vybrali vyhledávač povolen a procházet čas zpoždění, zadejte adresu URL Sitemap a vyberte položku Povolené rototy a vyberte položku Povolené rototy. kód jako níže:

.

Uživatelská agenta: *

Zakázat: /

Uživatelská agenta: IA_Archiver

Zakázat:

Uživatelský agent: Slurp

Zakázat:

Uživatelská agenta: Aport

Zakázat:

Uživatelská agenta: Teoma

Zakázat:

Uživatelská agenta: Baiduspider

Zakázat:

Uživatelská agenta: Twiceler

Zakázat:

Uživatelská agenta: robozilla

Zakázat:

Uživatelská agenta: Gigabot

Zakázat:

Uživatelská agenta: GoogleBot

Zakázat:

Uživatelská agenta: GoogleBot-image

Zakázat:

Uživatelská agenta: GoogleBot-mobile

Zakázat:

Uživatelská agenta: mail.ru

Zakázat:

Uživatelská agenta: MSNBOT

Zakázat:

Uživatelská agenta: PSBOT

Zakázat:

Uživatelská agenta: Naverbot

Zakázat:

Uživatelská agenta: Yeti

Zakázat:

Uživatelská agenta: NUTCH

Zakázat:

Uživatelská agenta: Stackrambler

Zakázat:

Uživatelský agent: Scrubby

Zakázat:

Uživatelská agenta: Asterie

Zakázat:

Uživatelská agenta: Yahoo-Slurp

Zakázat:

Uživatelská agenta: Yandex

Zakázat:

Robots.txt generátor