robots.txt

Soubor robots.txt je taková cedule u vchodu na web, určená robotům vyhledávačů. Napíšete do něj, kam smějí a kam ne — třeba že administraci nebo interní stránky procházet nemají. Slušní roboti se podle něj řídí.

Je dobré vědět, že nejde o zámek. Citlivé stránky tím neschováte, jen slušně požádáte roboty, aby je nechali být — kdo chce, stejně se tam dostane.

Soubor robots.txt v kořeni domény řídí podle standardu Robots Exclusion Protocol chování crawlerů pomocí direktiv jako „User-agent", „Disallow" a „Allow". Neslouží k zabezpečení ani ke skrytí obsahu — je to jen doporučení, které respektují korektní roboti. Zákaz procházení navíc neznamená vyřazení z indexu; k tomu slouží meta tag „noindex" nebo hlavička „X-Robots-Tag". Chybně nastavený „Disallow" dokáže z vyhledávání nechtěně vyřadit i celý web, proto je namístě opatrnost.