Robots.txt

Robots.txt je textový soubor, s nímž lze povolit nebo zakázat všem (nebo jen konkrétnímu robotovi) přístup do určité složky na stránkách. Soubor robots.txt se vždy ukládá přímo do kořenu adresáře a je to tím prvním, co vyhledávače čtou při návštěvě webu, aby zjistily, do kterých složek mají a nemají přístup. Více o souboru a příkazech robots.txt naleznete v příspěvku Já, Robots.txt