Robots.txt е текстов файл с инструкции за роботите на търсачките. Той определя в кои области на робот на уебсайт е разрешено да търси. Това е първият документ, който роботите отварят, когато посещават вашия сайт. Файлът обаче не контролира само обхождането. Можете също така да интегрирате връзка към вашата карта на сайта, която дава на роботите на търсачката преглед на всички съществуващи URL адреси на вашия домейн. Инструкциите във файла robots.txt имат силно влияние върху SEO (оптимизация за търсачки), тъй като файлът ви позволява да контролирате роботите за търсене. Въпреки това, ако потребителските агенти са ограничени твърде много чрез инструкции за забрана, това има отрицателен ефект върху класирането на вашия уебсайт. Трябва също така да имате предвид, че няма да се класирате с уеб страници, които сте изключили чрез disallow в robots.txt. Ако, от друга страна, няма или почти няма ограничения за забрана, може да се случи страници с дублирано съдържание да бъдат индексирани, което също има отрицателен ефект върху класирането на тези страници. Като използвате правилно robots.txt, можете да гарантирате, че всички важни части от вашия уебсайт са обходени от ботове за търсене. Следователно цялото съдържание на вашата страница се индексира от Google и други търсачки.
PosFox