Robots.txt — это текстовый файл, который позволяет веб-сайту давать инструкции ботам, заполняющим веб-страницы.
Поисковые системы, такие как Google, используют эти веб-гусеницы, иногда называемые веб-роботами, для архивирования и категоризации веб-сайтов. Большинство ботов настроено на поиск роботов.txt файл на сервере, прежде чем он прочитает любой другой файл с веб-сайта. Это делается для того, чтобы выяснить, нет ли у владельца сайта особых указаний по поводу того, как ползать и индексировать его сайт.
Роботы.txt файл содержит набор инструкций, которые просят бота игнорировать определенные файлы или каталоги. Это может быть сделано в целях конфиденциальности или потому, что владелец сайта считает, что содержимое этих файлов и каталогов не имеет значения для категоризации сайта в поисковых системах.
Если сайт имеет более одного поддомена, каждый поддомен должен иметь свой собственный роботс.txt файл. Важно отметить, что не все боты будут выполнять проверку.txt-файл. Некоторые вредоносные боты даже читают robots.txt-файл, чтобы узнать, какие файлы и каталоги они должны игнорировать в первую очередь. Кроме того, даже если файл robots.txt файл предписывает ботам игнорировать определенные страницы на сайте, эти страницы все равно могут появляться в результатах поиска, если на них есть ссылки на других страницах, которые просматриваются.
Дополнительное чтение
- Как добавить свой сайт WordPress в Google Search Console
- SEO
Источник: www.wpbeginner.com