Недавно один из наших читателей попросил у нас совета, как оптимизировать роботов.txt файл для улучшения SEO.
Роботы.txt-файл указывает поисковым системам, как ползать по вашему сайту, что делает его невероятно мощным инструментом SEO.
В этой статье мы покажем вам, как создать идеальных роботов.txt-файл для SEO.
Что такое robots.txt-файл?
Robots.txt — это текстовый файл, который владельцы сайтов могут создать, чтобы указать ботам поисковых систем, как ползать и индексировать страницы на их сайте.
Обычно он хранится в корневом каталоге, также известном как главная папка, вашего сайта. Основной формат для роботов.txt файл выглядит следующим образом:
User-agent: [имя пользователя-агента] Disallow: [строка URL не должна быть просмотрена] User-agent: [имя агента пользователя] Allow: [URL-строка, которую нужно просматривать] Sitemap: [URL вашего XML Sitemap]
Вы можете иметь несколько строк инструкций, чтобы разрешить или запретить определенные URL-адреса и добавить несколько карт сайта. Если вы не запрещаете URL-адрес, то боты поисковых систем считают, что им разрешено его индексировать.
Вот что такое роботы.Пример файла txt может выглядеть следующим образом:
User-Agent: * Разрешить: /wp-content/uploads/ Disallow: /wp-content/plugins/ Запретить: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
В приведенных выше роботах.txt Например, мы разрешили поисковым системам просматривать и индексировать файлы в папке uploads нашего WordPress.
После этого мы запретили поисковым ботам ползать и индексировать плагины и папки администратора WordPress.
Наконец, мы указали URL нашей XML карты сайта.
Нужен ли вам Robots.txt файл для вашего сайта WordPress?
Если у вас нет robots.txt файл, тогда поисковые системы все равно будут переползать и индексировать ваш сайт. Однако вы не сможете указать поисковым системам, какие страницы или папки они не должны просматривать.
Это не будет иметь большого влияния, если вы только начинаете вести блог и не имеете большого количества контента.
Однако по мере роста вашего сайта и появления большого количества контента, вы, вероятно, захотите иметь лучший контроль над тем, как ваш сайт будет индексироваться и просматриваться.
Поисковые боты имеют квоту на сканирование для каждого сайта.
Это означает, что они просматривают определенное количество страниц во время сеанса сканирования. Если роботы не успеют просмотреть все страницы вашего сайта, то они вернутся и возобновят просмотр в следующем сеансе.
Это может замедлить скорость индексации вашего сайта.
Вы можете исправить это, запретив поисковым ботам пытаться просматривать ненужные страницы, такие как страницы администратора WordPress, файлы плагинов и папки тем.
Запрещая ненужные страницы, вы экономите свою квоту на сканирование. Это помогает поисковым системам просмотреть еще больше страниц на вашем сайте и проиндексировать их как можно быстрее.
Еще одна веская причина использовать robots.txt файл используется, когда вы хотите запретить поисковым системам индексировать пост или страницу на вашем сайте.
Это не самый безопасный способ скрыть контент от широкой публики, но он поможет вам предотвратить его появление в результатах поиска.
Как выглядит идеальный Robots.txt файл?
Многие популярные блоги используют очень простой файл robots.txt-файл. Их содержание может варьироваться в зависимости от потребностей конкретного сайта:
User-agent: * Disallow: Sitemap: http://www.пример.com/post-sitemap.xml Sitemap: http://www.пример.com/page-sitemap.xml
Этот робот.txt файл позволяет всем ботам индексировать все содержимое и дает им ссылку на XML sitemaps сайта.
Для сайтов WordPress мы рекомендуем следующие правила в robots.txt файл:
User-Agent: * Разрешить: /wp-content/uploads/ Запретить: /wp-admin/ Запретить: /readme.html Запретить: /refer/ Sitemap: http://www.пример.com/post-sitemap.xml Sitemap: http://www.пример.com/page-sitemap.xml
Эта строка указывает поисковым ботам индексировать все изображения и файлы WordPress. Это запрещает поисковым ботам индексировать административную область WordPress, файл readme и замаскированные партнерские ссылки.
Добавление карты сайта в robots.txt-файл, вы облегчаете ботам Google поиск всех страниц на вашем сайте.
Теперь, когда вы знаете, что такое идеальный robots.txt файл, давайте рассмотрим, как можно создать robots.txt-файл в WordPress.
Как создать Robots.Файл txt в WordPress?
Существует два способа создания роботов.txt файл в WordPress. Вы можете выбрать метод, который работает лучше всего для вас.
Метод 1: Редактирование роботов.txt-файл с помощью All in One SEO
All in One SEO, также известный как AIOSEO, является лучшим плагином WordPress SEO на рынке, который используют более 2 миллионов сайтов.
Он прост в использовании и поставляется вместе с robots.генератор txt-файлов.
Если у вас еще не установлен плагин AIOSEO, вы можете посмотреть наше пошаговое руководство по установке плагина WordPress.
Примечание: Бесплатная версия AIOSEO также доступна и имеет эту функцию.
После установки и активации плагина вы можете использовать его для создания и редактирования ваших роботов.txt файл непосредственно из вашей админзоны WordPress.
Просто зайдите на сайт Все в одном SEO » Инструменты для редактирования ваших роботов.txt файл.
Сначала вам нужно включить возможность редактирования, нажав на кнопку ‘Enable Custom Robots.txt» переключить на синий цвет.
Включив этот переключатель, вы сможете создавать пользовательских роботов.txt файл в WordPress.
All in One SEO покажет существующих роботов.txt файл в папке ‘Robots.txt Preview» в нижней части вашего экрана.
Эта версия будет показывать правила по умолчанию, которые были добавлены WordPress.
Эти правила по умолчанию запрещают поисковым системам просматривать ваши основные файлы WordPress, позволяют ботам индексировать все содержимое и предоставляют им ссылку на XML sitemaps вашего сайта.
Теперь вы можете добавить свои собственные пользовательские правила для улучшения роботов.txt для SEO.
Чтобы добавить правило, введите пользовательский агент в поле ‘User Agent’. Использование * применит правило ко всем агентам пользователя.
Затем выберите, хотите ли вы «Разрешить» или «Запретить» поисковым системам ползать по сайту.
Далее введите имя файла или путь к каталогу в поле «Путь к каталогу».
Правило будет автоматически применено к вашему robots.txt. Чтобы добавить другое правило, нажмите на кнопку «Добавить правило.
Мы рекомендуем добавлять правила до тех пор, пока вы не создадите идеальных роботов.txt, о котором мы рассказывали выше.
Ваши пользовательские правила будут выглядеть следующим образом.
Как только вы закончите, не забудьте нажать на кнопку «Сохранить изменения», чтобы сохранить изменения.
Метод 2. Редактировать Robots.txt файл вручную с помощью FTP
Для этого метода вам нужно будет использовать FTP-клиент для редактирования файла robots.txt-файл.
Просто подключитесь к своему хостинг-аккаунту WordPress с помощью FTP-клиента.
После этого вы сможете увидеть роботов.txt файл в корневой папке вашего сайта.
Если вы не видите его, то, скорее всего, у вас нет раздела «robots.файл txt.
В этом случае вы можете просто пойти и создать его.
Robots.txt является обычным текстовым файлом, что означает, что вы можете загрузить его на свой компьютер и редактировать с помощью любого текстового редактора, например, Блокнота или TextEdit.
После сохранения изменений, вы можете загрузить его обратно в корневую папку вашего сайта.
Как протестировать своих роботов.txt-файл?
После того, как вы создали своих роботов.txt файл, всегда полезно проверить его с помощью robots.инструмент txt-тестера.
Существует множество роботов.Существует множество инструментов для тестирования txt-файлов, но мы рекомендуем использовать тот, который находится в Google Search Console.
Во-первых, вам нужно, чтобы ваш сайт был связан с Google Search Console. Если вы еще не сделали этого, посмотрите наше руководство о том, как добавить ваш WordPress сайт в Google Search Console.
Просто выберите вашу недвижимость из выпадающего списка.
Инструмент автоматически подберет роботов для вашего сайта.txt файл и выделит ошибки и предупреждения, если обнаружит таковые.
Последние мысли
Цель оптимизации вашего файла robots.Файл txt предназначен для того, чтобы поисковые системы не просматривали страницы, которые не находятся в открытом доступе. Например, страницы в папке wp-plugins или страницы в папке администратора WordPress.
Распространенный миф среди SEO экспертов заключается в том, что блокировка страниц категорий, тегов и архивов WordPress улучшит скорость ползания и приведет к более быстрой индексации и более высокому рейтингу.
Это неправда. Это также противоречит руководству Google для веб-мастеров.
Мы рекомендуем вам следовать приведенным выше правилам для роботов.txt для создания файла robots.txt файл для вашего сайта.
Надеемся, что эта статья помогла вам узнать, как оптимизировать роботов WordPress.txt файл для SEO. Вы также можете ознакомиться с нашим руководством по WordPress SEO и лучшими инструментами WordPress SEO для развития вашего сайта.
Источник: www.wpbeginner.com