Как предотвратить кражу содержимого блога в WordPress

Вы ищете способ не дать спамерам и мошенникам украсть содержимое вашего блога WordPress с помощью контент-скреперов?? Владельцу сайта очень неприятно...

Вы ищете способ не дать спамерам и мошенникам украсть содержимое вашего блога WordPress с помощью контент-скреперов??

Владельцу сайта очень неприятно видеть, что кто-то крадет ваш контент без разрешения, монетизирует его, опережает вас в Google и крадет вашу аудиторию.

В этой статье мы рассмотрим, что такое скрапинг контента блога, как можно уменьшить и предотвратить скрапинг контента, и даже как использовать скрапинг контента в своих интересах.

Что такое скраппинг контента блога?

Скраппинг контента блога — это когда контент берется из многочисленных источников и переиздается на другом сайте. Обычно это делается автоматически через RSS-ленту вашего блога.

Сокращение контента сейчас настолько просто, что любой может создать сайт WordPress, поставить бесплатную или коммерческую тему и установить несколько плагинов, которые будут соскабливать контент с выбранных блогов.

Почему скреперы крадут мой контент?

Некоторые из наших пользователей спрашивают нас, почему они воруют мой контент?? Простой ответ: потому что вы — ВЕЛИКИЙ. Правда заключается в том, что эти скреперы контента имеют скрытые мотивы. Ниже перечислены лишь несколько причин, по которым кто-то может соскабливать ваш контент:

  • Партнерская комиссия — Есть некоторые нечистые на руку маркетологи, которые просто хотят использовать эту систему, чтобы заработать несколько лишних баксов. Они будут использовать ваш и чужой контент для привлечения трафика на свой сайт через поисковую систему. Эти сайты обычно ориентированы на определенную нишу, поэтому у них есть сопутствующие товары, которые они продвигают.
  • Генерация лидов — Часто мы видим, как этим занимаются юристы и риэлторы. Они хотят казаться лидерами отрасли в своих небольших сообществах. У них нет пропускной способности для создания качественного контента, поэтому они идут и переписывают контент из других источников. Иногда они даже не знают об этом, потому что платят какому-то подонку $30/месяц за добавление контента и помощь в улучшении SEO. В прошлом мы сталкивались с довольно большим количеством таких сайтов.
  • Доходы от рекламы — Некоторые люди просто хотят создать «центр» знаний. Универсальный сайт для пользователей в определенной нише. Часто мы замечаем, что содержимое нашего сайта соскабливают. Скрапер всегда отвечает: «Я делал это для блага сообщества». За исключением того, что сайт заклеен рекламой.

Вот лишь несколько причин, по которым кто-то может украсть ваш контент.

Как поймать скреперов контента?

Ловля скреперов контента — утомительное занятие, которое может отнять много времени. Вот несколько способов, с помощью которых вы можете поймать скраперов контента.

Поиск Google по названиям ваших постов

Да, это так же болезненно, как и звучит. Этот метод, вероятно, не стоит того, особенно если вы пишете на очень популярную тему.

Трекбеки

Если вы добавите внутренние ссылки в свои посты, вы заметите трекбэк, если сайт украдет ваш контент. Этот способ практически означает, что скрепер говорит вам, что он скрепит ваш контент.

Если вы используете Akismet, то многие из этих трекбэков будут появляться в папке SPAM. Опять же, это сработает, только если у вас есть внутренние ссылки в ваших постах.

Ahrefs

Если у вас есть доступ к такому SEO-инструменту, как Ahrefs, вы можете отслеживать свои обратные ссылки и следить за украденным контентом.

Как бороться со скреперами контента

Есть несколько подходов, которые люди используют, когда имеют дело со скреперами контента: «Ничего не делать», «Убрать» или «Использовать их в своих интересах».

Давайте посмотрим на каждый из них.

Подход «ничего не делать

Это, безусловно, самый простой подход, который вы можете использовать. Обычно самые популярные блоггеры рекомендуют этот способ, потому что он занимает много времени в борьбе со скреперами.

Очевидно, если это известный блог, такой как Smashing Magazine, CSS-Tricks, Problogger или другие, то им не нужно беспокоиться об этом. Они являются авторитетными сайтами в глазах Google.

Однако мы знаем несколько хороших сайтов, которые были отмечены как скрепы, потому что Google принял их скрепы за оригинальный контент. На наш взгляд, этот подход не всегда самый лучший.

Подход удаления

Это полная противоположность «подходу ничего не делать». При таком подходе вы просто связываетесь со скрепером и просите его убрать контент.

Если они отказываются это делать или просто не отвечают на ваши запросы, тогда вы подаете DMCA (Digital Millennium Copyright Act) на их хост.

По нашему опыту, большинство сайтов-скреперов не имеют контактной формы. Если есть, то воспользуйтесь ею. Если у них нет контактной формы, то необходимо выполнить поиск Whois.

Вы можете увидеть контактную информацию на административном контакте. Обычно административный и технический контакт один и тот же.

Это также покажет регистратора домена. Большинство известных хостинговых компаний и регистраторов доменов имеют формы DMCA или электронные письма. Вы можете увидеть, что этот конкретный человек работает с HostGator из-за их серверов имен. У HostGator есть форма для жалоб DMCA.

Если сервер имен имеет вид ns1.theirdomain.com, то вам придется копать глубже, делая обратный поиск IP-адресов и ища IP-адреса.

Вы также можете использовать сторонний сервис для DMCA.com для взлома.

Джефф Старр в своей статье предлагает блокировать IP-адреса плохих парней. Просмотрите ваши журналы на предмет их IP-адреса, а затем заблокируйте его с помощью чего-то подобного в вашем корне .файл htaccess:

Отказано от 123.456.789

Вы также можете перенаправить их на фиктивный фид, сделав что-то вроде этого:

RewriteCond % 123.456.789. RewriteRule .* http://dummyfeed.com/feed [R,L]

Вы можете подойти к этому вопросу очень творчески, как предлагает Джефф. Отправляйте их на очень большие текстовые ленты, наполненные Lorem Ipsum. Вы можете отправить им несколько отвратительных изображений плохих вещей. Вы также можете отправить их обратно на их собственный сервер, вызвав бесконечный цикл, который приведет к краху их сайта.

Последний подход — воспользоваться ими.

Как воспользоваться преимуществами скреперов контента

Это наш подход к борьбе со скреперами контента, и он работает довольно хорошо. Это поможет нашему SEO, а также поможет нам заработать дополнительные деньги.

Большинство мошенников используют ваш RSS-канал для кражи вашего контента. Итак, вот некоторые из вещей, которые вы можете сделать:

  • Внутренняя перелинковка — Вам нужно часто связывать посты в своем блоге между собой. Когда в вашей статье есть внутренние ссылки, это помогает вам увеличить количество просмотров страниц и снизить показатель отказов на вашем собственном сайте. Во-вторых, так вы получите обратные ссылки от людей, которые воруют ваш контент. Наконец, это позволит вам украсть их аудиторию. Если вы талантливый блоггер, то вы понимаете искусство внутренней перелинковки. Вы должны размещать свои ссылки по интересным ключевым словам. Сделайте его заманчивым для пользователя, чтобы он кликнул на него. Если вы это сделаете, то аудитория скрепера тоже будет кликать на него. Вот так просто вы забрали посетителя с их сайта и вернули его туда, где он должен был быть в первую очередь.
  • Автоматическое связывание ключевых слов с партнерскими ссылками — Есть несколько плагинов, таких как ThirstyAffiliates, которые автоматически заменяют назначенные ключевые слова на партнерские ссылки,
  • Творческий подход к RSS колонтитулам — Вы можете использовать плагин All in One SEO Plugin для добавления пользовательских элементов в нижний колонтитул RSS. Вы можете добавить сюда практически все, что захотите. Мы знаем некоторых людей, которые любят рекламировать собственные продукты своим RSS-читателям. Поэтому они будут добавлять баннеры. Угадайте что, теперь эти баннеры будут появляться и на сайтах этих скреперов. В нашем случае, мы всегда добавляем небольшой отказ от ответственности в нижней части наших постов в RSS-канале. Таким образом, мы получаем обратную ссылку на оригинальную статью с сайта скрапера, что дает Google и другим поисковым системам понять, что мы являемся авторитетом. Это также дает их пользователям знать, что сайт крадет наш контент..

Проверьте наше руководство о том, как контролировать нижний колонтитул RSS-канала в WordPress для больше советов и идей.

Как можно уменьшить и предотвратить скраппинг блога WordPress

Учитывая, что если вы используете наш подход, состоящий из большого количества внутренних ссылок, добавления партнерских ссылок, RSS баннеров и т.д., то есть шанс, что вы сократите количество краж контента в значительной степени. Если вы воспользуетесь предложением Джеффа Старра о перенаправлении контента, то это тоже остановит скраперов. Помимо того, что мы рассказали выше, есть еще несколько приемов, которые вы можете использовать.

Полный vs. Сводный RSS-канал

В сообществе блоггеров ведутся дебаты о том, иметь ли полную RSS-ленту или краткую RSS-ленту. Мы не будем вдаваться в подробности этих дебатов, однако одним из плюсов наличия RSS-ленты, содержащей только резюме, является то, что вы предотвращаете соскабливание контента.

Вы можете изменить настройки, зайдя в панель администратора WordPress и перейдя в раздел Настройки » Чтение. Затем измените настройку Для каждой статьи в показе ленты: Резюме.

Trackback SPAM

Трекбеки и пингбеки определенно имели большое применение, однако сейчас ими постоянно злоупотребляют.

Часто темы отображают trackbacks и pingbacks под или среди комментариев. Это даст спамеру стимул поскрести ваш сайт и отправить обратные ссылки. Если вы по ошибке одобрите его, то они получат обратную ссылку и упоминание с вашего сайта. Вот как вы можете отключить Trackbacks на всех будущих постах.

Вот статья, которая покажет вам, как отключить трекбеки и пинги на существующих постах WordPress.

Хорош ли контент-скраппинг?

Это может быть. Если вы видите, что вы делаете деньги с сайта скрепера, то, конечно, это может быть. Если вы видите много трафика с сайта скрапера, то это может быть так.

В большинстве случаев, однако, это не так. Вы всегда должны пытаться снять свой контент. Но вы поймете, что по мере того, как ваш блог будет становиться больше, будет практически невозможно отследить все скрепы контента. Мы все еще рассылаем жалобы DMCA, однако мы знаем, что есть тонны других сайтов, которые воруют наш контент, и мы просто не можем за ними угнаться.

Мы надеемся, что эта статья помогла вам предотвратить кражу содержимого блога в WordPress. Вы также можете посмотреть наше руководство о том, как предотвратить кражу изображений в WordPress.

Источник: www.wpbeginner.com

Оцените статью
Добавить комментарий