Как [быстро и правильно] закрыть внешние ссылки от конкурентов и парсеров (ботов)

Автор: Виктор Есипов
Для кого: для тех, кто продвигает сайты
Время чтения: 3 минуты. Обещаю, Вы не потратите его зря
Сложность текста: низкая
Дата публикации: 11 января 2019 г.

Что узнаете?

В данном материале представлена актуальная информация о том, как закрыть обратные ссылки от сайтов-конкурентов, разного рода парсеров и других нежелательных поисковых ботов.

Эта информация поможет владельцам сайтов (бизнесов) и всем тем, кто занимается или только планирует, SEO, чтобы стратегия продвижения их веб-сайта не была скопирована и повторена конкурентами.

Зачем запрещать доступ?

Если вы делаете белое продвижение, не размещаете ссылки через биржи, а инициируете их появление через аутрич и/или экспертный крауд-маркетинг, то вам обязательно стоит принять меры для:

  1. Сокрытия стратегии и тактики внешнего продвижения сайта
  2. Введения конкурентов в заблуждение по поводу проведения SEO-мероприятий

Как правильно закрыть доступ?

Выделяют 2 способа блокировки поисковых ботов с помощью таких серверных файлов, как:

  1. robots.txt
  2. .htaccess
Второй способ наиболее эффективный, потому что блокирует доступ поисковым ботам и парсерам на уровне сервера.

Файл robots.txt является рекомендацией для поисковых систем, а не прямым запретом. Об этом говорится в справке Google по этой ссылке.

Поэтому, мы будем блокировать доступ к сайту именно с помощью второго способа т.н. ненужным роботам, которые "шерстят" интернет в поисках нужной им информации.

Блокировка через файл .htaccess

Чтобы закрыть сайт от поисковых ботов, парсеров по типу Ahrefs, Majestic и Мегаиндекс, копируем инструкции, указанные ниже, в файл .htaccess и сохраняем его.
    Options FollowSymLinks ExecCGI
    RewriteEngine On
    RewriteBase /
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule ^[^4]* /404 [L,S=4000]
    
    RewriteEngine On 
    RewriteBase / 
    SetEnvIfNoCase Referer "^$" bad_user
    SetEnvIfNoCase Referer "^AhrefsBot" bad_user
    SetEnvIfNoCase Referer "^MJ12bot" bad_user
    SetEnvIfNoCase Referer "^rogerBot" bad_user
    SetEnvIfNoCase Referer "^MegaIndex\.ru/2\.0" bad_user
    SetEnvIfNoCase Referer "^ia_archiver" bad_user
    SetEnvIfNoCase Referer "^bingbot" bad_user
    SetEnvIfNoCase Referer "^Baiduspider" bad_user
    SetEnvIfNoCase Referer "^archive\.org_bot" bad_user
    SetEnvIfNoCase Referer "^BLEXBot" bad_user
    SetEnvIfNoCase Referer "^LinkpadBot" bad_user
    SetEnvIfNoCase Referer "^spbot" bad_user
    SetEnvIfNoCase Referer "^Serpstatbot" bad_user
    Deny from env=bad_user

    Как проверить запрет?

    С помощью:

    • Сервиса bertal.ru
    • Расширения для Google Chrome Restlet или User-Agent Switcher
    В ходе проверки должен отдаваться код ответа 403 Forbidden (Запрещено).

    Как анализировать внешние ссылки после блокировки?

    В панелях веб-мастеров:

    1. Google Search Console - Ссылки - Внешние ссылки
    2. Яндекс.Вебмастер - раздел Ссылки - подраздел Внешние ссылки - вкладка Ссылки и сайты или вкладка Новые и удаленные

    Что важно знать!

    Информация в панелях веб-мастеров обновляется с задержкой.

    Поэтому проверяйте наличие индексации ссылки через кэш-страницы-донора, на которой разместили ссылку, с помощью ввода такой конструкции в поисковую строку браузера

    cache:URL-страницы-донора

    Далее перейдите во вкладку Исходный код и проверьте наличие ссылки и анкора (текста ссылки) в коде страницы

    Что Вы можете сказать?

    Поделитесь ответом на эти 2 простых вопроса в комментариях ниже.

    1. Блокируете ли вы доступ к сайту нежелательным ботам и парсерам?
    2. Если да, то как это делаете?
    Если я что-то упустил в статье, то благодаря Вашим ответам, я дополню ее и она станет еще лучше по этой теме.