Как быстро и правильно закрыть внешние ссылки от конкурентов и парсеров (ботов)

Что узнаете?

Зачем запрещать доступ
Как правильно сделать блокировку
С помощью чего сделать запрет
Как проверить запрет
Как проводить анализ внешних ссылок после
О чем еще нужно знать

В данном материале представлена актуальная информация о том, как закрыть обратные ссылки от сайтов-конкурентов, разного рода парсеров и других нежелательных поисковых ботов.

Эта информация поможет владельцам сайтов (бизнесов) и всем тем, кто занимается или только планирует, SEO, чтобы стратегия продвижения их веб-сайта не была скопирована и повторена конкурентами.

Зачем запрещать доступ?

Если вы делаете белое продвижение, не размещаете ссылки через биржи, а инициируете их появление через аутрич и/или экспертный крауд-маркетинг, то вам обязательно стоит принять меры для:

Сокрытия стратегии и тактики внешнего продвижения сайта
Введения конкурентов в заблуждение по поводу проведения SEO-мероприятий

Как правильно закрыть доступ?

Выделяют 2 способа блокировки поисковых ботов с помощью таких серверных файлов, как:

robots.txt
.htaccess

Второй способ наиболее эффективный, потому что блокирует доступ поисковым ботам и парсерам на уровне сервера.

Файл robots.txt является рекомендацией для поисковых систем, а не прямым запретом. Об этом говорится в справке Google по этой ссылке.

Поэтому, мы будем блокировать доступ к сайту именно с помощью второго способа т.н. ненужным роботам, которые «шерстят» интернет в поисках нужной им информации.

Блокировка через файл .htaccess

Чтобы закрыть сайт от поисковых ботов, парсеров по типу Ahrefs, Majestic и Мегаиндекс, копируем инструкции, указанные ниже, в файл .htaccess и сохраняем его.

Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]

RewriteEngine On 
RewriteBase / 
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase Referer "^AhrefsBot" bad_user
SetEnvIfNoCase Referer "^MJ12bot" bad_user
SetEnvIfNoCase Referer "^rogerBot" bad_user
SetEnvIfNoCase Referer "^MegaIndex\.ru/2\.0" bad_user
SetEnvIfNoCase Referer "^ia_archiver" bad_user
SetEnvIfNoCase Referer "^bingbot" bad_user
SetEnvIfNoCase Referer "^Baiduspider" bad_user
SetEnvIfNoCase Referer "^archive\.org_bot" bad_user
SetEnvIfNoCase Referer "^BLEXBot" bad_user
SetEnvIfNoCase Referer "^LinkpadBot" bad_user
SetEnvIfNoCase Referer "^spbot" bad_user
SetEnvIfNoCase Referer "^Serpstatbot" bad_user
Deny from env=bad_user

Как проверить запрет?

С помощью:

Сервиса bertal.ru
Расширения для Google Chrome Restlet или User-Agent Switcher

В ходе проверки должен отдаваться код ответа 403 Forbidden (Запрещено).

Как анализировать внешние ссылки после блокировки?

В панелях веб-мастеров:

Google Search Console — Ссылки — Внешние ссылки
Яндекс.Вебмастер — раздел Ссылки — подраздел Внешние ссылки — вкладка Ссылки и сайты или вкладка Новые и удаленные