Как быстро и правильно закрыть внешние ссылки от конкурентов и парсеров (ботов)

Что узнаете?

  • Зачем запрещать доступ
  • Как правильно сделать блокировку
  • С помощью чего сделать запрет
  • Как проверить запрет
  • Как проводить анализ внешних ссылок после
  • О чем еще нужно знать

В данном материале представлена актуальная информация о том, как закрыть обратные ссылки от сайтов-конкурентов, разного рода парсеров и других нежелательных поисковых ботов.

Эта информация поможет владельцам сайтов (бизнесов) и всем тем, кто занимается или только планирует, SEO, чтобы стратегия продвижения их веб-сайта не была скопирована и повторена конкурентами.

Зачем запрещать доступ?

Если вы делаете белое продвижение, не размещаете ссылки через биржи, а инициируете их появление через аутрич и/или экспертный крауд-маркетинг, то вам обязательно стоит принять меры для:


Даже при самом лучшей оптимизации сайта, без внешнего продвижения, Вам не удастся, получить топ-10,где есть конкуренты. Для этого нужно внешнее продвижение. Его можно реализовать множествами способами, но мы рекомендуем обратиться в компанию buylink.pro. У них своя база сайтов, для составления ссылочного профиля, уникального от конкурентов, такие сайты не найти в биржах. Они экономически более эффективны, при сопоставлении того что есть в биржах. За ними лучше следят, контролируют индексацию ваших размещений. У компании множество кейсов и отзывов, они профессионалы своего дела. Могут проконсультировать как достигнуть нужных Вам результатов. Советуем


  1. Сокрытия стратегии и тактики внешнего продвижения сайта
  2. Введения конкурентов в заблуждение по поводу проведения SEO-мероприятий

Как правильно закрыть доступ?

Выделяют 2 способа блокировки поисковых ботов с помощью таких серверных файлов, как:

  1. robots.txt
  2. .htaccess

Второй способ наиболее эффективный, потому что блокирует доступ поисковым ботам и парсерам на уровне сервера.

Файл robots.txt является рекомендацией для поисковых систем, а не прямым запретом. Об этом говорится в справке Google по этой ссылке.

Поэтому, мы будем блокировать доступ к сайту именно с помощью второго способа т.н. ненужным роботам, которые «шерстят» интернет в поисках нужной им информации.

Блокировка через файл .htaccess

Чтобы закрыть сайт от поисковых ботов, парсеров по типу Ahrefs, Majestic и Мегаиндекс, копируем инструкции, указанные ниже, в файл .htaccess и сохраняем его.

Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]

RewriteEngine On 
RewriteBase / 
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase Referer "^AhrefsBot" bad_user
SetEnvIfNoCase Referer "^MJ12bot" bad_user
SetEnvIfNoCase Referer "^rogerBot" bad_user
SetEnvIfNoCase Referer "^MegaIndex\.ru/2\.0" bad_user
SetEnvIfNoCase Referer "^ia_archiver" bad_user
SetEnvIfNoCase Referer "^bingbot" bad_user
SetEnvIfNoCase Referer "^Baiduspider" bad_user
SetEnvIfNoCase Referer "^archive\.org_bot" bad_user
SetEnvIfNoCase Referer "^BLEXBot" bad_user
SetEnvIfNoCase Referer "^LinkpadBot" bad_user
SetEnvIfNoCase Referer "^spbot" bad_user
SetEnvIfNoCase Referer "^Serpstatbot" bad_user
Deny from env=bad_user

Как проверить запрет?

С помощью:

  • Сервиса bertal.ru
  • Расширения для Google Chrome Restlet или User-Agent Switcher

В ходе проверки должен отдаваться код ответа 403 Forbidden (Запрещено).

Как анализировать внешние ссылки после блокировки?

В панелях веб-мастеров:

  1. Google Search Console — Ссылки — Внешние ссылки
  2. Яндекс.Вебмастер — раздел Ссылки — подраздел Внешние ссылки — вкладка Ссылки и сайты или вкладка Новые и удаленные


Мы публикуем множество полезных статей по SEO и интернет-маркетингу, подпишитесь на нашу рассылку

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *