Что узнаете?
- Зачем запрещать доступ
- Как правильно сделать блокировку
- С помощью чего сделать запрет
- Как проверить запрет
- Как проводить анализ внешних ссылок после
- О чем еще нужно знать
В данном материале представлена актуальная информация о том, как закрыть обратные ссылки от сайтов-конкурентов, разного рода парсеров и других нежелательных поисковых ботов.
Эта информация поможет владельцам сайтов (бизнесов) и всем тем, кто занимается или только планирует, SEO, чтобы стратегия продвижения их веб-сайта не была скопирована и повторена конкурентами.
Зачем запрещать доступ?
Если вы делаете белое продвижение, не размещаете ссылки через биржи, а инициируете их появление через аутрич и/или экспертный крауд-маркетинг, то вам обязательно стоит принять меры для:
Даже при самом лучшей оптимизации сайта, без внешнего продвижения, Вам не удастся, получить топ-10,где есть конкуренты. Для этого нужно внешнее продвижение. Его можно реализовать множествами способами, но мы рекомендуем обратиться в компанию buylink.pro. У них своя база сайтов, для составления ссылочного профиля, уникального от конкурентов, такие сайты не найти в биржах. Они экономически более эффективны, при сопоставлении того что есть в биржах. За ними лучше следят, контролируют индексацию ваших размещений. У компании множество кейсов и отзывов, они профессионалы своего дела. Могут проконсультировать как достигнуть нужных Вам результатов. Советуем
- Сокрытия стратегии и тактики внешнего продвижения сайта
- Введения конкурентов в заблуждение по поводу проведения SEO-мероприятий
Как правильно закрыть доступ?
Выделяют 2 способа блокировки поисковых ботов с помощью таких серверных файлов, как:
- robots.txt
- .htaccess
Второй способ наиболее эффективный, потому что блокирует доступ поисковым ботам и парсерам на уровне сервера.
Файл robots.txt является рекомендацией для поисковых систем, а не прямым запретом. Об этом говорится в справке Google по этой ссылке.
Поэтому, мы будем блокировать доступ к сайту именно с помощью второго способа т.н. ненужным роботам, которые «шерстят» интернет в поисках нужной им информации.
Блокировка через файл .htaccess
Чтобы закрыть сайт от поисковых ботов, парсеров по типу Ahrefs, Majestic и Мегаиндекс, копируем инструкции, указанные ниже, в файл .htaccess и сохраняем его.
Options FollowSymLinks ExecCGI
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^[^4]* /404 [L,S=4000]
RewriteEngine On
RewriteBase /
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase Referer "^AhrefsBot" bad_user
SetEnvIfNoCase Referer "^MJ12bot" bad_user
SetEnvIfNoCase Referer "^rogerBot" bad_user
SetEnvIfNoCase Referer "^MegaIndex\.ru/2\.0" bad_user
SetEnvIfNoCase Referer "^ia_archiver" bad_user
SetEnvIfNoCase Referer "^bingbot" bad_user
SetEnvIfNoCase Referer "^Baiduspider" bad_user
SetEnvIfNoCase Referer "^archive\.org_bot" bad_user
SetEnvIfNoCase Referer "^BLEXBot" bad_user
SetEnvIfNoCase Referer "^LinkpadBot" bad_user
SetEnvIfNoCase Referer "^spbot" bad_user
SetEnvIfNoCase Referer "^Serpstatbot" bad_user
Deny from env=bad_userКак проверить запрет?
С помощью:
- Сервиса bertal.ru
- Расширения для Google Chrome Restlet или User-Agent Switcher
В ходе проверки должен отдаваться код ответа 403 Forbidden (Запрещено).
Как анализировать внешние ссылки после блокировки?
В панелях веб-мастеров:
- Google Search Console — Ссылки — Внешние ссылки
- Яндекс.Вебмастер — раздел Ссылки — подраздел Внешние ссылки — вкладка Ссылки и сайты или вкладка Новые и удаленные