Как узнать какое зеркало главное. Что говорят поисковые системы Google и Яндекс о зеркалах
На что влияет?
Если поисковые работы находят в интернете одинаковые сайты, то они идентифицируют их как «зеркала». Как всем известно, основная задача поисковых систем заключается в предоставлении пользователям наибольшего объема уникальной информации. При этом поисковые алгоритмы постоянно развиваются и усовершенствуют методы борьбы с дублирующимся контентом, удаляя неуникальные документы из индекса.Поэтому все найденные зеркала склеиваются поисковыми роботами, а в индексе остается только один сайт, который считается основным зеркалом.
Если не произвести необходимые настройки, то алгоритмы поисковых систем могут выбрать в качестве основного зеркала совсем не тот сайт, который нужен нам для . Чтобы этого избежать, рекомендуется своевременно выполнить ряд работ по склейки всех зеркал, с указанием нужного сайта в качестве главного зеркала.
Склейка зеркал также необходимо выполнять в случае сменяя доменного имени, это позволит сохранить (тИЦ и PR), а также передать вес от имеющихся ссылок.
Как узнать, что сайт - неглавное зеркало
Если существует сайт, который находится не в индексе поисковой системы и есть подозрение, что он является неосновным зеркалом какого-либо ресурса, то стоит добавить его к индексации на странице " Сообщить о новом сайте ". Если появилось соответствующее сообщение, то ресурс склеин: 
Способы склейки зеркал
Существует несколько способов склеить все зеркала и показать поисковым системам, какая из копий сайта является основной. Некоторые из представленных способов подходят только для настройки корректной обработки зеркал в пределах одного домена, другие подходят для сайтов, расположенных на разных доменах.Директива Host. Главное зеркало сайта можно указать в помощи директивы Host. Ее обычно пишут после директив Disallow:
User-Agent: *
Disallow: /admin/
Disallow: /index.php
Host: www.domain.ru
Директива Host корректно обрабатывается только поисковой системой Яндекс, поэтому ее рекомендуют использовать одновременно с другими способами настройки зеркал.
Ссылочная структура. Помочь поисковой системе правильно выбрать основное зеркало сайта можно, использую грамотную ссылочную структуру (актуально, если на сайте используются абсолютные ссылки). Необходимо, чтобы все ссылки с внутренние ссылки сайта вели на страницы, принадлежащие правильному зеркалу.
Если в качестве главного зеркала сайта мы выбираем www.site.ru, то рекомендуется все ссылки вида http://site.ru/page.html поменять на http://www.site.ru/page.html
301 редирект. Один из самых эффективных и поэтому наиболее часто применяемый способ указать главное зеркало – настройка серверного редиректа. Для его реализации необходимо добавить в файл.htaccess следующую информацию:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule ^(.*)$ http://www.site.ru/$1
RewriteBase /
Яндекс.Вебмастер. Указать главное зеркало сайта можно и в . Для этого необходимо добавить сайт и перейти в пункт «Главное зеркало» раздела «Настройка индексирования». Там можно самостоятельно выбрать один из вариантов (с www или без) или оставить на усмотрение робота:
Не стоит забывать, что данные, указанные в панели инструментов, будут учитываться только поисковой системой Яндекс.
Google Webmaster Tools. Указать основное зеркало сайта можно и в панели Google Webmaster Tools. Для этого необходимо добавить ваш сайт в инструменты для вебмастеров и перейти в пункт «Настройки» раздела «Конфигурация сайта»:
В Webmaster Tools можно самостоятельно выбрать один основной домен, который будет участвовать в основном поиске Google.
После выполнения одного из способов настройки основного зеркала и индексации поисковыми роботами, произойдет выбор главного зеркала и только по этому адресу сайт станет доступен в поисковых системах. Данный процесс может занять некоторое время.
Расклейка зеркал
Если сайты перестают быть зеркалами и начинают предоставлять пользователем различные контент, то происходит автоматическое расклеивание ресурсов. Поисковая система Яндекс, утверждает, что ее алгоритмы осуществляют расклейку сайтов в течение 1-2 недель.Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.
Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:
- Настройкой файла robots.txt
- Настройкой файла.htaccess
- Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.
Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.
Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.
Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.
Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.
Настройка robots.txt
Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».
Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.
В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:
Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт
Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».
Отмена директивы Host в Яндексе
Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.
Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.
Настройка файла.htaccess
Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.
Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.
Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.
Настройка главного зеркала сайта в инструментах вебмастеров.
Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.
Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.
Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.
Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.
Настройка зеркала в Яндексе
Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».
Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.
При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».
Настройка зеркала в Google
В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.
Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.
Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.
Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.
Выбор основного зеркала
Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.
Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).
Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.
Способы смены основного зеркала
Существует несколько методов для смены основного зеркала:
- Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
- С помощью директивы Host в файле robots.txt (только для Яндекса)
#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru
- С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.
Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.
Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.
Статья по теме: Поисковая оптимизация сайта под Яндекс: что нужно учитывать в 2018 году
Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.
Основной домен для Google
Чтобы указать для Гугла основной домен, выполните следующие действия.
- На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
- В разделе Конфигурация сайта перейдите в Настройки.
Кроме того, для Гугла можно прописать инструкцию в файле.htaccess
Redirect 301 / https://сайт/
Основное зеркало для Яндекса
Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле
Здравствуйте уважаемые читатели, в этой статье я хочу вам рассказать о небольшом мошенничестве, с продажей зеркал сайтов. А также рассказать, как не попасться на уловки мошенников…
Здравствуйте уважаемые читатели, в этой статье я хочу вам рассказать о небольшом мошенничестве, с продажей зеркал сайтов. А также рассказать, как не попасться на уловки мошенников.
Что такое зеркало
.
Само по себе зеркало представляет точную копию основного сайта на другом домене. То есть ни дизайн, ни логотип не должны отличатся.
Зеркало сайта делается по нескольким причинам. Самой важной окажется то, что разработчики хотят обеспечить своему сайту максимальный uptime, в связи с этим делают несколько копий сайта на разных серверах и в случае недоступности основного сайта, посетитель попадает на его зеркало.
Как относятся поисковики к зеркалам
.
К зеркалам сайтов поисковые системы относятся довольно нормально. Просто дополнительный домен склеивается с основным и всё. И в выдаче участвует только основной сайт. Однако ссылки проставленые на сайт зеркало полным весом перетекают на основной сайт. ТИЦ и PR для таких сайтов высчитывается только на основной, а зеркалу даётся просто так. По этому не стоит бояться что пузомерки будет нарастить сложнее. Они поднимаются точно так, как и с одним доменом.
Мошенничество с зеркалами
.
Уже не раз видел когда продают домены с показателями ТИЦ и PR, причём не дорого. Низкая цена всегда вызывает подозрение, но вот не каждый способен найти подвох. А подвох в том, что ТИЦ и PR у доменов не настоящий, а клееный. То есть он отображается, как у главного домена, к которому был приклеен продаваемый. Держаться он будет, но не долго, до первого апдейта, после чего отвалится и его не станет. По этому стоит быть аккуратным при покупке доменов с ТИЦ и PR.
Как узнать является ли домен зеркалом или нет
.
Вообще вариантов проверки существует много, но я расскажу два самых простых. Первый — воспользоваться сервисом по анализу сайтов и доменов. Просто вбиваете интересующий вас домен и вам выдаёт его параметрыи если он склеен, то вам напишут рядом с показателями ТИЦ и PR. Сам сервис cy-pr.com
Второй способ — установка плагина в браузер. Называется RDS bar. Я в одной статье рассказывал, что данное дополнение проводит анализ сайта и при переходе на интересующий вас домен высветится надпись, клей или нет.
Надеюсь данная статья поможет вам избежать мошенничества с доменами. Да и вообще я считаю, что лучше не покупать домены с показателями, а начинать всё самому с нулёвым доменом. Тогда хоть можно будет гордится своими достижениями.
В этой статье я вам расскажу о том, что такое главное зеркало сайта, о доменах с WWW и без WWW и прочих вещах, связанных с этой интересной историко-технической темой. А для начала разберём понятие «WWW» и определим, как правильнее записывать адрес.
Коротко об истории WWW и как правильно писать
WWW – это английская аббревиатура, которая расшифровывается как world wide web, что можно перевести на русский язык, как «всемирная паутина». Понятие «WWW» ввели в 1989 году Тим Бернерс-Ли и Роберт Кайо – дядьки, которые изобрели Интернет. Этими тремя буками они отмечали текст, который являлся гиперссылкой, чтобы её было легко распознать.
С тех пор прошло более 25 лет и теперь каждый знает, где просто текст, а где гиперссылка. И поэтому надобность в WWW отпала. Сегодня WWW можно считать рудиментарным атрофированным органом, который хоть и есть, но не на что уже не пригоден.
Любой сайт будет доступен по адресу с WWW и без WWW, однако в строке браузера будет отображаться лишь один вариант – тот, который выбран главным зеркалом. Главное зеркало сайта может быть как с WWW, так и без него.
Чтобы указать главное зеркало сайта c WWW, вставьте в.htaccess такой код:
RewriteEngine On RewriteCond %{http_HOST} ^example\.ru$ RewriteRule ^(.*)$ http://www.example.ru/$1
RewriteEngine On RewriteCond % { http_HOST } ^ example \ . ru $ [ NC ] RewriteRule ^ (. * ) $ http : //www.example.ru/$1 |
А если хотите сделать без WWW, то такой:
RewriteEngine On RewriteCond %{http_HOST} ^www.example\.ru$ RewriteRule ^(.*)$ http://example.ru/$1
RewriteEngine On RewriteCond % { http_HOST } ^ www . example \ . ru $ [ NC ] |