Какую функцию выполняет атрибут rel canonical. Основная страница элемента среди дублей

Канонический URL (canonical) позволяет указать поисковой системе, какая ссылка является предпочтительной для индексации. Настройкой canonical необходимо заниматься, если у вас на сайте имеются страницы с одинаковым содержанием. Ввиду особенностей CMS сайта могут автоматически создаваться страницы с одним и тем же контентом по разным адресам URL (более подробно читайте ниже). Появление подобных страниц возможно вследствие таких причин:

Если вы написали одно и то же сообщение в разных темах блога, то есть вероятность автоматического создания еще одной страницы сайта.
Например, у вас есть несколько доменов: http://article.example.com и http://blogs.example.com. И вы планируете размещать информацию сразу на обоих ресурсах. В таком случае размещаемый контент будет дублированным.
Если была обновлена структура вашего сайта, после чего URL страниц сайта могли быть изменены.

Чтобы не допустить дублирования страниц сайта в поисковой выдаче, необходимо настроить канонические URL, после чего поисковик сможет определить, какую страницу нужно индексировать. Рассмотрим причины, из-за которых важно заниматься настройкой canonical:

Если на разных страницах вашего сайта публикуется частично или полностью идентичная информация, то следует указать, какую страницу следует считать основной.
Одна и та же информация, размещенная на разных страницах, затрудняет получение статистики о данных страницах.

Как настроить канонические адреса

Рассмотрим способы настройки «канонических» URL:

Следует указать, какой URL считается основным. Сделать это можно при помощи атрибута rel="canonical" тега link. Например, на сайте присутствует несколько страниц с идентичным содержимым. Для того чтобы задать URL https://example.com/buyingcar в качестве основного, указываем на страницах с дублируемым контентом в блоке head кода страницы тег вида . В данной ситуации вы задаете главный URL, который в дальнейшем будет использован для просмотра сообщения о покупке автомобилей. Также эта страница будет показываться в результатах поисковой выдачи. Предпочтительнее задавать адрес сайта в абсолютном виде (https://example.com/buyingcar), избегайте относительных путей (/buyingcar).
В карту сайта добавляем только канонические URL, в таком случае вы сможете сообщить поисковому роботу, какие страницы сайта вы считаете основными. При индексировании сайта поисковой робот не будет заходить на неканонические страницы, тем самым быстрее индексируя сайт.
Для различных CMS существуют различные плагины, которые позволяют настроить канонические URL, например, для WordPress можно воспользоваться Yoast SEO .

Для OpenCart настройка атрибута canonical производится средствами CMS. Необходимо зайти в настройки товара и задать параметр SEO URL.

Для настройки canonical в Joomla нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel="canonical" (с указанием URL на страницу с настроенным ЧПУ).

Как проверить дублированный контент

Проверить, настроен canonical для страниц вашего сайта или нет, можно с помощью следующих инструментов:

1. Для проверки настройки canonical, открываем html-код страницы и проверяем наличие атрибута canonical у тега link (в блоке кода страницы).

Также проверить контент на наличие дублей можно с помощью операторов поиска, рассмотрим на примере Google. Для этого нужно ввести в поисковую строку site:имя_домена "запрос", в итоге аналогично поиску от Яндекса по результатам поисковой выдачи делаем вывод о наличии дублированного контента.

3. Еще один способ найти дублируемый контент – уникальность. В этом нам помогут специальные программы и сервисы, мы рассмотрим на примере сервиса text.ru. Для анализа необходимо добавить информацию со страницы вашего сайта в сервис и запустить проверку. В результате вы увидите, на каких сайтах в Интернете есть такой же текст, и на сколько процентов ваш текст совпадает с текстами других сайтов.

Итог

Грамотно настроенный canonical повышает эффективность работы и ускоряет индексирование сайта. Если у вас не получится самостоятельно это сделать, то вы можете обратиться к нашим специалистам , и мы сделаем настройку rel="canonical" для вашего сайта.

Канонические URL – это загадка для многих людей, и потому многие могут неправильно использовать такие URL для задания, к примеру, 301 редиректа. Люди предполагают, что эта возможность имеет отношение к SEO, однако они не знают, когда и как следует использовать их. В WordPress в частности (по сравнению с обычным HTML сайтом) может быть достаточно тяжело вручную задавать канонические URL для каждой страницы сайта без обращения к плагинам вследствие работы шаблонов темы, имеющихся в системе управления контентом.

В этой статье мы поможем разрешить некоторые пользовательские вопросы, которые связаны с каноническими URL. Пользователи, которые не работают с WordPress, также могут найти эту статью полезной для себя, поскольку в ней будут предложены основные принципы канонических адресов, применимые к любой системе управления контентом или к методам разработки.

Обратите внимание, что эта статья может показаться для вас достаточно сложной, если у вас нет технических навыков, связанных с WordPress, базовым HTML или SEO. Мы познакомим вас сначала с основными терминами. Если вдруг что-то в статье вам покажется непонятным, вы всегда можете поискать в поисковой системе ответы на возникшие вопросы.

Что представляет собой канонический URL?

Канонический URL (часто описываемый как rel=canonical, канонический тег и т.д.) – это то, что используется поисковыми системами при отсылке к материалу на вашем сайте, когда страница с материалом имеет несколько версий на вашем сайте или даже в сети. Сегодня канонические URL используются для решения некоторых сложных проблем с дублированием контента, и иногда эта возможность применяется для задания 301 редиректа.

Google предлагает прекрасное объяснение целей канонических URL . Я настоятельно рекомендую изучить его. Они сделали его максимально ясным.

Возможно, вы считаете, что ваш сайт не имеет дублированного контента. Прекрасно, если вы позаботились о том, чтобы ваш контент не повторялся на разных страницах. В противном случае это может вылиться в снижение ваших показателей в поисковой выдаче.

Если вы решили продублировать текст на вашем сайте, подумайте об этом серьезно: если бы вы были поисковой системой, которая старается дать ответ на пользовательский запрос, вы бы предложили пользователю две идентичных страницы в поисковой выдаче? Нет! Это бесполезно для людей. Вместо этого вы бы предложили столько разнообразных результатов в выдаче (SERP), сколько сможете найти, что, соответственно, полностью отвечало бы поисковым потребностям людей.

Таким образом, если вы дублируете контент на своем сайте, вы можете – и должны – ожидать, что Google не будет ранжировать все ваши страницы. Однако это не слишком хорошо, если вы думаете только о показателях поисковых систем и присутствию в SERP.

Дубли URL-адресов, о которых вы, возможно, не знали

Отлично, давайте вернемся назад и предположим, что мы убедились в уникальности наших страниц сайта. Однако у вас по-прежнему могут остаться некоторые «скрытые» дублируемые URL, о которых вы просто не знаете (в реальности они, конечно же, не скрыты). Это может удивить вас, но вы должны знать – поисковые системы видят следующие URL как совершенно обособленные, отдельные, даже если они выводят на экран один и тот же контент:

http://www.examplesite.com (обратили внимание на www?)
http://examplesite.com
https://examplesite.com (обратили внимание на https?)
http://www.examplesite.com/ (обратили внимание на слэш в конце?)
http://examplesite.com/index.php

Именно по этой причине нам и нужны канонические URL в теге HEAD кода HTML всех ваших страниц. Вы должны сообщить поисковым системам, какую из версий всех вышеупомянутых URL (и других версий) они должны просмотреть.

Да, вы должны принять окончательное решение о том, собираетесь ли вы использовать www или нет во всех ваших ссылках в процессе веб-маркетинга. Вы должны придерживаться одной ссылочной стратегии по всему сайту, и даже за его пределами. Все те, кто пользуется вашими URL, должны знать это: сотрудники, партнеры, каталоги, в которых вы перечислены, люди, которые ссылаются на вас – все.

Вы также должны определиться с тем, будете ли вы использовать слэш в конце URL, а также будете ли вы использовать https (если вы принимаете на сайте важную информацию, такую как, к примеру, данные кредитных карт). Выберите один вариант и придерживайтесь его. На вашем месте я бы выбрал тот, который используется чаще всего, чтобы избежать головной боли при исправлении своих URL.

К счастью, если вы пользуетесь WordPress, то большую часть этих проблем удастся решить. Мы рассмотрим разные плагины и другие вещи, которые помогут вам справиться с этим.

Однако есть и другие места, в которых канонические URL оказываются очень полезными.

Дублируемый контент, создаваемый таксономиями

Допустим, вы пишете статью, и вы включаете ту статью в многочисленные рубрики блога с разными метками в WordPress (все это называется таксономиями). Люди всегда делают это. Или, допустим, вы занимаетесь электронной коммерцией, и ваши продукты появляются в многочисленных рубриках. У нас появляется проблема: контент может быть представлен несколько раз по разным URL, что упрощает пользователям навигацию по сайту. К примеру:

http://examplesite.com/store/candy/chocolate-truffles
http://examplesite.com/store/foods/chocolate-truffles

Вы хотите, чтобы ваши пользователи могли найти шоколадные трюфели в двух рубриках: «candy» и «food». Это прекрасно. Но какой из двух URL должен быть проиндексирован поисковыми системами? Помните, что они не станут ранжировать оба URL. Таким образом, вы должны выбрать это самостоятельно. И именно в этом случае на первый план выходят канонические URL. Такие URL расскажут поисковым системам: «эй, этот контент точно такой же, что и на другой странице; пожалуйста, проиндексируй его».

Помните, что ни одна поисковая система не обязана повиноваться данной канонизации, и они могут проигнорировать ее, если посчитают ее неправильной.

Использование перекрестных канонических URL при дублировании контента с других сайтов

Есть самая важная причина, почему вам требуется канонический URL. Про нее мы поговорим ниже (есть и другие, но они более сложные, при этом принцип – тот же самый). Бывает так, что вы публикуете на своем сайте контент, который также появляется на других сайтах. Самый простой пример такой ситуации – синдикация (к примеру, пресс-релизы).

Допустим, ваша компания публикует пресс-релиз и передает его на ваш сайт. Это вполне нормальное явление. Однако пресс-релизы работают следующим образом: они могут бесплатно использоваться любым издателем контента. Они специально создаются для того, чтобы их копировали и распространяли. Есть даже целые сети синдикации, как, к примеру, PRWeb. Это достаточно старая форма маркетинга.

Однако она порождает проблемы с SEO. Для робота поисковой системы контент пресс-релиза на вашем сайте является точно таким же, как контент пресс-релиза на других новостных сайтах. Как понять, где оригинал? Какой URL выводить в SERP (поисковой выдаче)? Помните – вы должны его выбрать.

Обычно поисковые системы выбирают его самостоятельно, если вы ничего им не предложите. И делается такое предложение при помощи канонического URL. В случае с пресс-релизами, однако, маловероятно, что каждый небольшой новостной журнал будет задавать канонический URL, указывающий на ваш сайт. Помните, что многие про это просто не знают. Я сомневаюсь, что они будут торопиться с указанием оригинального источника контента и с соответствующим кодированием HTML. Они ведь публикуют по несколько разных статей в день.

Таким образом, вы должны позаботиться об этом на своем сайте. На вашем месте я бы использовал канонический URL на странице, содержащей ваш пресс-релиз, и ссылался бы на его копию в основной сети синдикации, в которой вы опубликовали статью для последующей дистрибуции. К примеру, вы можете сослаться на копию статьи на сайте PRweb.com (если вы используете этот сервис).

Если вы хотите увидеть живой пример ситуации, не касающейся пресс-релизов, и при этом затрагивающей канонические URL, давайте посмотрим на следующую статью, которую я написал для KISSmetrics год назад:

Вскоре после этого сайт Entrepreneur.com взял эту статью, потому что у них было соглашение с KISSmetrics (помните, у них было разрешение!)

Теперь у нас есть тот же самый контент, доступный по двум URL адресам. В техническом плане это – дублируемый контент, а это плохо! Однако не стоит бояться. Если вы посмотрите исходный код статьи на Entreprenuer.com, то вы найдете там следующее:

Это говорит поисковым системам о том, где был представлен оригинальный контент, что является верным решением. Это также снимает подозрения о краже контента в глазах поисковых роботов (которые не могут знать о ваших законных правах на публикацию работы).

Однако не стоит создавать целый сайт, состоящий из статей других людей. В этом случае канонический URL вряд ли поможет вам с ранжированием. Поэтому не злоупотребляйте данной тактикой.

В каких случаях вы не можете использовать канонические URL для внешнего дублируемого контента

Я хочу рассказать об этом, поскольку я часто сталкиваюсь с такими ситуациями. Если вы хотите вывести описание компании или персональную биографию на вашем сайте, я не рекомендую использовать те же самые слова и фразы, которые вы используете в ваших социальных профилях или в других местах сети.

Если вы задаете то же самое описание, которое указано у вас в LinkedIn или на вашей бизнес-странице Google Plus, то вы, по сути, дублируете контент. Не стоит использовать канонический URL на странице About, и подцеплять к ней ваш профиль из социальной сети. Ваша страница About должна ранжироваться самостоятельно. В таком случае, пожалуйста, используйте уникальное описание для внешнего использования. Я делаю так для всех своих клиентов.

Как использовать канонические URL в WordPress

Есть несколько способов сделать это, но я собираюсь показать вам самый лучший, которым пользуюсь я сам: просто воспользуйтесь плагином WordPress SEO от Joost De Valk.

Как только вы установите этот плагин на своем сайте, он позволит вам позаботиться о многочисленных SEO показателях, в том числе и о канонических URL. Однако плагин предлагает и другие настройки, на которые нужно обратить внимание.

На скриншоте ниже вы можете видеть, что на экране редактирования отдельной записи или страницы (плагин работает и для произвольных типов записей) панель WordPress SEO предлагает массу настроек и полей. Чтобы задать канонические URL, которые вы можете использовать для разных вещей – пресс-релизов или внешних дублей контента, – перейдите на вкладку Advanced:

Щелкните по выпадающему списку, чтобы выбрать тип URL для канонического адреса в теге head всех ваших страниц:

Когда не нужно использовать канонический URL

Во-первых, прочтите следующую в блоге Google Webmaster Central о распространенных ошибках с rel=canonical URL. Убедитесь в том, что вы – или ваш разработчик – не допустили их. Во-вторых, не используйте канонические URL в следующих ситуациях:

Когда вы хотите сделать 301 редирект

Если вы хотите перенаправить одну страницу к другой, чтобы пользователи, которые ввели старый URL или нажали на мертвую ссылку, были перенаправлены к новому URL, вам нужно использовать 301 редирект. Не используйте для этого канонические URL. Однако в SEO они часто применяются таким вот образом.

Редирект означает, что есть только одно место, где представлен контент, и вы вынуждаете пользователей перейти к этой странице. Это подходит, к примеру, в том случае, если вы перенесли свой сайт на новый домен или настроили новую структуру URL вследствие реконструкции сайта. Вы можете также использовать 301 редирект для отправки людей к версии вашего сайта с www или без www (это позволяет убедиться в том, что никто не перейдет на ваш сайт по неправильному адресу).

Благодаря каноническим адресам, вы можете иметь тот же самый контент на разных страницах в сети, и иметь один «оригинальный» источник контента. Иными словами, разные страницы, содержащие один и тот же контент, могут существовать и просматриваться пользователями.

Однако еще в 2011 году Рэнд Фишкин провел один интересный эксперимент, в котором он использовал канонический URL в хэдере всех страниц старого домена, чтобы таким образом улучшить ранжирование другого нового домена. И это сработало. Он поведал об этой истории в своей записи . Запись также объясняет, почему канонические URL так важны для кросс-доменной синдикации контента в мире SEO. Я не думаю, что сегодня это сработает, но можете попробовать в качестве эксперимента.

Когда вы хотите, чтобы поисковые системы проигнорировали вашу страницу

Помните, что rel=canonical – это не решение проблем с дублями контента. Поисковая оптимизация гораздо сложнее, и иногда более подходящее решение заключается в том, чтобы использовать файл robots для закрытия страниц от индексации. Именно поэтому плагин WordPress SEO включает в себя соответствующие опции.

Я рекомендую своим клиентам закрывать от индексации некоторые страницы, которые не являются полезными для посетителей. К примеру, зачем вам в выдаче страница Terms and Conditions, страницы входа в систему? Их там быть не должно. Лучше освободить дорогу более ценному контенту. К нему относятся продающие страницы, описания товаров и информативные записи блога.

Я также советую использовать правило no-index для страниц с очень малым количеством контента (поскольку ваш сайт в таком случае выглядит слишком несодержательным) и для архивов, которые дублируют контент. В WordPress это применимо к архивам авторов, архивам по дате, и, в моем случае, к архивам меток (поскольку они содержат тот же контент, что и архивы рубрик). Вы можете также закрыть от индексации произвольные типы записей и их архивы, если они только передают контент с других страниц вашего сайта.

Примечание: если вы что-то закрываете от индексации, то вам нужно будет удалить этот контент также из карты сайта, иначе это приведет к ошибкам в Google Webmaster Tools.

Поправляем URL-адрес для соответствия его с каноническим указателем

Помните, мы говорили выше о том, что нужно выбрать одну версию URL, которая будет использовать во всех ссылках с данного момента? Отлично, как только вы сделаете это, вам нужно будет «почистить» или исправить URL-адреса на вашем сайте и в других местах, чтобы они ссылались на выбранную вами версию. Допустим, что вы приняли решение использовать версию без www на вашем сайте. Теперь вам нужно убедиться в том, что все внешние и внутренние ссылки используют выбранную вами версию. Если нет, то надо постараться изменить URL-адреса. Да, это может показаться достаточно сложным действием, но это стоит того.

Чтобы быстро заменить все URL на своем сайте, вы можете использовать такой инструмент, как Search Replace DB . Однако используйте его только в том случае, если вы понимаете, что вы делаете.

Есть также плагины, которые позволяют провести поиск и замену через консоль WordPress. После проведенной замены удалите все, что соединено с вашей базой данных, чтобы избежать лишних рисков, связанных с безопасностью.

Чтобы справиться с мертвыми ссылками в записях и страницах, воспользуйтесь плагином, таким как, к примеру, Redirection , который выполнит эту задачу за вас.

Когда вы все это сделаете, убедитесь в том, что вы вошли в свой аккаунт Google Webmaster Tools и установили предпочтительный URL для вашего сайта. Кроме того, отправьте обе версии – с www и без www – вашего сайта в Google Webmaster Tools, чтобы задать предпочтения.

Заключение: используйте канонические URL для преимуществ в плане SEO

Надеемся, мы справились с хаосом, который имелся вокруг канонических ссылок и влияния их на SEO. Если вы по-прежнему не разобрались во всех аспектах, я рекомендую перейти по ссылкам, приведенным в данной статье. Однако самое лучшее достижение – теперь вы знаете, как использовать канонические адреса, знаете, что у них есть потенциал, который позволит добиться великолепных SEO результатов.

Дублированный контент – проблема, с которой могут справиться далеко не все владельцы бизнес-сайтов. Порой у них просто нет времени, чтобы решать эту проблему. К счастью, поисковые системы понимают, что порой тот же самый контент может быть доступен по разным URL-адресам, причем вполне законно. Поисковые системы предложили нам инструмент, который мы можем использовать – так давайте же воспользуемся им в своих интересах!

На данный момент, устранение проблемы дублированных страниц является одной из самых важных при оптимизации сайта. В большинстве случаев для решения этой проблемы лучше всего использовать .

Но, когда мы или не можем использовать 301 редирект, или нам необходимы страницы для просмотра пользователями, то нам на помощь приходит атрибут rel= «canonical».

С помощью этого атрибута можно довольно быстро устранить проблемы дублирующего контента.

Как прописать rel= «canonical»?

На странице сайта (основной способ)

Чтобы для текущей страницы указать ее каноническую ссылку, то в секции нужно прописать следующее:

< link rel= "canonical" href= "http://site.com/canonical-link.html" />

Очень важно прописать именно в секции HEAD, так как если вы случайно пропишите данный атрибут не в этой секции, то данная инструкция будет проигнорированная поисковыми системами.

Через xml-карту сайта

Для каждой страницы в xml-карте сайта вы можете прописать её каноническую ссылку. Но, в данном случае, поисковые системы могут проигнорировать данные рекомендации.

Через ответ сервера (лучше всего для не html документов)

Link: ; rel="canonical".

Но, следуют учесть, что на данный момент Google поддерживает данный элемент заголовка только для Веб-поиска.

Когда нужно использовать канонические ссылки

Если вы точно знаете в каком случае у вас на сайте появляются дубли

Если вы четко понимаете причину возникновения похожих или очень схожих страниц у вас на сайте и, при этом, каждая такая страница должна существовать на сайте, то желательно определиться какая из этих страниц серии является основной и со всех других страниц проставить канонические ссылки на эту одну главную.

Когда сложно или невозможно реализовать 301 редирект

В общем лучше всего использовать 301 редирект, но если это довольно сложно или долго реализовывать, то можно воспользоваться и атрибутом rel=”canonical”. По заявлениям Google, передаваем вес через канонические ссылки абсолютно идентичный весу, который передает 301 редирект.

Несколько страниц для одной серии продуктов

Если у вас в интернет магазине есть серия товаров, которая отличается, например, только цветом, то лучше выбрать один товар в качестве главного (типичного) и на него проставить канонические ссылки с других продуктов.

При разных сортировках товаров в каталоге

Если на вашем сайте товары можно сортировать разными способами и параметр сортировки указывается в урле:

При создании страницы каталога со всеми продуктами

Каноническая ссылка не является индексируемой

страница отдает 200 код сервера
на странице нет запрета индексации (через мета тег robots и noindex)

Несколько ссылок rel=canonical с одной страницы

Для одной страницы должна быть одна каноническая страница. Если указанно несколько страниц, то в таком случае будет учтена только первая инструкция.

Разные канонические URL

Следите за тем, чтобы всегда указывать одни и те же канонические страницы при разной реализации (например, через xml-карту сайта и через rel=”canonical” на самой странице).

Неправильное использование относительных ссылок

В общем случае, при указании канонических ссылок всегда желательно прописывать абсолютные ссылки

Тогда поисковые системы будут просто игнорировать данные инструкции.

Проверка использование rel=»canonical» на своем сайте

После того, как вы настроили все канонические ссылки у себя на сайте, то желательно сделать проверку всего сайта на то, как будут видеть эти все инструкции поисковые роботы. Для этого лучше всего воспользоваться программой Screaming Frog SEO Spider.

После индексации вашего сайта эта программа в удобном для вас виде предоставит вам полную информацию по всем страницам

на которых стоит атрибут rel=”canonical” и на какие именно страницы он указывает
на какие страницы сайта проставлены канонические ссылки
какие страницы без атрибута rel=”canonical”

Вся эта информация будет на вкладке Directives

Следует не забыть провести некоторые дополнительные настройки:

1. Убедиться, что на вкладке Basic выставлена галочка напротив Crawl Canonical

Доброго дня читателям. Для большинства людей канонические URL – это вещь крайне загадочная, и зачастую они могут быть ошибочно использованы для таких операций, как 301 редирект. Пользователи знают, что такие ссылки имеют отношение к SEO, но не совсем уверены в том, как их можно использовать. Говоря же о WordPress (в противовес HTML сайту), то здесь не так легко вручную прописывать канонические ссылки для каждой отдельной страницы вашего сайта, без использования плагина, так как это идет вразрез с тем, как работает шаблон системы управления содержимым сайта.

Данная статья поможет прояснить некоторые вопросы, которые могут возникнуть у пользователей WordPress в связи с использованием канонических URL. Не WordPress пользователи также найдут эту статью полезной, потому что смогут узнать основные принципы и затем применить эти правила к собственной системе управления контентом или обогатить свой опыт разработчика. Как бы то ни было, эта статья может показаться вам сложной в освоении в том случае, если у вас не достает технических знаний о WordPress или базовой информации о HTML и поисковой оптимизации (SEO). Мы осветили все термины, чтоб вы могли с ними познакомиться в первую очередь. Но, в любом случае, из этой публикации вы сможете почерпнуть тот необходимый базис, с которого можно начать гуглить, чтоб найти больше информации для получения более полной картины.

Что представляет из себя канонический URL?

Канонический URL (также известен, как rel=canonical, канонический тег и под другими названиями) – это то, на что ссылаются поисковые системы, когда они видят дублированные версии страницы на вашем сайте или же в интернет-пространстве. Сейчас этот прием используется для решения сложных проблем, связанных с дублированным контентом, так как часто он является лучшим решением, чем использование 301 редиректа.

Возможно, вы думаете, что на вашем сайте нет дублированного контента. И это здорово, если вы следите за тем, чтоб ваш контент не повторялся на множестве страниц. В противном случае, это может привести к понижению ранга вашего сайта в поисковой выдаче.

Если на вашем сайте есть повторяющийся текст, постарайтесь серьезно подумать над этой проблемой: если бы вы были поисковой системой, которая пытается ответить на запрос пользователя, вы бы выдали этому пользователю две идентичные страницы в результатах поисковой выдачи? Конечно же, нет! Это же совершенно бесполезно. Вы бы выдали им столько разных результатов (в поисковой выдаче), чтоб они могли найти то, что им необходимо.

Таким образом, если контент на вашем сайте повторяется снова и снова, ожидаемо, что Google просто не будет ранжировать такие страницы. И это нехорошо, если вы хотите занимать хоть какие-то позиции в поисковой выдаче.

Ссылки на дублированный контент, о существовании которых вы даже не подозреваете

Хорошо, теперь давайте вернемся назад и предположим, что вы все сделали правильно и уверены в том, что все ваши страницы абсолютно уникальны. Но, возможно, на вашем сайте все же присутствуют «скрытые» дублированные URLы, о которых вы знать ничего не знаете (на самом деле они не скрытые, я просто их так назвал). Это может вас удивить, но знали ли вы что поисковики воспринимают следующие URL, как полностью самостоятельные, даже не смотря на то, что для вас это одно и то же, и отображает одинаковый контент?

http://www.examplesite.com (заметили www?)

http://examplesite.com

https://examplesite.com (заметили https?)

http://www.examplesite.com/ (заметили слэш в конце?)

http://examplesite.com/index.php

Вот почему вам нужен канонический URL в теге HTML-кода всех ваших страниц. Необходимо оповестить поисковые машины о том, на какую версию типов URL приведенных выше или других они должны обращать внимание.

Это значит, что вы должны раз и навсегда решить отказаться ли вам или нет от использования www во всех ссылках вашего веб-проекта. Это должно стать вашей стратегией перелинковки сайта как внутри него, так и за его пределами. И это должны знать все, кто используют ваши URL: фрилансеры, работающие на вас, ваши партнеры, совладельцы, а также этот адрес должен быть указан во всех каталогах, где есть ваш сайт. Кроме того нужно решить, хотите ли вы слэш в конце или https (если на вашем сайте вводится специфическая информация, типа кредитных карт). Выберите один вариант и придерживайтесь его всегда. Если бы выбирать приходилось мне, я бы предпочел вариант, который используется чаще всего, чтоб снизить уровень головной боли, когда дело доходит до наведения порядка в URLах.

К счастью, если вы работаете с WordPress, большинство таких проблем решаются довольно просто. Мы расскажем вам о необходимых плагинах и действиях, которые нужно проделать далее в этой статье.

Но опять же повторюсь, что для канонических ссылок есть гораздо больше применений.

Дублированный контент, созданный таксономией

Скажем, вы написали статью и включили ее в разные категории блога и теги в WordPress (все это называется таксономией). Люди постоянно это делают. Или, например, есть у вас интернет-магазин, в котором товары заносятся в разные категории. Тогда, по замыслу, для удобства передвижения пользователей по сайту, один и тот же контент появляется по разным URL, но это приводит к появлению проблем. Например:

http://examplesite.com/store/candy/chocolate-truffles

http://examplesite.com/store/foods/chocolate-truffles

Вам хочется, чтоб посетители нашли эти самые «шоколадные трюфели» в обеих категориях: «сладости» и «еда». Неплохое стремление. Но на какой URL должны обращать внимание поисковые машины? Вы же помните, что они не будут ранжировать обе ссылки. Так что нужно выбрать. И вот здесь вам пригодятся канонические ссылки. Они скажут поисковым машинам «эй, на этой странице тот же контент, что и на той, пожалуйста, ранжируй эту страницу, а не ту».

Помните, что это просьба – ни одна поисковая система не обязана повиноваться вашей канонизации, и они могут ее проигнорировать, если посчитают неправильной.

Использование кроссдоменного канонического URL для дублированного контента

Это последняя причина, по которой вам нужен элемент канонический URL, который будет описан в данной статье (есть и другие, но они сложные, да и принцип использования не меняется): когда вы публикуете контент на вашем сайте, который также появляется и на других сайтах. Наиболее очевидные случаи такого дублирования – это пресс релизы. Так ваша компания публикует пресс релиз и размещает его на вашем сайте. Это вполне законно. Но, традиционно, пресс релиз – это такая штука, которую может опубликовать у себя кто угодно. Они создаются для того, чтоб ими делились и копировали. В этом заключается принцип работы сообществ дистрибьюторов, типа PRWeb . Это старый, как мир маркетинговый прием.

Но это рождает конфликт SEO интересов. Для поискового робота контент пресс релиза на вашем сайте – это то же самое, что и на сайтах его позаимствовавших. Так, где же оригинальная копия? Какую ссылку ранжировать в поисковой выдаче? Помните, что нужно выбрать только одну.

Обычно поисковые машины выбирают за вас, если только вы не предложите им свой вариант. И вы можете это сделать, использовав канонический URL. В случае пресс релизов, вы, как бы то ни было, вряд ли каждый новостной сайт будет публиковать вашу статью с каноническим URL на ваш ресурс. Помните, что для многих данный элемент не особо понятен. Я так же сомневаюсь, что кто-то будет тратить время на то, чтоб найти ресурс с исходной статьей и правильно кодировать свой HTML. Они публикуют по несколько статей в день, так что только вы можете позаботиться о правильных ссылках на вашем сайте. На вашем месте я бы поставил канонический URL на страницу, которая содержит пресс релиз, и обратился бы к копии, на странице крупного сообщества, где вы изначально разместили статью для заимствования. Например, закинем копию статьи на сайт PRweb.com (если вы используете данный сервис). Просто мои пять копеек.

Вот пример из реальной жизни, не связанный с ситуацией пресс релизов, где канонический URL пришелся весьма кстати: взгляните на статью, которую я написал о KISSmetrics около года назад:

Вскоре после этого Entrepreneur.com разместили эту статью у себя, так как у них было соглашение с KISSmetrics.

Вот URL той статьи:

http://www.entrepreneur.com/article/231237

Теперь у нас есть одинаковый контент, на который ведут две разные ссылки. Технически это дублированный контент, а дублированный контент – это «плохо», помните? Но не стоит бояться! Если вы посмотрите на исходный код Entreprenuer.com, то вы увидите это

Это говорит поисковым системам, где находится оригинальный контент, что представляет собой правильный выход из ситуации.

Это снимает подозрение в воровстве контента в глазах поисковых систем (которые не могут иначе узнать, кому именно принадлежат легальные права на публикацию контента).

Вероятно, вам бы не хотелось иметь такой сайт, на котором публикуются только чужие материалы. Тут элемент канонический URL, вряд ли поможет вам улучшить ранжирование сайта. Так что не злоупотребляйте использованием данной тактики.

Когда вы не можете использовать канонический URL для дублированного контента с другого сайта

Мне хочется осветить один момент, так как я много раз наблюдал такую ситуацию. Если вы собираетесь написать описание компании или персональную биографию на вашем сайте я бы не рекомендовал вам использовать тот же набор слов в ваших профилях в социальных сетях или на любых других сайтах. Если вы пишите одно и то же снова и снова на странице вашей компании на LinkedIn, бизнес странице на Google Plus и т. д., вы просто дублируете ваш контент. Вы не сможете использовать канонический URL на странице, посвященной компании или человеку, и сделать отсылку к профилю в социальной сети: вам не захочется чтоб такая страница ранжировалась сама по себе. В этом случае, пожалуйста, просто пишите каждый раз новое уникальное описание.

Как использовать канонические URLs в WordPress

Это можно сделать разными способами, но я расскажу вам о лучшем варианте, который мне известен: используйте плагин от Joost De Valk. Как только вы установите это расширение на вашем сайт, он начнет заботиться о вашем SEO, включая управление каноническими URL для того, что я назвал «скрытыми» URLами (смотри выше). Но все-таки стоит обратить внимание на некоторые настройки. На скрине ниже, виден экран настройки для единичной записи или страницы (так же применимо для пользовательских типов записей, если вы такие используете), и SEO-бокс WordPress содержит много полей и настроек. Для настройки канонических URL, которые пригодятся для штук типа пресс релизов и контента, дублированного на других сайтах, кликните таб “Advanced”:

Этот плагин значительно упростит для вас элемент канонический URL. Все, что нужно сделать, это ввести полный url оригинального источника вашего контента, который публикуется на данной странице. Другими словами, URL, который копирует контент, это та ссылка, которая должна использовать каноническую URL в HTML «шапки». Копированный контент теперь будет сигнализировать поисковикам о том, что он всего лишь копия. Имеет смысл, да?

Хорошо, но это всего лишь принцип. Исходя из примера, данного выше, вам может иногда захотеться указать, что вы всего лишь копируете контент, хотя это совсем не так, так как вам просто трудно контролировать распространение контента. Вы можете опубликовать пресс релиз на сайте своей компании и, если нужно, вы можете использовать атрибут для оригинального источника контента в сети синдикации, которую вы используете. В этом смысле вы будете действовать, как один из синдикаторов. (между прочим, это всего лишь мое мнение. Этот совет могут не одобрить другие SEO-эксперты. Так что используйте его на свой страх и риск. Google «клянется», что он очень хорош в идентификации оригинального источника контента, и канонические указатели – это только дополнительная подмога. Поисковые системы могут их проигнорировать).

В других случаях канонические URL, которые вы вводите, будут внутренними ссылками вашего сайта, содержащими дублированный контент. Скажем, например, вы публикуете описание вашего товара на статичной странице для оптовых покупателей. Но вы используете это же описание в разделе вашего сайта, где люди покупают товары в розницу.

Используя поле для канонического URL в SEO-настройках WordPress, вы можете подсказать поисковым машинам какую ссылку вы бы хотели, чтоб они ранжировали.

Замечание: Вам нужно выбрать версию ссылки с www или без www для каждой страницы, используя эти настройки. Плагин WordPress SEO делает это автоматически. Вам могут понадобиться эти настройки только в том случае, когда URL очень отличается или контент находится на другом домене.

Настройка https глобальной канонической URL с использованием WordPress SEO

Вот еще кое-что, что вы можете сделать с каноническими ссылками, используя плагин WordPress SEO. Если вы используете сертификаты SSL (для продаж в Интернете) вы можете сделать так, чтоб ваш канонический тег использовал https версию ваших ссылок в том случае, если страницы могут находиться и по http, и по https. Для этого идем в SEO > Permalinks и прокручиваем до «Canonical Settings» (канонические ссылки) в вашей консоли WordPress.

Кликаем на развернувшееся меню, где можно выбрать тип URL, который вы хотите сделать элементом canonical URL в теге всех ваших страниц:

Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel="canonical" , который присваивается тегу link и располагается в части любой html-страницы.

Выглядит это как-то так:

Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google.

Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)

Для начала напомню вам о тех постах, что я затронул в начале:

Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.

Теория и справка от поисковых систем

Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel="canonical" и Яндекс про атрибут rel="canonical" тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.

Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.

Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.

А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel="canonical" в раздел неканонических версий всех страниц HTML.

Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.

Что будет, если атрибут rel="canonical" указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.

Можно ли использовать атрибут rel="canonical" для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.

На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel="canonical":

Это рекомендация, а не правило, а потому может быть проигнорирован в следующих случаях:
- Документ по каноническому адресу не существует, отдает ответ 404;
- Каноническая страница закрыта от индексации в robots.txt или мета-тегом;
- В html-коде страницы указано сразу несколько атрибутов rel canonical;
- Адрес канонического документа указывает на другой домен или поддомен;
- Присутствует цепочка назначений rel="canonical", т.е. для документа А каноническим указан документ Б, а в это время для документа Б указан каноническим документ В;
Необходимо указывать только для дублирующих или очень схожих страниц, а не для склейки двух разных страниц или передачи веса;
Адрес канонической страницы может указывать сам на себя;
Поддерживается всеми поисковыми системами: в Яндексе с 23 мая 2011 года, в Google с 12 февраля 2009.

Практическое применение и эксперимент

Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel="canonical" на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами . Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.

Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.

Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel="canonical" был указан позже? А что будет, если все наоборот?

Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info , за что ему огромное спасибо.

Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:

Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel="canonical", который указывает, что канонической страницей является страница С.
Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.
Вариант №2. На странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.
Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.

Полное описание и ход эксперимента .

Я же сообщу результаты эксперимента и выводы:

Для Яндекса не имеет значения, что появилось раньше – rel="canonical", или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.

Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.

Короче, все работает!

В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel="canonical" нужно . В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.

Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.