Настройка канонических страниц. Новый тег rel=canonical для удаления дубликатов страниц

Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL , тогда новый формат позволит указать тот URL , который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.

Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега на страницах с дублированным контентом:

Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.

Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB , WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB , приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:

печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…

Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.

Для популярного блог-движка WordPress уже разработан плагин canonical , вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).

Ответы на некоторые популярные вопросы по тегу:

Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.

Могу ли я использовать относительный путь для указания canonical, например так: ?
Да, относительные пути распознаются также, как и в обычном теге . Даже если вы введете тег с ссылкой на документ, тогда относительные пути будут считаться в соответствии с базовым URL .

Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.

Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL в качестве канонических.

Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.

Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.

Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.

Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com вместо example.com или help.example.com , однако, не могут указать example.com вместо example-widgets.com .

Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana .

Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL , содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.

Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров .

1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в страницы с произвольными параметрами в URL .

2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).

3. Мы теперь имеем хороший инструмент для ускорения индексации сайта 🙂

Сегодня мы поговорим про атрибут Rel=” Canonical” и в каких случаях его необходимо прописывать.

Что означает Rel Canonical?

Это атрибут указывается в теге и используется для отображения канонических страниц на сайте. Каноническая страница – является главной страницей, именно она будет при на сайте.

История Canonical

12 февраля 2009 года Google представил атрибут canonical, который был создан, чтобы избавить сайт от дублированных страниц, указав необходимый URL адрес (каноническую страницу).

Где прописывать rel canonical

Атрибут тега rel canonical прописывается в разделе и может встречаться только 1 раз на странице. Данный тег не может указывается в других разделах на сайте или

.

Каноническая ссылка – что это?

Каноническая страница – более приоритетная страница по сравнению с остальными.

Давайте разберем конкретный пример:

У нас имеется каноническая страница, на которую мы хотим ссылаться в случае с дублями.

Тег link с атрибутом каноникал будет являться канонической ссылкой .

Данную проблему мы можем решить другим способом. Со страниц дублей будет идти ReDirect 301 на главную (каноническую страницу). О 301-редиректе я расскажу в следующей статье.

Для главной страницы атрибут canonical необязателен, так как мы указываем в robots.txt директиву Host.

Что делать с пагинацией в интернет-магазине?

Нужен ли Canonical, где имеются карточки товаров? На этот вопрос уже ответил Яндекс:

“Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Например, страница сайт.рф/ромашки/1 - каноническая, с неё начинается каталог, а страницы вида сайт.рф/ромашки/2 и сайт.рф/ромашки/3 - неканонические, в поиск их можно не включать. Это не только предотвратит возможное дублирование контента, но и позволит указать роботу, какая именно страница должна находиться в выдаче по запросам. “

То если страницы пагинаций вида:

http://site.ru /category-name/” />
Рекомендую ознакомится со следующим списком статей, который помогут сделать внутреннюю оптимизацию сайта качественно:



Как правило, проблемы с дублями возникают со стороны платформы (чаще всего это известные CMS Joomla, Opencart и прочие). Opencart вообще можно вынести в отдельную категорию, так как не до конца решена проблема, во всяком случае у меня разобраться не получилось и пришлось переносить все на другой движок. (Никому не рекомендую данный движок)


Но так же существуют ошибки со стороны оптимизатора которые я описал ниже.

Основные ошибки написания Canonical

Неверный ответ сервера.

Страница, на которую ставим тег link rel=” canonical” должна быть работоспособной. То есть ответ сервера должен быть 200.

Проверить robots.txt

Возможно, что данная страница закрыта от индексации поисковых роботов.

Дублирование и расположение атрибута.

Важно, чтобы тег встречался всего 1 раз на странице и располагался только в теге .

Отсутствие цепочек ссылок.

Со всех дублирующихся страниц все канонические ссылки указывают на 1 каноническую страницу. Чтобы не получилось, что одна ссылка ссылается на другую вторая на третью и так далее.

Rel Canonical в CMS Wordpress

Прописать тег Canonical в CMS Wordpress вы можете c помощью плагинов:



В SEO Yoast ограниченный функционал, можно указать только в поле необходимый канонический URL.

Плагин All in SEO



В All in SEO имеется возможность так же указывать канонический URL, а так же запрещать пагинацию для канонических URL(то есть ПС не будет индексировать эти страницы).

Заключение

Учитывая проблемы многих платформ, данный атрибут обязательно стоит учитывать, ведь он влияет на индексацию страниц вашего сайта.

Думаю, я рассказал большую часть про атрибут Rel=” Canonical”. Пишите в комментариях, как вы используете канонические ссылки на своих сайтах.

Атрибут rel=“canonical” - один из способов борьбы с дублирующимся контентом. Он размещается на любой HTML-странице между тегами . Поисковые роботы начинают считать страницу, указанную в атрибуте rel=“canonical”, приоритетной (канонической). Каноническая страница будет отображаться в поиске, на неё перейдут ссылочный вес и другие характеристики страниц с одинаковым содержанием.

Таким образом, если на вашем сайте есть идентичный или очень похожий контент, доступный по разным URL, с помощью атрибута rel=“canonical” можно указать тот URL, который является предпочтительным для индексации.

Когда нужно использовать канонические ссылки

1. Для предупреждения появления различных дублей. Например:

  • страниц сортировок: /*sort, asc, desc, list=*;
  • дублей из-за UTM-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=, /*utm_medium=;
  • других страниц c GET-параметрами в URL;
  • дублей в результате особенностей работы CMS (движка).

В этом случае нужно добавить атрибут rel=“canonical” на все статические страницы сайта. Например, для страницы https://site.ru/category-1/page-2, rel=“canonical” будет выглядеть следующим образом:

href=“https://site.ru/category-1/page-2” />

2. Для доступных по разным URL страниц с очень похожим контентом.

Например, это могут быть страницы одной серии товара, который отличается только расцветкой или страницы товара, который расположен сразу в нескольких категориях.

В этом случае нужно указать со всех страниц rel=“canonical” на основную, приоритетную страницу.

В таком случае на каждой из страниц пагинации нужно указать канонической страницу «Показать всё».

Например, для страницы https://site.ru/category-1/page-2 нужно прописать канонический URL:

ru /category-1/show-all” />

Как указать основной URL при помощи атрибута rel=“canonical”?

Прописать между тегами любой HTML-страницы

Это основной способ. Чтобы указать каноническую ссылку, пропишите между тегами на странице полный URL страницы, которая должна быть в индексе.

Например, для страницы https://site.ru/*utm_content= канонической будет https://site.ru/.

Для получения такого результата, на странице https://site.ru/*utm_content= мы указали тег:

ru /” />

Важно!
Чтобы снизить вероятность ошибки в элементах link, после атрибута rel=“canonical” используйте абсолютные, а не относительные ссылки.

В файле Sitemap

В XML-карте сайта вы можете прописать канонический (основной) URL для любой страницы.

Важно!
Атрибут rel=“canonical” - это рекомендация для поисковой системы, а не правило. В этом случае ПС могут проигнорировать их.

В заголовке HTTP

Лучше всего использовать для документов не HTML-формата. Например, для файлов формата PDF.

В таком случае сервер, при запросе дублирующего файла, должен отдавать ссылку на файл-оригинал:

Link: ; rel=“canonical”

Важно!
Этот способ подойдёт, если у вас есть доступ к настройкам сервера. Не рекомендуется использовать для HTML-документов.

С помощью плагина

Для CMS существуют различные плагины, которые позволяют настроить канонический URL. Например:
— для WordPress можно настроить canonical с помощью Yoast SEO ;
— в OpenCart - реализовано в настройках CMS (нужно зайти в настройки товара и задать параметр SEO URL);
— для настройки атрибута canonical в Joomla (версии 3.х и выше) нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel=“canonical” (с указанием URL на страницу с настроенным ЧПУ).

Как проверить правильно ли настроен rel=“canonical”?

Провести анализ можно специальной программой для SEO-анализа сайта - .

С помощью этой программы вы увидите:
— какие страницы на сайте без атрибута rel=“canonical”;
— на каких страницах стоит атрибут rel=“canonical”, и какие страницы являются для них каноническими;

Основные ошибки использования rel=“canonical”

— Канонический URL отдаёт 404 ошибку.
— Указанный канонический URL находится на другом домене или поддомене.
— Каноническая ссылка не является индексируемой.
— Использование rel=“canonical” со страниц пагинации на первую страницу.

Для всех страниц пагинации неправильно прописывать канонической первую страницу. Это делает индексацию всех страниц пагинации невозможной.

Для страниц пагинации в качестве канонических нужно указывать эти же страницы.

Например, страница https://site.ru/category-1/page-2 должна содержать каноническую ссылку:

.

— Несколько ссылок rel=“canonical” с одной страницы.

Для одной страницы должна быть одна каноническая страница, в ином случае будет учтён только первый URL.

— Разные канонические URL.

Указывайте одни и те же канонические страницы при разных способах реализации атрибута (например, через XML-карту сайта и через rel=“canonical” на самой странице).

Заключение

Атрибут rel=“canonical” - удобный и полезный инструмент для поискового продвижения. При правильном использовании, он повысит эффективность работы и ускорит индексирование сайта, что, в свою очередь, существенно повлияет на его ранжирование.

Подписаться на рассылку

SEO-аналитик

Оптимизирую сайты с 2009 года. Люблю сложные кейсы, которые оказались не по зубам специалистам с других компаний. Делаю очень подробные аудиты.

Пишу статьи-инструкции на блог SiteClinic по SEO-инструментам и аналитике.

Любимая цитата: Чтобы добиться успеха, надо искренне любить то, чем вы занимаетесь.

На данный момент, устранение проблемы дублированных страниц является одной из самых важных при оптимизации сайта. В большинстве случаев для решения этой проблемы лучше всего использовать .

Но, когда мы или не можем использовать 301 редирект, или нам необходимы страницы для просмотра пользователями, то нам на помощь приходит атрибут rel= «canonical».

С помощью этого атрибута можно довольно быстро устранить проблемы дублирующего контента.

Как прописать rel= «canonical»?

На странице сайта (основной способ)

Чтобы для текущей страницы указать ее каноническую ссылку, то в секции нужно прописать следующее:

< link rel= "canonical" href= "http://site.com/canonical-link.html" />

Очень важно прописать именно в секции HEAD, так как если вы случайно пропишите данный атрибут не в этой секции, то данная инструкция будет проигнорированная поисковыми системами.

Через xml-карту сайта

Для каждой страницы в xml-карте сайта вы можете прописать её каноническую ссылку. Но, в данном случае, поисковые системы могут проигнорировать данные рекомендации.

Через ответ сервера (лучше всего для не html документов)

Link: ; rel="canonical".

Link: ; rel="canonical".

Но, следуют учесть, что на данный момент Google поддерживает данный элемент заголовка только для Веб-поиска.

Когда нужно использовать канонические ссылки

Если вы точно знаете в каком случае у вас на сайте появляются дубли

Если вы четко понимаете причину возникновения похожих или очень схожих страниц у вас на сайте и, при этом, каждая такая страница должна существовать на сайте, то желательно определиться какая из этих страниц серии является основной и со всех других страниц проставить канонические ссылки на эту одну главную.

Когда сложно или невозможно реализовать 301 редирект

В общем лучше всего использовать 301 редирект, но если это довольно сложно или долго реализовывать, то можно воспользоваться и атрибутом rel=”canonical”. По заявлениям Google, передаваем вес через канонические ссылки абсолютно идентичный весу, который передает 301 редирект.

Несколько страниц для одной серии продуктов

Если у вас в интернет магазине есть серия товаров, которая отличается, например, только цветом, то лучше выбрать один товар в качестве главного (типичного) и на него проставить канонические ссылки с других продуктов.

При разных сортировках товаров в каталоге

Если на вашем сайте товары можно сортировать разными способами и параметр сортировки указывается в урле:

При создании страницы каталога со всеми продуктами

Каноническая ссылка не является индексируемой

  • страница отдает 200 код сервера
  • на странице нет запрета индексации (через мета тег robots и noindex)

Несколько ссылок rel=canonical с одной страницы

Для одной страницы должна быть одна каноническая страница. Если указанно несколько страниц, то в таком случае будет учтена только первая инструкция.

Разные канонические URL

Следите за тем, чтобы всегда указывать одни и те же канонические страницы при разной реализации (например, через xml-карту сайта и через rel=”canonical” на самой странице).

Неправильное использование относительных ссылок

В общем случае, при указании канонических ссылок всегда желательно прописывать абсолютные ссылки

Тогда поисковые системы будут просто игнорировать данные инструкции.

Проверка использование rel=»canonical» на своем сайте

После того, как вы настроили все канонические ссылки у себя на сайте, то желательно сделать проверку всего сайта на то, как будут видеть эти все инструкции поисковые роботы. Для этого лучше всего воспользоваться программой Screaming Frog SEO Spider.

После индексации вашего сайта эта программа в удобном для вас виде предоставит вам полную информацию по всем страницам

  • на которых стоит атрибут rel=”canonical” и на какие именно страницы он указывает
  • на какие страницы сайта проставлены канонические ссылки
  • какие страницы без атрибута rel=”canonical”

Вся эта информация будет на вкладке Directives

Следует не забыть провести некоторые дополнительные настройки:

1. Убедиться, что на вкладке Basic выставлена галочка напротив Crawl Canonical

Элемент инфоблока может быть привязан к нескольким разделам. Но при этом могут быть претензии Привязка к нескольким разделам приводит к тому, что страница сайта может существовать в сети под двумя и более различными адресами. Поисковые системы негативно относятся к дублированному контенту и понижают его в выдаче.

Избежать таких ситуаций помогут канонические ссылки.

Канонические (основные) ссылки указывают поисковому роботу основную страницу. Если робот найдет на сайте копии канонической страницы, то он пометит их, как малозначительные. по дублям страниц от SEO. Избежать этого помогает такое понятие как "основной раздел" элемента. Раньше основным разделом считался раздел с минимальным идентификатором, что было не совсем удобно. С версии 15.5.0 все изменилось, теперь вы можете самостоятельно задать основной раздел и, следовательно, пометить нужную страницу элемента как каноническую. Каноническая страница - это оригинальная страница или первоисточник.

Шаг 1 . Включите настройку выбора раздела в форме редактирования инфоблока на закладке Поля :

Шаг 2. В форме создания/редактирования элемента укажите основной раздел в одноименном поле:

Важно! Если в форме поле Основной раздел отсутствует, то перенастройте внешний вид. При работе с товарами, материалами статей, каталогами справочников вы зачастую
обращаете внимание на следующий момент: в форме присутствуют поля, которые не
используются на сайте. Лишние поля увеличивают размеры формы редактирования и
затрудняют внесение данных.

Облегчите свой труд, используйте инструмент настройки форм инфоблоков. Инструмент
учитывает индивидуальные потребности, позволяет настроить формы редактирования
разделов и элементов инфоблока под себя:

  • удаляйте лишние поля или целые вкладки;
  • перемещайте поля между вкладками;
  • создавайте свои вкладки.
Для каждого конкретного инфоблока формируйте свои уникальные формы и
работайте с удовольствием.

Примечание: основной раздел выбирается только среди тех разделов, к которым привязан элемент.

Пометьте страницу элемента в основном разделе как каноническую (т.е. выделите ее как основную среди дублей). Для этого:

  1. В компоненте, с помощью которого создан публичный интерфейс детальной страницы элемента, отметьте опцию
    .

    Примечание: данная опция добавлена в компоненты Новости Комплексный компонент позволяет создать новостной раздел на сайте. Доступен просмотр детальной информации, списка элементов, настройка экспорта в rss, организация голосования за новости (или другие элементы инфоблоков), настройка отзывов, вывода материалов по темам, настройки ЧПУ и многое другое. Компонент содержит 3 шаблона: .default , web20 и flat . Компонент стандартный и входит в дистрибутив модуля.

    : Контент > Статьи и новости > Новости .

    , Каталог Комплексный компонент осуществляет вывод полного каталога товаров из определенного инфоблока. Его функциональность объединяет возможности нескольких одностраничных компонентов: фильтра, компонента сравнения, вывода элементов раздела, топа элементов, связанных элементов и др. Расположив комплексный компонент на странице, можно получить полнофункциональный каталог. Компонент является стандартным и входит в дистрибутив модуля.

    Внимание ! Компонент не работает с инфоблоками, не имеющими структуры разделов. Если по логике проекта информация не должна иметь структурного деления, то необходимо создать один раздел верхнего уровня и уже в нём размещать элементы инфоблока.

    В визуальном редакторе компонент расположен по пути Контент > Каталог > Каталог .

    Компонент относится к модулю Информационные блоки.

    Порядок секций в форме настройки компонента может меняться в зависимости от выбранного шаблона.

    , Новость детально Одностраничный компонент, осуществляющий вывод детального описание новости. Компонент стандартный и входит в дистрибутив модуля.

    Контент > Статьи и новости > Новость детально .

    Компонент относится к модулю Информационные блоки.

    И Элемент каталога детально Компонент выводит детальную информацию по элементу каталога. Компонент стандартный, входит в дистрибутив модуля и содержит три шаблона: .default , board и old_version_16 (шаблон.default до версии 17.0).

    В визуальном редакторе компонент расположен по пути Контент > Каталог > Элемент каталога детально .

    Компонент относится к модулю Информационные блоки.

  2. Кроме того, проверьте корректность заполнения поля Канонический URL элемента
    в форме редактирования инфоблока.

Примечание: в вышеперечисленные компоненты, а также в компоненты Разделы с top"ом элементов Компонент выводит top элементов сгруппированных по разделам; элементы выводятся в таблице. Компонент стандартный и входит в дистрибутив модуля.

В визуальном редакторе компонент расположен по пути Контент > Каталог > Разделы с top"ом элементов .

Компонент относится к модулю Информационные блоки.

И Элементы раздела Компонент выводит список элементов раздела с указанным набором свойств. Компонент содержит пять шаблонов: .default , board , links , list и old_version_16 (шаблон.default до версии 17.0). Компонент стандартный и входит в дистрибутив модуля.

В визуальном редакторе компонент расположен по пути Контент > Каталог > Элементы раздела .

Компонент относится к модулю Информационные блоки.

Добавлена опция Использовать основной раздел для показа элемента . Она позволяет просматривать элемент только в основном разделе, несмотря на то, что переход к просмотру был осуществлен из другого раздела, к которому привязан элемент.

При настройке компонента обратите внимание на ещё две полезные опции в Дополнительных настройках :


Избегайте дублей страниц и улучшайте ваш сайт с точки зрения SEO. Используйте механизм выбора основного раздела, чтобы более гибко формировать для элемента каноническую ссылку:

  1. Отметьте флаг Разрешить выбор основного раздела для привязки .
  2. Для элемента укажите, какой раздел считать основным.
  3. Отметьте флаг Устанавливать канонический URL в настройках компонента.

Механизм выбора основного раздела позволяет более гибко формировать для элемента каноническую ссылку. Избегайте дублей и улучшайте ваш сайт с точки зрения SEO.