Статус страницы неканоническая. Канонические ссылки (rel="canonical")

Причин возникновения дублей контента может быть много: особенности CMS сайта, страницы с динамическими параметрами URL, сайт доступен по https://www.site.com/ и по https://site.com/ , http://site.com/ и так далее. Если не указать поисковику приоритетную — каноническую страницу с дублирующимся контентом, робот выберет ее на свое усмотрение и последствия могут быть неприятными, особенно для владельцев сайтов.

Страницы с UTM-метками

Необходимо настроить сервер так, чтобы при нахождении UTM-параметров в адресе страницы, отдавался код «200 ОК» и страница содержала абсолютную каноническую ссылку на URL этой страницы без UTM-метки.

Речь о следующих UTM-параметрах:

gclid;
utm_medium;
utm_source;
utm_campaign;
utm_content;
utm_term;
_openstat.

Так, страница «http://site.com/?utm_source=testk&utm_medium=test&utm_campaign=test » должна содержать каноническую ссылку: .

Страницы фильтрации

На страницах фильтрации следует в качестве канонических указывать сами страницы фильтрации.

Например, для страницы «http://site.com/category-1/filter-1/ » нужна ссылка: .

Иногда при переходе на новое доменное имя используется сервер, который не поддерживает переадресацию на своей стороне. В таком случае можно использовать междоменный атрибут rel="canonical" в элементе link.

Важно: на данный момент междоменный каноникал понимает только Google .

О чем следует помнить при простановке rel="canonical"?

Ссылки в атрибуте следует ставить абсолютные — с http:// или https://. Так сокращается риск появления ошибок.
Если на странице с дублирующимся контентом указываете на другую страницу как каноническую, не забудьте в той страницы также прописать ее как каноническую.
Если на странице указаны несколько канонических адресов, поисковый робот проигнорирует их и определит каноническую страницу самостоятельно.
Если канонической указана страница, отдающая код ответа 404, поисковый робот не сможет использовать данную рекомендацию.
Чтобы избежать ошибок, не стоит использовать цепочки канонических страниц.
Поисковые роботы воспринимают атрибут rel="canonical" не как строгую директиву, а как рекомендацию, то есть указанный URL может быть проигнорирован.
При самостоятельном определении канонических страниц поисковая система Google отдает предпочтение страницам на https.

Выводы

В нашей практике бывали случаи, когда контент с сайта копировали полностью, вместе с внутренней текстовой перелинковкой и каноническими адресами. Поэтому атрибут rel="canonical" стоит указывать на всех страницах.

Особенно важно определять каноничность для:

страниц пагинации;
страниц с UTM-метками;
страниц фильтрации.

Это помогает бороться с дублированием контента и обезопасить сайт от копирования.

Как указать каноническую страницу из числа одинаковых или похожих

Если у вас есть одна страница, доступная по нескольким URL, или разные страницы с похожим контентом (например, версии для мобильных устройств и компьютеров), Google будет считать один URL каноническим , а остальные – его копиями . Сканирование канонического URL будет выполняться намного чаще, чем его копий.

Сообщите нам, какой из URL является каноническим. В противном случае мы выберем его самостоятельно или будем считать оба адреса равноценными, а это может привести к нежелательным последствиям. Дополнительные сведения представлены в разделе ниже, где говорится о том, для чего нужно выбирать канонический URL .

Как указать каноническую страницу

Существует несколько способов указать каноническую страницу из числа повторяющихся:

Способ	Описание
	Рекомендации, которые имеют силу независимо от выбранного способа нормализации URL.
	Добавьте в код всех повторяющихся страниц тег . Плюсы Минусы Увеличивает размер страницы. Работает только с HTML-страницами, но не с файлами, такими как PDF. Для последних можно использовать атрибут rel=canonical в HTTP-заголовке.
	Включите в ответ страницы заголовок rel=canonical. Плюсы Не увеличивает размер страницы. Так можно пометить сколько угодно страниц. Минусы Разметка на крупных сайтах или ресурсах, на которых URL часто меняются, отнимает много усилий.
	Укажите канонические страницы в файле Sitemap. Плюсы Легко настроить и обновлять, особенно на крупных сайтах. Минусы Роботу Googlebot тем не менее нужно определить повторяющуюся страницу для каждой канонической, которую вы укажете в файле Sitemap. Менее значимый сигнал для робота Googlebot, чем атрибут rel=canonical.
	Используйте код статуса 301, чтобы сообщить роботу Googlebot, что URL, заданный в качестве нового адреса страницы, ведет на ее более актуальную версию.
Вариант страницы в формате AMP	Если один из вариантов страницы – AMP, укажите каноническую страницу и ее варианты согласно инструкциям для AMP.

Общие положения

Ниже приведены общие инструкции по указанию канонических URL.

Общие положения

Не обозначайте канонические страницы с помощью файла robots.txt .
Не используйте инструмент удаления URL для указания канонической страницы: в этом случае из результатов поиска будут удалены все варианты URL.
Не указывайте разные URL одной страницы в качестве канонических одним и тем же или разными способами (например, не надо добавлять один URL, используя файл Sitemap, другой – с помощью атрибута rel="canonical").
Не пытайтесь предотвратить выбор канонической страницы, применяя директиву noindex . Она предназначена для исключения страницы из индекса.

Обязательно выделяйте каноническую страницу при использовании атрибутов hreflang . Выбирайте для этого страницу на том же языке или ее вариант на наиболее близком языке.

Используйте канонический URL при настройке ссылок на своем сайте. Это поможет нам понять, какую страницу вы считаете приоритетной.

О преимуществах HTTPS по сравнению с HTTP в канонических URL

При определении канонических ссылок Google отдает предпочтение страницам HTTPS, если при этом не возникают проблемы, например следующие:

Страница HTTPS использует недействительный сертификат SSL.
Страница HTTPS содержит небезопасные зависимости (кроме изображений).
Страница HTTPS выполняет переадресацию на страницу HTTP.
Страница HTTPS указывает на страницу HTTP с помощью атрибута rel="canonical" .

Кроме того, вы можете дополнительно указать, что адресу HTTPS следует отдавать предпочтение. Вот как это сделать:

Добавьте переадресацию с HTTP-страницы на HTTPS.
Добавьте ссылку rel="canonical" , ведущую со страницы HTTP на страницу HTTPS.
Используйте протокол HSTS .

Как предотвратить использование страницы HTTP в качестве канонической:

Проверяйте сертификаты SSL, а также ссылки со страницы HTTPS на HTTP. Ошибки в них могут привести к тому, что каноническим будет считаться адрес HTTP. При этом реализация протокола HSTS не имеет значения.
В файлах Sitemap и компонентах указывайте страницу HTTPS, а не HTTP.
Не используйте сертификат SSL/TLS для некорректного хоста (например, если example.com передает сертификат для www.example.com). Этот сертификат должен соответствовать полному URL сайта или являться групповым, то есть пригодным для использования на нескольких субдоменах.

Только для опытных пользователей: как заставить роботов Google игнорировать динамические параметры

Вы можете сообщить Google о параметрах, которые следует игнорировать. Подробные сведения представлены в Справочном центре . При использовании этой функции наши роботы не будут обрабатывать повторяющийся контент, что упростит им работу. Например, если вы укажете, что нужно проигнорировать параметр sessionid , мы посчитаем идентичными следующие страницы:

https://www.example.com/dresses/green.php?sessionid=273749
https://www.example.com/dresses/green.php

Способы

Указать канонический URL для повторяющихся URL или похожих страниц можно одним из способов, описанных ниже.

Какой бы способ вы ни выбрали, обязательно следуйте приведенным выше общим рекомендациям.

Используйте атрибут rel="canonical"

Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.

Предположим, вы хотите указать страницу https://example.com/dresses/green-dresses , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:

Пометьте все повторяющиеся страницы с помощью элемента link с атрибутом rel="canonical". Добавьте в раздел этих страниц элемент , содержащий атрибут rel="canonical" и ссылку на каноническую страницу:

Если у канонической страницы есть вариант для мобильных устройств, добавьте элемент link с атрибутом rel="alternate" и ссылкой на мобильную версию:

В случае необходимости добавьте атрибуты hreflang или настройте переадресацию другими способами .

Используйте следующую структуру URL: https://www.example.com/dresses/green/greendress.html
Не применяйте такой вариант: /dresses/green/greendress.html

Используйте HTTP-заголовок rel="canonical"

Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута rel="canonical" в заголовках HTTP (а не с помощью HTML-тегов).

Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP rel="canonical" , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:

Link: ; rel="canonical"

В настоящее время этот способ поддерживается только для веб-поиска.

Элементы link с атрибутом rel="canonical" должны содержать абсолютные пути, а не относительные . Подробнее:
Правильно: http://www.example.com/downloads/white-paper.pdf
Неправильно: /downloads/white-paper.pdf

Используйте файл Sitemap

Укажите канонический URL для каждой страницы в файле Sitemap . Все страницы в нем предлагаются в качестве канонических. Googlebot будет определять, какие из них являются повторяющимися (при наличии), по их контенту.

Мы не гарантируем, что URL в файле Sitemap будут рассматриваться как канонические во всех случаях. Но в целом это удобный способ для определения приоритетных URL на крупном сайте.

Не включайте в файл Sitemap неканонические страницы, если вы его используете.

Используйте код статуса 301 для URL удаленных страниц

Это позволяет исключить устаревшие адреса и обеспечить переадресацию на новые.

Предположим, на вашу страницу можно перейти по следующим URL:

https://example.com/home
https://home.example.com
https://www.example.com

Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.

Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Канонический URL – помощник в борьбе с дублированным контентом

Многие современные CMS (системы управления контентом сайта) могут создавать . Это приводит к тому, что страница сайта может существовать в сети под двумя и более различными адресами. Поисковые системы негативно относятся к дублированному контенту и понижают его в выдаче. Поэтому одна из первостепенных задач вебмастера – любым доступным способом избавиться от страниц-дублей.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Пример дубля web-документа

Стартовая страница интернет ресурса может быть доступна по нескольким адресам:

primer.ru
ru/index.php

Поисковый робот распознает эти адреса, как четыре разных web-документа с идентичным содержанием.

Что такое канонический URL

Атрибут позволяет указать поисковому роботу каноническую, то есть основную версию документа. Этим атрибутом потребуется пометить не только основную продвигаемую страницу интернет проекта, но и ее дубли. Если робот найдет на сайте копии канонической страницы, то он пометит их, как малозначительные. Канонический – это самый легкий метод борьбы с дублированным контентом.

Как работает каноническая ссылка

Предположим, у нас есть основная страница http://yoursite.ru/statya1 , которую также можно найти еще по нескольким адресам:

Чтобы указать поисковику каноническую страницу, нужно в код каждого из вышеуказанных документов добавить следующую строчку:

Этот фрагмент кода следует поместить между тегами . Это увеличит шансы на то, что в результатах выдачи будет отображаться основной документ, а не его дубли. Нужно отметить, что атрибут rel="canonical" принимается во внимание большинством современных поисковых систем.

Почему CMS создают дубли

Не нужно полагать, что система управления контентом намеренно генерирует дубли страниц. Обычно такие копии создаются вследствие некорректной настройки CMS. К самым распространенным причинам появления дублей относятся:

создание архивов из старых статей;
наличие открытых ссылок на документы в PDF-версии (для печати);
неправильная структура сайта, добавление одинаковых страниц в разные категории;
наличие динамических URL (характерно для интернет-магазинов).

Чтобы выявить дубликаты страниц и использовать атрибут rel canonical, можно воспользоваться инструментами Google для вебмастеров. Нужно перейти на вкладку «вид в поиске» и кликнуть по ссылке «оптимизация Html». В открывшемся разделе указаны страницы с повторяющимися метаописаниями. Такие документы нередко имеют дублированный контент.

ПС Google советует не указывать атрибут rel="canonical" в качестве директивы для robots.txt. Это может вызвать проблемы с индексацией сайта. Нельзя указывать разные канонические урлы для одной страницы (к примеру, один URL в карте сайта, а другой – непосредственно в разделе страницы).

Чтобы снизить вероятность ошибки при индексации сайта, следует указывать в качестве атрибута link rel абсолютные, а не относительные пути. Иными словами, вместо структуры /blog/page-1 нужно использовать полный адрес http://yoursite/blog/page-1.

В этой статье мы рассмотрим канонические ссылки в html (атрибут rel="canonical"). Поговорим зачем они были введены и для чего использовать. Скажу сразу, что появились они в 2009 году в компании Google.

Что такое каноническая ссылка

Дубли на сайте - страницы содержащие одинаковый контент , но имеющие разные адреса URL.

Чаще всего дубли возникают в результате недоработок движка сайта . Такие проблемы есть почти у каждого сайта на CMS. Ничего страшного в этом нету, если их грамотно обработать. Бороться с дублями необходимо прежде всего для того, чтобы занимать хорошие места в поисковой выдаче. Как известно, дубли негативно влияют на траст сайта в целом, а следовательно и на его позиции.

Для борьбы с дублями существует несколько способов:

robots.txt (все про robots.txt)
301 редиректом (как сделать 301 редирект)
404 страницей (404 ошибка - как правильно настроить)

Однако есть и четвертый способ решения этой проблемы - использование атрибута rel="canonical" .

Атрибут rel="canonical" - как пользоваться

Синтаксис rel="canonical"

... ...

Этот атрибут прописывается в заголовочных тегах . На всех одинаковых страницах (дублях) нужно указать адрес главной страницы (основной). Ссылки в href="" и есть канонические ссылки.

Например, если на сайте есть одинаковые страницы

site/catalog/tovar site/catalog/tovar?sort=abc site/catalog/tovar?sort=price

Для уточнения какая из этих страниц является главной достаточно написать на каждой странице:

Тем самым показывая поисковой системе, что адрес основной страницы является - site/catalog/tovar .

Ответы на часто задаваемые вопросы

1. Стоит ли пользоваться каноническими ссылками?

Да, стоит. В рассмотренным примере, можно было пользоваться только каноническими ссылками или robots.txt. Можно совмещать эти два способа.

При использовании нужно быть осторожным, чтобы не давать роботу ложные рекомендации на тех страницах, где это делать не нужно.

2. Что будет если канонически ссылки противоречат друг другу

Это плохо, но поисковый робот тогда самостоятельно разберется, какую страницу оставить главной. Лучше не допускать таких противоречий.

3. Случаи, когда робот может проигнорировать ваши рекомендации

Из справки Яндекса:

Документ по каноническому адресу недоступен для индексирования
В качестве канонического адреса указывается URL в другом домене или поддомене
Вы указали несколько канонических адресов

4. Можно ли использовать цепочку канонических URL

Например, /stranica/123 ссылается на /stranica/12, а эта в свою очередь на /stranica/. Поисковый робот может проигнорировать такую конструкцию.

5. Как правильно выбрать канонический урл

Сложно ответить и рассмотреть все варианты в паре предложений. Дадим общие рекомендации. На мой взгляд нужно смотреть на привлекательность URL (или точнее на ЧПУ). К примеру, если есть страница /cat/2323fdfds34.html и страница /cat/rel-canonical. Очевидно, что второй адрес гораздо предпочтительней.

Если все не так очевидно, то стоит выбирать менее вложенные статьи в каталоги и менее короткие URL. К примеру /cat/podcat/podpodcat/str.html лучше заменить на /cat/str.html

И последнее: если какая-то страница уже долго время существует и хорошо ранжируется, то все новые "дубли", лучше ссылать на нее. Смена адреса путем rel canonical, конечно, не должна повлиять на позиции, но лучше не рисковать, если они и так высокие по этому запросу.

6. Можно ли ссылаться на другой домен канонической ссылкой

В атрибуте rel canonical можно использовать ссылки только внутри домена или поддоменов. Нельзя ссылаться на внешние сайты.

7. Можно ли делать rel canonical сама на себя

Да можно. Смысла в этом нету, но и плохого тоже.