Пример sitemap xml для яндекса. Детальное руководство по файлу Sitemap
Добрый день, дорогие читатели!
Индексация веб-ресурсов поисковыми системами – дело сложное. Причем не только для вебмастеров, но и для самих поисковиков и их роботов. Чтобы облегчить им задачу, была придумана такая вещь, как карта сайта sitemap.xml. С ее помощью роботы смогут ориентироваться на страницах вашего проекта. Например, видеть рубрики, метки, страницы с каким-то нестандартным содержимым и прочее.
Sitemap важен как для статейников, так и для других проектов, таких как интернет-магазины, фотостоки или даже лендинги (особенно если они содержат не одну страницу). Сегодня мы поговорим о том, как эту самую карту сайта можно создать, также мы затронем тему наиболее предпочтительного варианта для WordPress.
Расскажу более подробно о том, зачем нужен Sitemap. Это файл со ссылками на страницы блога/сайта, который извещает поисковые системы об актуальной структуре ресурса.
Он может быть как статичным, так и динамичным. Первый актуален для таких же статичных необновляемых веб-ресурсов.
Такая карта сайта легко создается с помощью автоматического генератора и помещается в корневую папку ресурса. Второй вариант актуален для большей части проектов – все изменения в содержимом учитываются и автоматически заносятся в файл xml.
Далее этот фид можно добавить в Яндекс.Вебмастер и Search Console. Благодаря этому поисковые системы будут знать обо всех изменениях, которые происходят на вашем ресурсе. Будь то выход новой статьи или же простое изменение номера на странице контактов.
Естественно, в случае статичного файла, созданного с помощью генератора, вам заново придется выгружать его в корень, причем вручную. Не самый удобный вариант, но если ваш сайт написан на чистом html+css и обновляется раз в год, то это еще терпимо.
Если вы работаете с CMS, например, WordPress, то этот процесс можно максимально упростить и ускорить. С помощью плагинов вы сможете забыть о каких-то ручных манипуляциях. Нужно лишь организовать работу такого расширения, все настроить и далее направить ссылку в вышеозвученные сервисы. Все просто, никаких мучений. О том, как это сделать, мы поговорим далее.
Как создать Sitemap.xml для WordPress
Сайтмап, как я уже говорил, можно создать самыми разными способами. Вплоть до того, что написать его вручную. Но не будем на этом останавливаться, перейдем к рассмотрению более адекватных способов.
Создать карту сайта можно с помощью:
- онлайн-генератора;
- программы (тот же генератор, только не онлайн);
- плагинов;
- вручную.
Давайте поговорим обо всех этих вариантах подробнее.
Онлайн-генераторы и программы
С помощью них вы создадите именно статичный вариант sitemap.xml. Он не будет обновляться, поэтому подойдет для проектов, в которых изменения происходят не так часто. Обратите внимание на тот факт, что каждый раз для поддержания актуальности своей карты, вам придется заново заходить на сервис и генерировать ее, после заменяя старый файл новым.
Если ваш веб-ресурс обновляется каждый день, то такая вариация sitemap не выглядит слишком привлекательной. Однако при некоторых обстоятельствах вы можете позволить себе этот способ. Например, если ваш сайт представляет собой визитку или лендинг с несколькими страницами и информацией о компании.
То же касается и программ-генераторов (как правило, платных). Вы просто создаете необновляемый файл в формате xml и загружаете его на хост с помощью FTP или файлового менеджера. В теории, конечно, можно довести этот способ до ума, сделав его полуавтоматическим. Но в том нет нужды, потому как с помощью специальных расширений можно создать динамическую карту сайта и вообще забыть о таких проблемах.
Итак, примеры онлайн-сервисов для создания сайтмап:
- XML-Sitemaps (до 500 страниц),
- Free Sitemap Generator (до 5 000 страниц),
Как это работает?
То же касается и программных продуктов. Но о них я не буду здесь рассказывать, поэтому вы можете поискать информацию об этом самостоятельно.
Здесь же отмечу, что некоторые онлайн-сервисы предлагают платный вариант использования, который заключается в неограниченном количестве страниц или доведении процесса до полуавтоматизма. Карта сайта регулярно обновляется с помощью встроенных средств таких сервисов. Вам же остается настроить автозагрузку. Я считаю, что это костыль, особенно для CMS, включая ВордПресс.
Плагины
Тут-то мы и переходим к основной части этого материала. Плагины, по моему мнению, являются наиболее предпочтительным способом создания карты sitemap. Благодаря этим замечательным расширениям вам не нужно следить за актуальностью или выгружать какие-то непонятные файлы. Нужно лишь прямо в админке нажать кнопку “Установить” – и все готово.
Плагинов, с помощью которых можно это сделать, великое множество. Ниже я приведу список самых востребованных и популярных, а также вкратце расскажу о каждом из них.
Многофункциональный SEO-плагин, который ко всему прочему, имеет в себе еще и инструмент автоматического создания сайтмап. Он включен по умолчанию, поэтому сразу после установки вы получите готовую карту. Найти ее можно по адресу: site.ru/sitemap_index.xml. Что интересно, плагин создает отдельные sitemap для постов, рубрик, меток и архивов. Теоретически, поисковикам будет еще легче ориентироваться во всех этих элементах.
- All in One SEO Pack
Здесь также есть возможность создавать сайтмапы. Является аналогом предыдущего плагина и его прямым конкурентом. Как и в Yoast SEO, карта создается автоматически и постоянно поддерживается в актуальном состоянии.
- Google XML Sitemaps
А вот это уже специализированное решение для автоматической генерации sitemap.xml. Google Sitemaps позволит вам создать аккуратную карту сайта, которая будет поддерживаться почти всеми поисковыми системами.
Примечательно, что у этого плагина более миллиона установок. У большей части этих пользователей также установлены многофункциональные решения. Просто они отключают эти функции, отдавая предпочтение именно Google XML Sitemaps.
Данное расширение легко устанавливается и настраивается. Поддержка осуществляется уже на протяжении 9 лет, поэтому разработчикам точно можно доверять (жирный плюс к миллионным установкам). Однозначно рекомендую как один из самых лучших способов.
- XML Sitemap & Google News feeds
Два в одном. С помощью этого дополнения вы сможете создать не только xml-карту, но и дополнительный фид для Google News. Сейчас у плагина более 100 000 установок, поэтому вам тоже советую обратить на него внимание. Как и в случае с остальными вариациями, настройка воспроизводится легко.
- Google Sitemap by BestWebSoft
Набирающий популярность плагин с поддержкой русского языка. Все просто: устанавливаете его на свой ресурс с ВордПресс, после чего для всех ваших таксономий генерируются файлы в формате xml.
В каталоге плагинов можно найти еще огромное количество разных решений – хороших и не очень. В любом случае я рекомендую устанавливать на свой проект только проверенные продукты с хорошими отзывами и бэкграундом в виде времени или количества установок. При иных обстоятельствах вы рискуете потерпеть фиаско из-за некачественного продукта.
Также отмечу, что некоторые из представленных расширений требуют настройки. Учитывайте этот факт.
Вручную
Способ, который требует времени, знаний и терпения. Очень непрактичный, кстати говоря. В общем-то, вам придется разобраться с синтаксисом разметки xml, после чего поочередно вписать туда все данные своего портала. Даже если на вашем веб-ресурсе всего несколько десятков страниц, вам все равно придется попотеть, вписывая данные каждой в xml-документ. Чего уж говорить о сотнях и тысячах, когда вы просто сойдете с ума, если попытаетесь реализовать это руками.
Вам придется вручную прописывать все, начиная от url, и заканчивая любой картинкой, которая содержится в статье или на странице. Само собой, нужно будет следить за синтаксисом и правильностью заполнения таких данных. Если вы допустите какие-нибудь ошибки, поисковые системы просто не примут ваш файл. Будьте предельно аккуратны, выбирая этот способ. Скорее всего это целесообразно только для собственного развития и изучения xml-разметки, но не более того.
Что делать с картой дальше
Чтобы помочь поисковым системам найти карту вашего проекта, можно воспользоваться такими сервисами как Яндекс.Вебмастер и Search Console. В каждом из них существуют инструменты отправки сайтмап, а также данные обо всех ошибках, которые могли возникнуть в ходе его генерации. Нужно знать точную ссылку на карту, чтобы добавить ее. Как правило, она лежит прямо в корне. Поэтому для перехода к xml-файлу нужно лишь указать его название и формат.
Добавление в Яндекс.Вебмастер
Переходим в Вебмастер, после чего выбираем наш сайт (если их несколько). Далее идем во вкладку индексирование – Файлы Sitemap. Здесь-то мы и будем управлять файлами карт сайта для нашего проекта. Копируем адрес сайтмап в поле, после чего нажимаем “Добавить”.
После того как вы добавите файл в сервис, можно нажать на значок со стрелочками, чтобы поисковик приступил к чтению файла.
Search Console
Идем в консоль, после чего переходим в раздел Сканирование – файлы Sitemap. В остальном все то же самое. Добавляем файл и проверяем его на ошибки.
Заключение
Надеюсь, теперь вы поняли, что такое карта сайта и зачем она нужна. Как видите, в ее создании нет ничего сложного. Нужно лишь знать способы, с помощью которых можно реализовать это дело.
Каким именно образом генерировать сайтмап – дело ваше. Но должен заметить, что для WordPress наиболее предпочтительным способом являются плагины. Тем более что у большей части многофункциональных SEO-плагинов эта опция вшита, а какой-то СЕО-плагин все равно придется выбрать.
Sitemap крайне важен для поисковой оптимизации, и если вы хотите знать об этом больше, то я приглашаю вас на . В нем вы рассмотрите все аспекты SEO-оптимизации проектов.
На этом все, спасибо за внимание.
С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.
Сделайте это за три простых шага:
Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.
Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.
Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.
Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.
Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.
Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.
Карта сайта sitemap в формате xml — а оно мне надо
Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.
Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.
На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).
Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.
Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...
На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):
Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.
Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).
Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).
Зачем вообще нужен сайт мап и файл robots.txt
Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.
Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).
Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).
Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.
Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).
А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.
Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.
Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).
В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.
Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.
Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.
Как создать Sitemap.xml самому в Joomla и Вордпрессе
Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.
Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?
Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.
Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:
А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:
Онлайн генераторы Sitemap Generator и XML Sitemaps
Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.
Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator . Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.
Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:
Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.
Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Вебмастер и RuNet - кто и что это такое, а так же кому в русскоязычном интернете жить хорошо
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
XML и HTML версии карты сайта
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Положительные стороны присутствия sitemap. xml на сайте
- ускоренное индексирование недавно созданных страниц;
- стопроцентная вероятность того что поисковик отыщет необходимые страницы;
- возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
- немного увеличивается доверие к ресурсу.
Важно!
- используйте для карты сайта кодировку UTF-8 ;
- вес файла должен быть не более 10 MB и его содержание не должно быть больше 50 тысяч URL .
Как создать и добавить sitemap. xml на сайт
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
- «loc» - в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
- «lastmod» - отображается последняя дата обновления страницы указанной в первом теге;
- «changefreq» - показывает как часто будет обновляться контент (в нашем случае каждый день);
- «priority» - задает приоритетность к индексации страницы (от 0 до 1)
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Как сообщить о файле sitemap после создания Google и Яндекс
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Подведем итоги
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
Файл robots.txt
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы robots.txt
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
- * - обозначает любое кол-во символов, а так же их отсутствие;
- $ - обозначает, что символ стоящий перед знаком доллара, последний;
- # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
Файл sitemap.xml
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.