Не могу создать файл sitemap 00. Создание Sitemap
Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.
Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.
Карта сайта sitemap в формате xml — а оно мне надо
Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.
Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.
На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).
Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.
Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...
На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):
Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.
Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).
Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).
Зачем вообще нужен сайт мап и файл robots.txt
Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.
Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).
Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).
Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.
Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).
А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.
Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.
Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).
В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.
Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.
Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.
Как создать Sitemap.xml самому в Joomla и Вордпрессе
Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.
Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?
Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.
Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:
А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:
Онлайн генераторы Sitemap Generator и XML Sitemaps
Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.
Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator. Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.
Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:
Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.
Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.
Удачи вам! До скорых встреч на страницах блога сайт
Вам может быть интересно
Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Как я увеличил посещаемость на сайте до 300 человек в день?
Приветствую Вас, дорогие друзья, на страницах сайт ! Сегодня я покажу, как добавить Sitemap.xml в Google и Яндекс . Напомню, что файл Sitemap – это карта сайта в формате XML для поисковиков, которая не видна посетителям блога. Она содержит список страниц сайта, которые должны быть проиндексированы поисковыми роботами, информацию о степени их важности и частоте обновления. Создание такой карты сайта помогает улучшить внутреннюю SEO оптимизацию сайта.
Как добавить карту сайта Sitemap.xml в панели для вебмастеров Яндекс и Google
Чтобы добавить файл Sitemap в Google и Яндекс, надо, прежде всего, его создать. Далее добавляем сайт в панели для вебмастеров Яндекса и Гугла и подтверждаем права на сайт. Если Вы этого еще не сделали, то ранее я писал, и .
Теперь переходим непосредственно к добавлению карты сайта в поисковики. Сообщить поисковым системам о наличии файла Sitemap можно двумя способами:
- Добавить директиву Sitemap в файл robots.txt. Подробнее об этом в статье “ “.
- Добавить файлы Sitemap в поисковики в Яндекс.Вебмастер и Инструменты для веб-мастеров Гугл.
Даже если у Вас уже прописаны пути к карте сайта в robots.txt, выполнение второго способа будет совсем не лишним.
Заходим в панель Яндекс.Вебмастер по ссылке http://webmaster.yandex.ua/ , предварительно авторизовавшись. Выбираем в списке добавленных сайтов тот, чей файл Sitemap хотим добавить в Яндекс. В левом меню “Общая информация ” выбираем пункт “Настройка индексирования ” – “Файлы Sitemap “. На открывшейся странице в специальное поле вводим полный путь к карте сайта и нажимаем кнопку “Добавить “.
Теперь карта сайта XML добавлена в поисковик Яндекс и файл Sitemap будет находиться в обработке около двух недель.
Если все сделано правильно, то через время можно будет наблюдать такую картину:
Как видите, я добавил в Яндекс два файла: Sitemap.xml и Sitemap.xml.gz. Второй – это запакованный XML-файл, сгенерированный плагином для WordPress Google XML Sitemaps. Думаю, сжатый файл Sitemap добавлять в Яндекс не обязательно, так как при нажатии на любую из кнопок “Подробнее “, можно увидеть совершенно одинаковую информацию.
Я оставил добавленными оба файла Sitemap, так как индексация блога проходит без проблем, и не вижу смысла что-то менять.
Если потребуется удалить карту сайта, нажмите на крестик напротив названия файла (см. предыдущий рисунок).
Как добавить файл Sitemap в Google
Здесь все делаем аналогично. Авторизуемся в Гугл и входим в Инструменты для вебмастеров по ссылке https://www.google.com/webmasters/tools/ . Выбираем из списка нужный сайт и в левом меню выбираем пункт “Конфигурация сайта ” – “Файлы Sitemap “. Нажимаем кнопку “Добавление/Проверка файла Sitemap “.
Появится всплывающее окно, где вводим адрес карты сайта и нажимаем “Отправить файл Sitemap “. Обратите внимание, что адрес http://сайт/ уже автоматически подставлен и надо дописать только недостающую часть.
Как видим, добавить Sitemap.xml в Google и получить информацию о нем можно быстрее, чем в Яндекс.
Точно также, при необходимости, делается проверка файла Sitemap в Гугл. Только для этого надо будет нажать кнопку “Проверить файл Sitemap ” во всплывающем окне.
Если при добавлении XML-файлов в Google возникли ошибки, удалите файлы из списка (см. рисунок выше) и попробуйте загрузить их вновь.
Добавить Sitemap.xml в Яндекс и Google надо один раз. Теперь при появлении новых статей на блоге поисковики точно не пропустят их при индексации, а сам процесс будет происходить быстрее. Карта сайта автоматически обновляется в панелях вебмастеров Яндекса и Гугла. Поэтому добавлять каждый раз новый файл Sitemap не надо.
Как видите, ничего сложного. Однако многие просто забывают добавить карту сайта XML в поисковики. Напомните им, отправив ссылки на эту статью в социальные сети (кнопочки ниже).
Use the Sitemap file to inform Yandex about the current structure of the site: specify a special directive in robots.txt or add it in Yandex.Webmaster.
With Yandex.Webmaster, you can:
Uploading Sitemap
Choose the site from the list.
Enter the file URL. For example, https://example.com/sitemap.xml .
Click the Add button.
The file is put into the processing queue. The robot will download it within two weeks. Every added file, including the ones listed in the Sitemap index file , is handled by the robot separately.
Once the file is downloaded you will see one of the statuses:
| Status | Description | Note |
|---|---|---|
| “OK” | ||
| “Redirect” | Remove the redirect and | |
| “Error” | File is formed incorrectly | inform the robot about the update |
| “Not indexed.” | Server response check |
|
| Disallow directive | Allow access to Sitemap and inform the robot about the update |
| Status | Description | Note |
|---|---|---|
| “OK” | The file is formed correctly and loaded into the robot"s database. | The date of the last download is displayed next to the file. Indexed pages appear in the search results within two weeks. |
| “Redirect” | The URL redirects to another address. | Remove the redirect and inform the robot about the update |
| “Error” | File is formed incorrectly | Click the Error link to view the details. Edit the file and inform the robot about the update |
| “Not indexed.” | When the robot tries to download the Sitemap file, the server returns HTTP status other than 200 | Check if the file is available to the robot. To do it, use the Server response check tool. Specify the full path to the file. If the file is unavailable, contact the site or the hosting server administrator. |
| The access to the file is denied in robots.txt with the Disallow directive | Allow access to Sitemap and inform the robot about the update |
Updating Sitemap
If you changed Sitemap file added to Yandex.Webmaster, there is no need to delete it and upload it again. The robot regularly checks the file for updates and errors.
To speed up the file indexing, click the icon. If you use the Sitemap index file , you can launch the processing of each file listed in it. The robot will download the data within two weeks. You can use this function up to 10 times for each host.
When you run out of all attempts, you will be able to try again 30 days after the first try. The exact date is shown in Yandex.Webmaster.
Removing Sitemap
Files added on the Sitemap files page can be removed from Yandex.Webmaster.If the Sitemap directive was added in the robots.txt file , delete it. After making changes, information about Sitemap disappears from the robot database and Yandex.Webmaster within a few weeks.
FAQ
Sitemap is displayed in the service as an excluded page with the “Invalid document format” status.
The Sitemap file (and other XML files) is displayed as excluded pages. This is, however, only for information purposes and doesn"t affect the site indexing or the Sitemap processing.
The Sitemap file can be displayed in a group of excluded pages if the robot tried to index it as a regular page, while the XML files aren"t indexed in the Yandex search engine and aren"t included in the search results.
The “Unknown tag” error occurred while processing Sitemap
The Sitemap file may contain only certain XML elements . If Yandex.Webmaster finds other elements in the file (for example, a reference to the mobile or multilingual version, image URLs), it displays the \"Unknown tag\" error. The robot ignores unsupported elements when processing Sitemap and takes into account the data from the supported elements. Therefore, you don"t need to change the Sitemap file.
If the file content is changed, the information in Yandex.Webmaster is updated within two weeks.
The Sitemap file has the “Not indexed” status.
The Sitemap file may be not indexed for several reasons:
The robot crawled the Sitemap file recently and didn"t process it yet. Wait for two weeks. If you use the Sitemap index file with multiple files, they may take longer to process than a single Sitemap file.
Карта сайта Sitemap XML
Карта сайта (Sitemap) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.
Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Это важно! В карту сайта следует включать только те страницы, которые должны быть в поисковом индексе. Документы с запрещенной к индексированию или служебной информацией не следует вносить в Sitemap. В карту сайта также не включают страницы с тегами и динамические URL-адреса.
Влияет ли Sitemap на продвижение?
Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.
С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.
Как создать сайт мап
Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.
Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата.xml.
Файл sitemap xml – доступные директивы
- Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
- Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
- Параметром loc обозначают URL адрес страницы.
- Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).
Как сообщить поисковику о карте сайта
Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:
Sitemap: http://yoursite.ru/sitemap.xml
Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.
Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».
С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.
Сделайте это за три простых шага:
Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.
Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.
Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.
Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.