Как узнать сколько страниц проиндексировано гуглом. Быстрый способ проверить индексацию страниц в Яндексе и Google
Недавно на работе столкнулся с задачей, когда было необходимо проверить большое количество страниц на индексацию в Yandex и Google. Можно без проблем воспользоваться платными сервисами (например, Топвизор), который выдаст всю информацию в красивом виде. Либо какими-то сервисами, которые бесплатно дают проверить только 10 страниц, но страниц таких может быть очень много, а платные сервисы могут обойтись в хорошую сумму. Можно сделать это все бесплатно, но для этого нам понадобиться Кей Коллектор.
В первую очередь нам необходимо будет подготовить ссылки, так как для каждой ПС нам нужны разные команды.
Массовая проверка ссылок в Яндексе
Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:
host :zamal.info/poleznye-seo-servisy/ | url: zamal.info/poleznye-seo-servisy/
host :zamal.info/category/seo/| url :zamal.info/category/seo/
Массовая проверка ссылок в Гугле
В Гугле же будет все немного проще:
site :zamal.info/poleznye-seo-servisy/
site :zamal.info/category/seo/
Для чего эти команды?
Многие могут сказать, а почему бы просто не вбить адрес ссылки, ведь он сразу покажет либо пустой запрос, либо эту ссылку. Увы, так не прокатит. Да, в каких-то случаях это сработает. Но в иных, Яндекс легко может показать другие УРЛы, которые не связаны с тем, который вбили мы. А Кей Коллектор нам выдаст информацию о том, что страница ваша страница в индексе есть, хотя это не так.
Как так массово сделать ссылки?
Проверяем индексацию страниц через Key Collector
Собрав 2 отдельных списка (ну или один для проверки в определенном ПС), открываем Кей Коллектор. Создаем проект. Заходим в настройки – парсинг и в поле «удалять символы» и «заменять на пробельный символ символы» удаляем все, что там есть и сохраняем.
Как долго длиться процесс?
Это уже все зависит от количества проверяемых ссылок. На проверку 10к страниц у меня ушло где-то 12 часов
Настраиваем экспорт
Пока идет процесс проверки, можно сразу настроить экспорт. Заходим в настройки – экспорт. Внизу ставим галочку только над «Фраза» и «Позиция » или «Позиция [G]». После завершения процесса выгружаем все в xls файл (нажимаем на зеленую иконку слева сверху).
Смотрим результат
В итоге у нас получается таблица в две колонки, в которой указана страница и позиция.
1 – в индексе
-1 – не в индексе
Затем мы можем просто отфильтровать непроиндексированные страницы и уже отправить или на переобход страниц (если их немного), либо создать для них отдельную карту сайта и тоже отправить на переобход (добавив ее в вебмастер).
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы проконсультируем по поводу оптимальной стратегии SEO-продвижения:
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Логические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».
И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.
Я решила разобраться с этим более пристально и разложить все по полочкам.
Рассмотрим на примере Яндекса и Google.
Проблема индексирования, или что такое индексы.
Проблема индексирования постоянно волнуетвладельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!
Ну, вот, наконец, сайт начинает стабильно индексироваться.
Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».
Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно и .
Это можно легко сделать, использую .
Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.
Я тоже заметила, что после того, как я стала добавлять информацию на страницу в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.
Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.
А как же можно в таком случае определить, что статья уже проиндексирована?
Я делаю это с помощью расширения браузера Google Chrome .
Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.
Как самостоятельно добавить страницу в индекс Google.
Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать . Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.
Как говорится: и вам хорошо, и нам не плохо.
Таким способом можно добавлять до 500 страниц в месяц.
А как обстоят дела с количественными показателями индексации для сайта?
Сколько страниц в индексе поисковых систем?
Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.
Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.
Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.
Увы, на моем Вордпресс блоге соплей предостаточно.
Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…
Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.
Может, и WordPress когда-нибудь до такого дорастет.
А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.
С нетерпением жду ваших комментариев.
Какие мысли по этому поводу Вас посетили?
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Индексация сайта - это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.
Если говорить простым языком, получится приблизительно так: весь интернет - это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. находили на сайтах ключевые слова и формировали из них базу данных.
Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в поисковой системы.
Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.
Если сайт не прошел индексацию, то информация до пользователей может и не дойти.
Как индексирует сайты Гугл и Яндекс
Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:
- Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете - этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
- Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.
Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.
В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.
Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы - и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.
Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.
Индексирование сайта происходит так:
- поисковый робот находит портал и изучает его содержимое;
- полученная информация заносится в базу данных;
- примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.
Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:
- при помощи инструментов для вебмастеров - google.com/webmasters или webmaster.yandex.ru;
- при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл - site: имя сайта+домен;
- с помощью специальных автоматических сервисов.
Проверяем индексацию
Это можно сделать используя:
- операторы поисковых систем - смотрим в справке или ;
- услуги специальных сервисов, например rds бар ;
Как ускорить индексацию сайта
От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.
Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.
- Добавить сайт в поисковую систему.
- Регулярно наполнять проект уникальным и полезным контентом.
- Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
- Размещать ресурс на быстром и надежном хостинге.
- Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
- Проверить на наличие ошибок, количество ключевых слов.
- Сделать внутреннюю перелинковку (ссылки на другие страницы).
- Разместить ссылки на статьи в социальных сетях, социальных закладках.
- Создать карту сайта, можно даже две, - для посетителей и для роботов.
Как закрыть сайт от индексации
Закрыть сайт от индексации - запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.
Сделать это можно несколькими способами:
- При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:
User-agent: *
Disallow: /
- При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.
Запись для запрета индексации всего документа будет выглядеть так:
Можно создать запрет для конкретного робота:
На что влияет индексация при продвижении
Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.
Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.
Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.
Индексация - это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.
Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации - внесение информации в базу данных поисковых систем.