Карта сайта Sitemap

Карта сайта (далее sitemap) – файл или страница на сайте, который служит своего рода реестром контента (в виде ссылок на страницы или медийный контент) и помогают поисковым системам лучше его индексировать.

Ходит много споров на счет того, надо создавать карту сайта или нет, есть ли её влияние на ранжирование или индексацию или нет.

Мы придерживаемся мнения, что если в справке Google и панели вебмастера есть отдельный раздел про Sitemap, то лучше это делать чем нет.

Доступные форматы

Sitemap обычно создают в двух форматах:

1. Xml – применяется наиболее часто и позволяет указывать дополнительные параметры обхода такие как: приоритет страниц, указывать дату последнего изменения страницы и т.д.

Файл Sitemap.xml может быть реализован как:

• файл sitemap.xml – если у вас менее 50 000 URL для генерации или размер файла не превышает 50 Мб;
• файл индекса sitemap.xml – если у вас более 50 00 URL для генерации или размер файла превышает 50 Мб. В нем указываются ссылки на несколько файлов sitemap.

Файлы sitemap.xml также можно создать отдельные для отслеживания индексации отдельных разделов сайта.

Случай из практики

На небольшом сайте мы создали:

• для основных страниц (главная, услуги и др.) файл sitemap.xml и поместили его в корень сайта;
• дополнительный файл sitemap.xml для блоговых статей и поместили его в корень блога /blog/

Затем добавили в Google Search Console сайт как два: основной домен и домен/blog/ и для удобства отслеживали индексацию блога отдельно от основных страниц сайта:

2. Html карта сайта – менее распространенный формат. Как и RSS использовался давно и сейчас практически не применяется. Такой формат служил больше не для поисковых систем, а для удобства навигации пользователя. Т.к. в случае если у вас >50 000 URL адресов, навигация для пользователя по ним будет затруднена.

Как правильно составить Sitemap

Обязательно:

• В начале открывается тегом <urlset> и в конце закрывается </urlset>;
• Далее в теге <urlset> указывается стандарт протокола;
• И последующие все записи помещаются в тег <url>, для каждой новой записи – новый.

Пример:


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/</loc>
</url>
</urlset>

Необязательно, но желательно указывать дополнительные теги, такие как:

• <lastmod> – Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.
• <changefreq> – Вероятная частота изменения этой страницы. Необходимо установить значения:
  daily – для главной страницы;
  weekly– для основных трафикогенерирующих страниц (например категорий, подкатегорий);
  monthly – для страниц товаров, новостей и остальных страниц.
• <priority> – Допустимый диапазон значений — от 0,0 до 1,0. Необходимо установить значения:
  0,9 – для главной страницы
  0,8 – для основных трафикогенерирующих страниц
  0,5 – для остальных страниц

Пример:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>


Все доступные атрибуты для добавления можно посмотреть на сайте: https://www.sitemaps.org

Общие рекомендации по составлению Sitemap:

• Если страница не должна индексироваться (указано в robots.txt, на странице есть тег <noindex> или <rel=canonical>) то её не должно быть в карте сайта. В карте сайта должны быть только страницы открытые к индексу и только те страницы, которые должны быть в индексе – технические дубли, которые по каким-то причинам вы не можете закрыть от индекса не должны быть в карте сайта.
• Делайте карту сайта динамической. Необходима возможность генерировать (добавлять или удалять) содержимое из карты сайта по мере добавления новых страниц по статусу “активный”, т.е. если категория/товар/страница на сайте отрабатывает – то она автоматом должна быть в карте сайта.
• Используйте один и тот же синтаксис при указании URL:

– символы только нижнего регистра;
– обязательно url в одном протоколе (если вы уже перешли на https, то не забудьте изменить адреса в карте сайта на https);
– в формате выбранного главного зеркала сайта (с www или без);
– слеш в конце – если вы определили генерацию URL без слешей в конце, то в карте сайта они должны быть также без слешей.

• Уровни вложенности – генерируйте sitemap в порядке распределения в структуре. К примеру записи URL должны быть в порядке:

– Главная
– Категории первого уровня
– Подкатегории
– Страницы фильтра и теговые страницы
– Страницы блога
– Остальные страницы верхнего и нижнего меню (контакты, о проекте и т.д.)

• Размещение – рекомендуем размещать карту сайта в корне сайта, чтобы она была доступна по адресу: example.com/sitemap.xml
• Информация в robots.txt – после создания правильной карты сайта необходимо прописать адрес карты сайта в файле robots.txt в формате:


Sitemap: https://site/sitemap.xml

где sitemap.xml – название файла карты сайта.

Как сделать файл индекса Sitemap

Если вам необходимо сделать несколько файлов sitemap, то применяется файл индекса в котором они должны быть перечислены.

Обязательно

• Начинается с тега <sitemapindex> и закрывается </sitemapindex>
• Запись добавляется в тег <sitemap> для каждого файла Sitemap как родительский XML-тег
• Ссылка на карту сайта добавляется в дочерний тег <loc>

Пример правильного файла индекса sitemap:

Важный момент: файлы sitemap, которые прописаны в файле индекса должны располагаться на том же сайте, что и файл индекса. Если разместить файлы sitemap на другом домене или даже поддомене – то обработка файла индекса будет с ошибкой.

Пример неправильного файла индекса sitemap:

Где и как проверить Sitemap

Вы убедились, что файл sitemap или файл индекса sitemap сгенерированы правильно, в нем находятся все нужны и отсутствуют все ненужные для индексации URL, прописали в файле robots.txt путь к карте сайта.

Теперь необходимо проверить sitemap, или другими словами посмотреть на sitemap как поисковая система.

Для этого, как уже писали выше, в search console есть раздел “Файлы Sitemap”, где нужно указать адрес карты сайта:

И затем в разделе “Индексирование отправленных URL” будет доступна вся информация для анализа:

Что нужно анализировать:

1. Все сообщения в разделе “Сведения”, там не должно быть ошибок:

2. Индексацию сайта в целом – сравниваем сколько было отправлено, сколько проиндексировано.

3. Выявляем проблемные страницы, которые плохо индексируются – составляем список и работаем над улучшением индексирования этих страниц.

Если карта сайта составлена по указанным выше рекомендация, то ошибок в ней быть не должно и результат будет таким: