Гид по созданию XML-карты сайта: приемы, советы и инструменты

Кевин Индиг (Kevin Indig)

В первые недели работы в Atlassian я старался найти удачный способ быстро завоевать репутацию и популяризировать идею SEO внутри компании, поэтому я проанализировал наш главный сайт и заметил, что он не имеет XML-карты. Вот и легкая победа!

Я отправился к разработчикам и попросил их активировать карту в CMS, но, к моему удивлению, они ответили, что это невозможно. Я был в замешательстве.

После некоторых размышлений я вспомнил, что у утилиты Screaming Frog есть функция «XML-карты», поэтому путем веб-скрейпинга загрузил ее на наш сайт. Google «проглотил» его в считанные минуты, и мы заметили увеличение трафика уже в течение нескольких последующих дней. 

Мораль этой истории заключается в том, что XML-карты сайта важны и часто недооцениваются.

В этой статье я хочу осветить следующее:

  • Что такое XML-карта и почему она необходима
  • HTML vs XML-карты
    • Разные виды XML-карт
  • Минимальные требования для XML-карт
    • Советы по XML-картам для больших сайтов
  • Примеры использования XML-карт
  • Инструменты для создания XML-карт
    • Лучшие генераторы XML-карт
    • Лучшие плагины Wordpress для карты сайта


Что такое XML-карта и почему она необходима

XML-карта – это цифровая карта, которая помогает Google определить важные страницы вашего сайта и частоту их обновления. 

На странице Help Centre Google объясняет:

«Карта сайта указывает боту, какие файлы являются важными на вашем сайте, а также предоставляет ценную информацию об этих файлах: например, когда та или иная страница была обновлена последний раз, как часто страница редактируется и есть ли альтернативные версии страницы».

Согласно мнению Гэри Илиэса (Gary Illyes), XML-карты представляют собой второй по важности источник URL для Googlebot после гиперссылок и ранее найденных URL. Этот важный факт нельзя недооценивать!

Google начал использовать XML-карты в 2005 году, а вскоре его примеру последовали и другие поисковые системы, такие как MSN или Yahoo. В настоящее время их используют не только для поиска URL. 

У каждого сайта обязательно должна быть XML-карта. Они особенно важны для:

  • Больших сайтов
  • Новых сайтов
  • Сайтов с большим количеством страниц, исключенных из меню и не имеющих ссылок на себя (orphaned pages)
  • Сайтов с большим количеством изображений и видео

В то время как файл robots.txt помогает исключить части вашего сайта из результатов поиска, XML-карты делают обратное. Они позволяют поисковым системам найти новые страницы, даже если на них не ведут ссылки с основного сайта.

Карты сайта создаются в формате XML, в котором Google легко находит новые URL. Формат XML (eXtensible Markup Language) был создан для хранения данных; он занимает мало места и понятен разным устройствам.

Легче всего проверить наличие XML-карты, посмотрев раздел «sitemaps» в Google Search Console или Bing Webmaster Tools. Большинство поисковых систем, таких как Google или Bing, ищут запись Sitemap: <sitemap_location>” в файле robots.txt на вашем сайте. Другой вариант – пропинговать ваш сайт промо в Google, Baidu, Bing или Yandex.

Поиск карты сайта в Google Search Console: 1) Меню sitemaps 2) Добавление новых карт сайта (sitemap paths) 3) Обнаруженные карты сайта.

HTML vs XML-карты

Существуют два вида карт сайта: HTML и XML. В чем же разница?

1) Доступность формата пользователям

HTML очевидно отличается от XML. Больше того, если карты сайта HTML доступны всем пользователям, то XML-карты – это фиды для поисковых систем.

Хотя HTML-карты сайта также создаются для поисковиков, они могут быть полезны и пользователям – в отличие от XML-карт.

2) Они служат одной цели, но разными способами

Оба формата помогают поисковым системам найти новые URL – страницы, видео или изображения.

XML-карты включаются в custom feeds, с помощью которых поисковики определяют приоритет URL, как часто они изменяются и какие новые URL были добавлены на сайт. Эта информация позволяет планировщикам поисковых систем оценить, как часто нужно краулить тот или иной URL.

HTML-карты также помогают поисковикам обнаружить новые URL, но через обнаружение ссылок, по которым они переходят. Это значит, что HTML-карты могут быть эффективны при поиске, если их краулят и если по ссылкам можно перейти. Это можно понять, взглянув на лог-файлы вашего сайта.

3) У них разные косвенные преимущества

XML-карты имеют такие мета-аттрибуты, как <changefreq> или r <lastmod>, показывающие изменение статуса URL. У них также могут быть расширения для видео, изображений или новостей.

Помимо навигационной функции для пользователей, HTML-карты используются сейчас в основном для распределения PageRank по всему сайту. Так как в футере сайта часто есть ссылка на его HTML-карту; то есть на нее есть ссылка с любой страницы сайта, что позволяет распределить PageRank и на страницы с более слабой внутренней линковкой.

Разные виды XML-карт

Хотя XML-карты существуют в RSS, mRSS, Atom1.0 или текстовом форматах, тип карты соотносится с ее содержанием. 

  • Новости
  • Видео
  • Изображения

Как будет показано далее, вы можете создавать карты сайта, содержащие только один медиа-тип или встраивать их в вашу основную XML-карту.

Минимальные требования для XML-карт

Чтобы XML-карта вашего сайта работала оптимально, она должна соответствовать стандартам, а именно:

Содержать только канонические URL с кодом состояния 200

  • Включать до 200К ссылок на одну карту и до 50К ссылок на индекс карты сайта (per index sitemap).
  • Быть прописанной в файл robots.txt
  • Кодироваться в UTF-8
  • Быть сжатой в формате .gz
  • Либо весить не более 50 мб, либо содержать 50 000 URL 

Тем не менее, если вы хотите извлечь максимум пользы из XML-карт сайта, вы можете уведомить бот Google, какая информация важна, включив только самые значимые регулярно обновляемые страницы.

Большинство платформ CMS имеют функцию автоматического обновления карт сайта при создании нового URL или обновления существующей страницы. Частота обновления самой карты сайта и тэг <lastmod> будут сигналом обновленного статуса. 

Представьте, что ваша XML-карта – это туристическая карта города, где городом является ваш сайт, а туристом Google. Вам нужно включить в его маршрут только важные здания, а не каждый адрес, именно поэтому в карту сайта не следует включать второстепенные страницы, такие как «Политика конфиденциальности» или «О нас». Хотя их следует проиндексировать, нет необходимости в регулярном краулинге, когда речь идет о продвижении сайта.

Советы по XML-картам для больших сайтов

Помимо стандартных требований в XML-картам существуют и другие условия, которые выведут ваш сайт на другой уровень.

Большим сайтам, например, новостным агентствам, следует пользоваться файлами индекса Sitemap, которые должны содержать до 50 000 обычных карт сайта и весить не более 50мб. Они похожи на «материнские» XML-карты, которые содержат в себе множество более мелких карт. Большие сайты не помещаются в одну карту, поэтому им нужны индекс-карты. В любом случае не стоит пытаться уместить огромный объем в одну карту, если можно воспользоваться индексом.

Вы можете извлечь максимум выгоды из этих карт, если структурируете их по типам или темам. На деле вы создаете специальные XML-карты для подкаталогов и шаблонов страниц, помогающие понять технические проблемы или проблемы индексации вашего сайта.

Существуют специализированные XML-карты для определенных целей. Сайты, нагруженные медиа-контентом (скажем, Pinterest или YouTube), выиграют от использования карт сайта для изображений или видео, а паблишеры – новостных карт.

Карты сайта для изображений увеличивают шансы вашего сайта в Google поиске по изображениям. Если у вас нет отдельной карты сайта для изображений, вы можете использовать расширения в вашей общей карте.

Так выглядят расширения в карте сайта для изображений (спецификации XML)

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

<url>

<loc>http://example.com/sample.html</loc>

<image:image>

<image:loc>http://example.com/image.jpg</image:loc>

</image:image>

<image:image>

<image:loc>http://example.com/photo.jpg</image:loc>

</image:image>

</url>

</urlset>

Карты сайта для видео работают по тому же принципу: создайте отдельную карту для видео или добавьте расширения в основную карту:

<url>

<loc>https://example.com/mypage</loc>

<video> ... information about video 1 ... </video>

</url>

Тем не менее нужно быть осторожным, добавляя мета-данные в карты сайта для видео или расширения.

Google указывает, что он «может выбрать текст на целевой странице видео, а не текст, который вы добавили в карту сайта, если этот текст будет опознан как более полезный, чем информация в карте сайта». Здесь говорится о тексте описания видео. Помимо этого Google может выбрать миниатюру, длину видео, рейтинг, family-friendliness и др (полный список мета-данных, используемых в XML-картах сайта для видео). Этот нюанс важно учесть в работе с сайтами, активно использующими видео, но для других сайтов не обязательно.

Отдельные карты сайта для новостей отличаются тем, что являются абсолютной необходимостью. Google не рекомендует (и не предлагает) использовать расширения в этом случае. Карты сайта для новостей помогают Google обнаруживать и ранжировать новые статьи, что особенно трудно из-за обилия контента в этой сфере. Хотя Google заявляет, что паблишеры, имеющие карту сайта для новостей, не пользуются особыми привилегиями, все же она помогает попасть в рейтинг Google News быстрее.

Карты сайта для новостей имеют дополнительные условия. Они должны:

  • Содержать статьи не старше 2 дней
  • Не делать более 1000 новых добавлений к существующей карте за один раз
  • Обновлять существующие карты при апдейтах статей

Вы также можете использовать XML-карты сайта, чтобы определять и выделять определенные мета-данные для Google. Например, вы можете добавить hreflang как расширение к карте сайта (полное руководство):

<url>

<loc>http://www.example.com/english/page.html</loc>

<xhtml:link rel="alternate" hreflang="de" href="http://www.example.com/deutsch/page.html"/>

<xhtml:link rel="alternate" hreflang="de-ch" href="http://www.example.com/schweiz-deutsch/page.html"/>

<xhtml:link rel="alternate" hreflang="en" href="http://www.example.com/english/page.html"/>

</url>

Google игнорирует атрибут Приоритет в XML-картах, но обращает внимание на <lastmod>, как утверждает Джон Мюллер (John Mueller). Google сам расставляет приоритет ваших страниц по популярности и авторитетности. Тэг <lastmod>, указывающий на дату последнего изменения страницы, интересует Google в первую очередь.

Из Твиттера:

Murat Yatagan: Не нужно расставлять приоритет файлов в карте сайта. А как насчет частоты и <lastmod>?

John: Мы игнорирует приоритеты в картах сайта.

John: Все, что нам нужно для веб-поиска – это URL и дата последнего обновления

По рекомендации Джона Мюллера вам не нужно добавлять XML-карту сайта для URL ускоренных мобильных страниц (AMP).

Из Твиттера:

Kevin Fowler: Нужны ли XML-карты для AMP-страниц, как для канонических сайтов, или для индексации достаточно ссылки =rel?

John: Нет, карты сайта для AMP-страниц не нужны, ссылки rel=amphtml будет достаточно.

Примеры использования XML-карт

В компании Atlassian мы успешно решили проблему отсутствующей XML-карты сайта, воспользовавшись услугами стороннего поставщика. Несмотря на то, что это текстовый формат, а не формат XML, утилита функционирует.

Веб-ресурс New York Times указывает расположение карты сайта в файле robots.txt и разделяет форматы XML-карты для видео и новостей. Более того, он использует отдельные XML-карты для других категорий, таких как «Кулинария» и «Выборы».

Хорошая идея для паблишеров – создать отдельные XML-карты и для актуальных событий, что даст понимание того, как часто Google проверяет (picks up) контент и есть ли проблемы при индексации.

Компания Walmart также разбивает XML-карты своего сайта по категориям, что имеет большой смысл для интернет-магазина. У этого сайта даже есть XML мастер-карты для тем и категорий. 

Как вы можете видеть из скриншота ниже, разбивка по темам позволяет увидеть, как Google индексирует разные разделы сайта Walmart, такие как мода и развлечения.

Если вы владеете сайтом, на котором есть разбивка по темам и\или категориям, вам рекомендуется создать отдельную XML-карту сайта для каждой из них. Нет никаких противопоказаний к тому, чтобы включать один и тот же URL в разные карты одного сайта.

Совет от Semrush: Используя Semrush Site Audit Tool, вы сможете проанализировать любой вебсайт и проверить его на 4 параметра, связанных с XML-картами. Этот инструмент сначала проверит, есть у сайта XML-карта, затем определит наличие на ней ошибок форматирования, некорректных страниц, а также другие аспекты, влияющие на ясность вашей карты сайта.

Инструменты для создания XML-карт

Большинство систем управления контентом имеют встроенные функции, которые позволяют автоматически создать XML-карту сайта. Если используемый вами ресурс не предоставляет такой возможности, вам понадобятся сторонние сервисы.

Лучшие генераторы XML-карт

В таблице ниже моя личная подборка генераторов XML-карт.

Название

Цена

Лимит

Характеристики

Бесплатный пробный период

Slickplan

$8.99/мес

n/a

  • Drag and drop редактор

  • Включены виды пользовательских страниц

  • Импорт текстовых файлов

  • Клонирование

  • Пакетное редактирование

  • Гибкие пользовательские настройки

  • Права \разрешения пользователя

  • Фирменная символика

30 дней

Dynomapper

$40/мес

200K URLs per crawl

  • Отслеживает URLs в картах сайта с помощью Google Analytics

  • Гибкие пользовательские настройки

  • Включены виды пользовательских страниц

  • Координация потока задач

  • Тэгирование URL

  • Фильтрация компонентов карты сайта

  • Права \разрешения пользователя

  • Фирменная символика

14 дней

Writemaps

$14.99/мес

n/a

  • Возможность настройки под пользователя

  • Группы пользователей

  • Drag and drop редактор

3 бесплатных карты сайта

Screaming Frog

до 500 URL бесплатно

£149.00/год

n/a

  • Не подходит для XML карт, но помогает обойти технические ограничения

нет

Powermapper

$49/мес

15K pages

  • Не подходит для XML карт, но может экспортировать фиды в формат XML

30 дней

XML Sitemaps

$4.99 за 1K стр.

$189.99 за 1.5мл стр

1,5m pages

  • Карты сайтов для видео и изображений

  • Уведомления электронной почты

  • Мобильное приложение

  • Определяет неработающие ссылки

500 стр. бесплатно

Лучшие плагины Wordpress для карты сайта

Название

Цена

Лимит

Характеристики

Рейтинг

Simple Wp Sitemap

бесплатно

n/a

  • HTML и XML карты сайта

  • Динамические карты сайта

4.4/5

33 отзыва

Google Sitemap by BestWebSoft

бесплатно

n/a

  • Поддержка Hreflang

  • Возможность настройки под пользователя

4.3/5

112 отзывов

Google XML Sitemaps

бесплатно

n/a

  • Динамические карты сайта

  • Возможность настройки под пользователя

4.9/5

2090 отзывов

Yoast SEO

бесплатно (доступна премиум-версия)

n/a

  • Обычные и динамические карты сайта

4.9/5

26,745 отзывов

WordPress XML Sitemap Plugin

бесплатно

n/a

  • Гибкие пользовательские настройки

n/a

All in One SEO Pack

бесплатно

n/a

  • Обычные и динамические карты сайта

4.4/5

449 отзывов

XML Sitemap & Google News

бесплатно

n/a

  • Обычные и динамические карты сайта

  • Возможность настройки под пользователя

  • Автоматическое обновление

4.4/5

59 отзывов

Пользуетесь ли вы другими приемами и инструментами для создания XML-карт? Поделитесь в комментариях. 

Ольга Мамаева (Olga V. Mamaeva)

Перевод статьи
mamaeva.ov@gmail.com