Чтобы помочь поисковым роботам верно проиндексировать ваш сайт, нужно сгенерировать карту сайта. Она особенна полезна для крупных сайтов. С ней в индекс могут попасть потенциально востребованные страницы, которые не успели обнаружить поисковые системы.
Карта сайта в 2 словах
Ссылку на карту сайта указывается в файле robots.txt следующей директивой:
Sitemap: https://example.com/sitemap.xml
В общем виде формат файла выглядит так:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com</loc>
<priority>1.00</priority>
<changefreq>weekly</changefreq>
</url>
...
</urlset>
Рекомендации по настройке карты сайта
Тег <priority> указывает важность страницы. Они будут обработаны поисковыми системами в первую очередь. Поисковые системы постоянно экспериментируют с выдачей, ротируя страницы в результатах поиска. Можно сказать, что они стараются найти зрителей для ваших страниц. Количество таких экспериментов ограничено. Указывая высокий приоритет, вы как бы говорите поисковой системе: “Приятель, по моим подсчётам для этой страницы будет проще найти зрителей, удели сначала время ей, а не другим страницам”.
Тег <priority> может принимать значение от 0.0 до 1.0. Хорошо подумайте, какие страницы вашего сайта содержат самый интересный и уникальный контент и укажите для них высокий приоритет. А поисковые системы будут искать для них подходящее место в поисковой выдаче.
Тег <changefreq> указывает примерную частоту обновления страницы и может принимать значения never, yearly, monthly, weekly, daily, hourly и always. Если у вас крупный сайт с десятками тысяч страниц, то с помощью этого тега можно правильно перераспределить ограниченные ресурсы поисковой системы.
Тег <loc> содержит ссылку на страницу. Протокол ссылок должен соответствовать протоколу вашего сайта. То есть если ваш сайт начинается с https, то и ссылки должны начинаться с https.
Карта сайта не должна включать ссылки, которые были закрыты от индексации в файле robots.txt.
Размер файла карты сайта не должен превышать 2 Mb. Если у вас много страниц, разбейте их на несколько файлов.