Собрать URL из sitemap
Получите список адресов страниц из карты сайта без повторов. Скачайте TXT или CSV для работы в таблице.
Домен или ссылка на карту сайта (XML / GZIP)
За запуск до 30 адресов, 500000 URL в результате
TXT / CSV
Как пользоваться и что получится
- Вставьте домен или ссылку на
sitemap.xml. Если адресов несколько, добавьте каждый с новой строки. - Нажмите «Собрать список URL» — индекс-карты (
<sitemapindex>) раскроются автоматически. - После завершения посмотрите, нет ли замечаний, и скачайте собранный список в TXT/CSV. На странице показаны только первые 50 адресов.
Если часть sitemap не откроется, инструмент всё равно соберёт URL из доступных карт и покажет список проблемных адресов.
«Пример формата» подставляет условные адреса example.com: замените их на свой сайт. Это не готовый тестовый сайт.
- TXT и CSV со списком уникальных URL, отсортированных по доменам.
- Превью первых 50 URL для быстрой проверки.
- Сводка по доменам, количеству sitemap и ошибкам обработки.
- Параметры, фрагменты после #, порты и Unicode в адресах результата сохраняются. Удаляются только точные повторы. Повреждённые адреса пропускаются с предупреждением.
Используйте список для проверки структуры сайта, сравнения с краулером, поиска лишних разделов и подготовки URL к дальнейшей SEO-обработке.
- Если вставляете несколько адресов, используйте одну строку на один sitemap или домен.
- Если URL слишком мало, проверьте пустые разделы, закрытые секции, поддомены и неактуальные sitemap.
- Если в результате несколько доменов, отдельно проверьте, не попали ли лишние поддомены или тестовые зеркала.
- Для больших сайтов запускайте разделы по частям: так результат проще проверить и использовать.
Лимиты и приватность
- Поддерживаются обычные карты (
<urlset>) и индекс-карты (<sitemapindex>), включая сжатые.xml.gz. - За один запуск можно передать до 30 разных доменов или адресов карт. Максимум 200 строк и 65536 символов в поле.
- Карта может содержать ссылки на другие карты: раскроем до 4 уровней вложенности. Общий предел — 1000 карт, включая исходные и найденные автоматически.
- Ограничение результата: до 500000 уникальных URL за один запуск.
- Одна карта: до 50 МБ после распаковки и до 50 000 записей. До 2000 сетевых обращений за запуск, включая поиск карт, повторы и перенаправления.
- Для скачивания принимаются публичные HTTP/HTTPS-адреса без логина и пароля, только порты 80 и 443. Доступность сайта проверяется после запуска.
- Ошибки и достигнутые пределы отмечаем в результате. Корректную часть сохраняем, неполный список не выдаём за полный.
- Если сайт очень большой, запускайте sitemap по разделам: так проще понять, где появились ошибки или лишние URL.
Пример индекс-карты:
<sitemapindex>
<sitemap><loc>https://example.com/sitemap-1.xml</loc></sitemap>
<sitemap><loc>https://example.com/sitemap-2.xml.gz</loc></sitemap>
</sitemapindex>
<sitemapindex>
<sitemap><loc>https://example.com/sitemap-1.xml</loc></sitemap>
<sitemap><loc>https://example.com/sitemap-2.xml.gz</loc></sitemap>
</sitemapindex>
- Обработка выполняется на сервере. Он обращается к указанным сайтам и к картам, найденным в robots.txt и индексах.
- Адреса запуска и результат сохраняются для просмотра задачи. Не вставляйте адреса с паролями или секретными ключами.
- Результат хранится 7 дней, затем удаляется плановой очисткой. Черновик ввода хранится в сессии вкладки браузера; кнопка «Очистить» удаляет его.