Собрать URL из sitemap

Получите список адресов страниц из карты сайта без повторов. Скачайте TXT или CSV для работы в таблице.

Домен или ссылка на карту сайта (XML / GZIP) За запуск до 30 адресов, 500000 URL в результате TXT / CSV
Один адрес на строку. Для домена найдём sitemap через robots.txt и стандартные адреса.

В список попадут только адреса из доступных карт сайта. Не проверяем, открываются ли страницы и есть ли они в поиске. Файлы и ключи доступа не нужны.

Результат хранится 7 дней.
Вставьте домен или sitemap
Как пользоваться и что получится
  1. Вставьте домен или ссылку на sitemap.xml. Если адресов несколько, добавьте каждый с новой строки.
  2. Нажмите «Собрать список URL» — индекс-карты (<sitemapindex>) раскроются автоматически.
  3. После завершения посмотрите, нет ли замечаний, и скачайте собранный список в TXT/CSV. На странице показаны только первые 50 адресов.

Если часть sitemap не откроется, инструмент всё равно соберёт URL из доступных карт и покажет список проблемных адресов.

«Пример формата» подставляет условные адреса example.com: замените их на свой сайт. Это не готовый тестовый сайт.

  • TXT и CSV со списком уникальных URL, отсортированных по доменам.
  • Превью первых 50 URL для быстрой проверки.
  • Сводка по доменам, количеству sitemap и ошибкам обработки.
  • Параметры, фрагменты после #, порты и Unicode в адресах результата сохраняются. Удаляются только точные повторы. Повреждённые адреса пропускаются с предупреждением.

Используйте список для проверки структуры сайта, сравнения с краулером, поиска лишних разделов и подготовки URL к дальнейшей SEO-обработке.

  • Если вставляете несколько адресов, используйте одну строку на один sitemap или домен.
  • Если URL слишком мало, проверьте пустые разделы, закрытые секции, поддомены и неактуальные sitemap.
  • Если в результате несколько доменов, отдельно проверьте, не попали ли лишние поддомены или тестовые зеркала.
  • Для больших сайтов запускайте разделы по частям: так результат проще проверить и использовать.
Лимиты и приватность
  • Поддерживаются обычные карты (<urlset>) и индекс-карты (<sitemapindex>), включая сжатые .xml.gz.
  • За один запуск можно передать до 30 разных доменов или адресов карт. Максимум 200 строк и 65536 символов в поле.
  • Карта может содержать ссылки на другие карты: раскроем до 4 уровней вложенности. Общий предел — 1000 карт, включая исходные и найденные автоматически.
  • Ограничение результата: до 500000 уникальных URL за один запуск.
  • Одна карта: до 50 МБ после распаковки и до 50 000 записей. До 2000 сетевых обращений за запуск, включая поиск карт, повторы и перенаправления.
  • Для скачивания принимаются публичные HTTP/HTTPS-адреса без логина и пароля, только порты 80 и 443. Доступность сайта проверяется после запуска.
  • Ошибки и достигнутые пределы отмечаем в результате. Корректную часть сохраняем, неполный список не выдаём за полный.
  • Если сайт очень большой, запускайте sitemap по разделам: так проще понять, где появились ошибки или лишние URL.
Пример индекс-карты:
<sitemapindex>
  <sitemap><loc>https://example.com/sitemap-1.xml</loc></sitemap>
  <sitemap><loc>https://example.com/sitemap-2.xml.gz</loc></sitemap>
</sitemapindex>
  • Обработка выполняется на сервере. Он обращается к указанным сайтам и к картам, найденным в robots.txt и индексах.
  • Адреса запуска и результат сохраняются для просмотра задачи. Не вставляйте адреса с паролями или секретными ключами.
  • Результат хранится 7 дней, затем удаляется плановой очисткой. Черновик ввода хранится в сессии вкладки браузера; кнопка «Очистить» удаляет его.