Занимаясь раскруткой сайта для более быстрой индексации целесообразно расположить в корневом каталоге файл sitemap.xml

При помощи данного файла через сервисы Яндекс.Вебмастер и Центр  веб-мастеров Google можно показать поисковикам содержание вашего сайта. Во-первых, это упростит добавление страниц в поиск, а во-вторых повысит скорость попадания в поисковые системы.

Формат данного файла известен и в принципе его можно создать вручную. Но это если у вас не более десятка статичных страниц. Если же у вас динамический сайт, куда постоянно заносится новый контент или количество страниц исчисляется сотнями, то лучше воспользоваться генератором файлов sitemap.

В сети можно найти несколько программ, которые позволяют сгенерировать sitemap.xml. Мой выбор остановился на бесплатном решении GSiteCrawler. Умельцы из Германии сделали вполне добротный продукт. Существует русская локализация, что должно приятно порадовать наших людей.

Главное окно GSiteCrawler

Для новичка достаточно создать новый проект,  указав адрес сайта, который необходимо проиндексировать и какой тип файлов должен быть добавлен. Последнее имеет значимое преимущество по сравнению, например, с решением Sitemap Generator, которое умеет искать только html или php страницы, исключая графические (gif, jpеg) или текстовые файлы типа pdf или doc.

Настройка GSiteCrawler

Несмотря на то, что продукт уже давно не обновлялся (судя по всему с 2007 года), свою работу он делает хорошо.

На просторах интернета можно так же встретить различные онлайн-решения, но большинство из них ограничено добавлением 500 страниц,  что не подходит для крупных сайтов с большим содержанием контента. Плюс они сразу признаются, что не все страницы могут быть обнаружены.