Генераторы для создания xml файла sitemap любых сайтов
Monday, 18 May 09 в 19:08
В комментариях к прошлому посту про создание XML Sitemap для Wordpress блога появились несколько ссылок на сторонние инструменты для реализации данной задачи. Оно то и понятно – ведь не у всех есть сайты именно на движке Wordpress, а sitemap – вещь необходимая. Я уже немного рассказывал общей информации о карте сайта до этого, поэтому читайте прошлую запись. В принципе, спецификация ее построения стандартная, поэтом вы можете даже самостоятельно сконструировать карту сайта для своего сайта, хотя сейчас в этом нет особой необходимости ибо существует много программ и сервисов. Перед тем как перейти к их описанию, хочу заметить, что уже рассказывал о создании Sitemap для Blogger блога – статья пригодится всем, кто использует этот движок.
В процессе поиска софта для создания XML Sitemap нашел 2 онлайн сервиса:

Вводите адрес своего проекта в желтое поле и нажимаете Submit. После этого код карты сайта будет размещен в текстовом блоке ниже, который нужно скопировать и вставить в блокнот. Далее сохраняем файл под названием sitemap.xml. Вот и все. Следует также заметить, что за дополнительную плату в $3 вы получите ряд экстра опций, как например: загрузку файлов sitemap на сервер, быстрое их обновление, мониторинг PR страниц. Всего в учетной записи будут возможность управлять до 50-ти файлов. Разовое формирование sitemap бесплатное – причем файл может содержать до 2000 ссылок.
Еще один инструмент для формирования XML файла Sitemap.

Здесь кроме ссылки на сайте требуется указать некоторые параметры для файла – частота обновления, дату последнего изменения, а также приоритет страниц (там есть механизм для его автоматического определения). Далее нажимаете кнопку Start и ожидаете окончание процесса. Параллельно на экране будет отображаться информация о том, сколько страниц просканировано и осталось, требуемое количество времени и т.п. Следует сказать, что все это длится не так быстро, как с первым сервисом. После завершения работы вы сможете скачать Sitemap в форматам XML (обычный и сжатый вариант), ROR, HTML и текстовом. Хотя, в принципе, здесь также есть поле, откуда можно скопировать весь код карты сайта. Кстати, система определяет битые линки.
В бесплатной версии программы можно добавить в карту сайта только 500 страниц. Насколько я помню, Google все равно за 1 раз не «скушает» больше этого числа, кроме того, карта сайта поможет поисковикам быстрее разобраться со структурой нового сайта, а дальше они сами уже будут углубляться в подуровни. Платная версия содержит ряд дополнительных функций (больше 10-ти) и обойдется вам в $20. Хотя мне лично пока хватает и бесплатных возможностей:)
Карту сайта нужно заливать в корневую директорию – некоторые сервисы, по моему, могут определять ее наличие автоматически как, например, происходит с иконками favicon. Тем не менее, дабы не ждать пока поисковики соизволят посетить ваш сайт, вы можете самостоятельно рассказать им о sitemap. Для этого заходим в сервисы Webmaster tools от Яндекса и Google и в соответствующих разделах указываем путь к нашей карте сайта.

Еще один метод определения Sitemap – специальное упоминание о нем в файле robots.txt. Можно использовать следующий код (см. последнюю строку):
User-agent: * Disallow: /wp-admin .... Disallow: /tag Sitemap: http://имя_сайта.com/sitemap.xml
Если есть какие-то вопросы – задавайте в комментариях. Повторюсь, что с недавних использую Sitemap для всех новых проектов как обязательный пункт в их создании и настройке. В принципе, рекомендовал бы вам поступать также. Особенно это хорошо для больших сайтов с запутанной структурой – партнерских каталогов, например.
P.S. Тут недавно опубликовали обзор эффективности постовых в блогах – оказывается в Tod’s Blog это делать весьма выгодно:)
Большая биржа контента – рерайтинг, копирайтинг, перевод и готовые статьи. Зацените!
Новая система для заработка в блогах – зарегистрируйся первым!
Покер в Нижнем Новгороде – для азартных людей.

Xml Sitemaps использовал чтобы генерить карту для народовского сайта )
Ещё есть бесплатная десктопная программа GSiteCrawler – пользуюсь, работает
defs, спасибо, интересная штука – там нет никаких ограничений на количество страниц и т.п.?
К сожалению, онлайновые сервисы не позволяют работать с большими сайтами из 10 000 и более страниц. На них корректно не сработал еще ни один онлайн-сервис по генерации sitemap.
Точно также и GSiteCrawle. Правда он начинает жутко долго работать с сайтами из 100 000 страниц. Поэтому и от него мы тоже отказались. Работаем же с cеhверными скриптами, которые автоматически парсят сайт и генерируют sitemap со всеми урлами. Их минус в том, что требуют настройки и далеко не каждый вебмастер сможет корректно корректно сконфигурировать скрипт.
Для больших сайтов надо лучше писать свои sitemap- парсеры. Покрайне мере сразу понятно какие ссылки нужны, а какие нет.
А можете указать названия скриптов парсеров сайта? Спасибо про программу GSiteCrawler – думаю пока буду пользоваться ей.
Спасибо! Использовал xml-sitemaps.com, все получилось!