Robots.txt и sitemap.xml для WordPress блога
Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив WordPress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:
# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://makermoney.org.ua/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам 
# END XML-SITEMAP-PLUGIN
# Это типа для всех роботов, то есть то что не для них:)
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Можно еще каменты запретить индексировать, но я пока не буду, комментируйте на здоровье 
# Персонально для Яндекса:
User-agent: Yandex
Host: makermoney.org.ua # Здесь основной адрес он же основное зеркало сайта
Allow: / # “Allow – разрешить” я так понял только для яндекса действует, а по стандарту только “Disallow – запретить”.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Специально для Яндекса карта сайт в формате xml, так он требует
Sitemap: http://makermoney.org.ua/sitemap.xml
Для генерации карты сайта WordPress блога есть спецплагин – Google XML Sitemaps.
Удобная штука – генерирует sitemap.xml и сжатый sitemap.xml.gz, совместимый с sitemaps.org, автоматически обновляет (может в фоновом режиме во время написания статьи) и уведомляет Ask.com, Google, MSN Search и YAHOO об обновлении карты сайта. Позволяет настраивать что включать в карту и как часто поисковым ботам заглядывать за обновлениями
Такие вот два нужных для сайта файла.
