Robots.txt и sitemap.xml для Wordpress блога

Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив Wordpress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:

# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://makermoney.org.ua/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам
# END XML-SITEMAP-PLUGIN

# Это типа для всех роботов, то есть то что не для них:)

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

# Можно еще каменты запретить индексировать, но я пока не буду, комментируйте на здоровье
# Персонально для Яндекса:

User-agent: Yandex
Host: makermoney.org.ua # Здесь основной адрес он же основное зеркало сайта
Allow: / # “Allow – разрешить” я так понял только для яндекса действует, а по стандарту только “Disallow – запретить”.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Специально для Яндекса карта сайт в формате xml, так он требует
Sitemap: http://makermoney.org.ua/sitemap.xml

Для генерации карты сайта Wordpress блога есть спецплагин – Google XML Sitemaps.
Удобная штука – генерирует sitemap.xml и сжатый sitemap.xml.gz, совместимый с sitemaps.org, автоматически обновляет (может в фоновом режиме во время написания статьи) и уведомляет Ask.com, Google, MSN Search и YAHOO об обновлении карты сайта. Позволяет настраивать что включать в карту и как часто поисковым ботам заглядывать за обновлениями

Такие вот два нужных для сайта файла.

Прочтите и эти записи схожей тематики:

• Привет мир! (8)
• Как сделать карту сайта (6)
• Этапы развития блога (0)
• Новая тема оформления (7)
• Как оптимизировать сайт внутренней перелинковкой (1)

Comments

Партнеры