Robots.txt и sitemap.xml для Wordpress блога

Июль 3, 2008 · в рубриках: Оптимизация, Сайтостроение 

Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив Wordpress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:

# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://makermoney.org.ua/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам :)
# END XML-SITEMAP-PLUGIN

# Это типа для всех роботов, то есть то что не для них:)

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

# Можно еще каменты запретить индексировать, но я пока не буду, комментируйте на здоровье ;)
# Персонально для Яндекса:

User-agent: Yandex
Host: makermoney.org.ua # Здесь основной адрес он же основное зеркало сайта
Allow: / # “Allow – разрешить” я так понял только для яндекса действует, а по стандарту только “Disallow – запретить”.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
# Специально для Яндекса карта сайт в формате xml, так он требует :)
Sitemap: http://makermoney.org.ua/sitemap.xml

Для генерации карты сайта Wordpress блога есть спецплагин – Google XML Sitemaps.
Удобная штука – генерирует sitemap.xml и сжатый sitemap.xml.gz, совместимый с sitemaps.org, автоматически обновляет (может в фоновом режиме во время написания статьи) и уведомляет Ask.com, Google, MSN Search и YAHOO об обновлении карты сайта. Позволяет настраивать что включать в карту и как часто поисковым ботам заглядывать за обновлениями :)

Такие вот два нужных для сайта файла.

Прочтите и эти записи схожей тематики:

Тэги: , , , , , , ,

Комментарии

8 Комментируют “Robots.txt и sitemap.xml для Wordpress блога”

  1. Newbier Июль 3rd, 2008 18:29

    Познавательная статья, спасибо!

  2. Блогер Июль 4th, 2008 16:35

    Хорошо написал, но не все)

  3. gamer Июль 18th, 2008 17:34

    А как указать в robots.txt сжатый сайтмап? Который sitemap.xml.gz Как обычно
    Sitemap: http://makermoney.org.ua/sitemap.xml.gz
    или как-то ещё?

  4. Makermoney Июль 18th, 2008 23:02

    gamer, угадал ;) именно так

  5. Iali Август 5th, 2008 19:29

    о то, что нужно, а то яндекс совсем перестал индексировать

  6. Vargoaskges Ноябрь 20th, 2008 23:51

    Пост хороший удачный, помещу сайт в избранное.

  7. OutsousSokY Ноябрь 21st, 2008 14:31

    Как обычно, хозяин сайта неплохо накреативил.

  8. Foovefeeply Ноябрь 21st, 2008 21:16

    В каком-то блоге я уже читал аналогичную тематику да ладно

  • Бегун

  • Партнеры


    дорого купить установка натяжных потолков киев . Продажа мебели для дома, гарантия. Компьютерные столы. Очень выгодные предложения.