Robots.txt – 2

Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить: Читать далее

Прочтите и эти записи схожей тематики:

Robots.txt и sitemap.xml для Wordpress блога

Июль 3, 2008 · в рубриках: Оптимизация, Сайтостроение · 8 Комментируют 

Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив Wordpress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:

# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://makermoney.org.ua/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам :)
# END XML-SITEMAP-PLUGIN

Читать далее

Прочтите и эти записи схожей тематики:

  • Бегун

  • Партнеры