Robots.txt – 2
Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить: Читать далее
Прочтите и эти записи схожей тематики:
Robots.txt и sitemap.xml для Wordpress блога
Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив Wordpress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст:
# BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков.
Sitemap: http://makermoney.org.ua/sitemap.xml.gz # Карта, сжатая в архив для экономии траффика роботам ![]()
# END XML-SITEMAP-PLUGIN
