Tag: robots.txt
Robots.txt – 2
Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить: User-agent: * Что значит: для всех роботов. Эта команда совместима с www.robotstxt.org. Проверить свой robots.txt
Robots.txt и sitemap.xml для WordPress блога
Только сейчас сделал robots.txt и sitemap.xml для сайта. Че-то robots.txt в дистрибутив WordPress не включен, хотя стоило бы. Хотя думаю есть плагины соответствующие. У меня получился такой текст: # BEGIN XML-SITEMAP-PLUGIN – Плагин генератор карты сайта для поисковиков. Sitemap: http://makermoney.org.ua/sitemap.xml.gz


