Robots.txt – 2
Апдейт этого поста о файле robots.txt. Перед блоком disallow запрещающих индексацию страниц не для индексации (служебных, комментарии, rss, чтобы не было склейки) нужно было поставить:
User-agent: *
Что значит: для всех роботов. Эта команда совместима с www.robotstxt.org. Проверить свой robots.txt можно здесь: Robots.txt syntax checker.
Мой правда недоступен. Ниче, проверил на чужих, как эта система работает.
Нашел у некоторых такой прикол:
User-agent: * Disallow:
Что свидетельствует, о том что robots.txt не заполняли. Строка “Disallow:” некорректна, так как не указано что именно не индексировать, нужен хотя бы / – слэш, чтобы ничего не индексировать:) или какую-именно папку. То есть просто “Disallow:” ничего не дает, ни запрета, ни разрешения. Такие дела.
На Ваш сайт знакомый в аську ссылку кинул. Оказалось ,что не зря
Понравилось. Тепрь постоянно читать буду 
Привет! А можно ли ссылками с вами обменяться?