Лежит у меня на сайте robots.txt с таким содержанием: User-Agent: * Disallow: /forum/print.php Disallow: /servers/players.php Host: www.site.ru Вот те 2 файла хочу чтоб не индексировал, так как там а) версия для печати форума, б) кусок фрейма Яндекс все четко понял о чем его "просят" в robots.txt, но гугл не хочет и индексирует все подряд. Команды в robots.txt добавил не так давно (2 недели назад), до этого было по-другому написано для каждого поисковика, но эффект тот же самый.
Gromo ну это ж не дело. в результатах вижу один мусор, а то что нужно - его нет. У яндекса наоборот - инфа по серверам и игрокам, как и задумывалось.
http://www.google.ru/search?hl=ru&lr=la ... =&gs_rfai= http://www.google.com/support/forum/p/w ... 8f7e&hl=ru особенно последний пост на этой странице
Gromo Меня PR пока мало колеблет)) Про теги то я в курсе давно. Но както криво выходит - файл для робота, а он сцук0 его игнорирует
Апельсин ну, вообще-то я имел в виду поставить rel="nofollow" ко всем ссылкам, которые ведут на /forum/print.php вроде даст инструкцию боту не индексировать далее по данным ссылкам, вкупе с robots.txt данные ссылки в базу поисковика не пойдут. но точно в этом увренности нет