Здраствуйте уважаемые програмисты! Я хотел у вас попросить помочь мне, у меня доска объявлений на скрипте JBoard 3.0, доску добавил в поисковики, но много страниц не индексируются. Помогите составить правельный robot.txt? Вот мой: User-agent: * Disallow: /*ru Disallow: /*en Disallow: /*city Disallow: /*login Disallow: /*register Disallow: *new Disallow: /*search Disallow: /*goto Disallow: /*cpanel Disallow: /*profile Disallow: /*logout Disallow: /*print Disallow: /*vip Disallow: /*note Disallow: /*noteprint Disallow: /*contacts Sitemap: http://mfsseoedit.ru/upload/sitemap.xml Добавлено спустя 39 минут 51 секунду: Вот что пишет гугл: Когда мы проверили несколько URL из вашего файла Sitemap, то обнаружили, что файл robots.txt для сайта блокирует доступ к некоторым URL. Если вы не планируете заблокировать некоторые URL, содержащиеся в файле Sitemap, воспользуйтесь нашим инструментом для анализа файла robots.txt, чтобы убедиться в том, что робот Google может перейти по отправленным вами URL. Все доступные URL будут по-прежнему отправляться. Sitemap: mfsseoedit.ru/upload/sitemap_index.xml URL: /newlist.html Добавлено через 2 минуты Нужно весь переписывать блокируя только некоторые папки типа админ и др. Иначе очень много не индексируется! Добавлено через 10 минут А вот что пишет Яндекс 66 страниц исключил: /?op=search&query=авто inner - /?op=search&query=автомат inner - /?op=search&query=аутотренинг inner - /?op=search&query=бара inner - /?op=search&query=брюки inner - /?op=search&query=витрины inner - /?op=search&query=выключатель inner - /?op=search&query=гипсокартон inner - /?op=search&query=глазами inner - /?op=search&query=года inner - /?op=search&query=групповой inner - /?op=search&query=знакомства inner - /?op=search&query=интернете inner - /?op=search&query=кафе inner - /?op=search&query=контактор inner - /?op=search&query=концевой inner - /?op=search&query=концевык inner - /?op=search&query=краска inner - /?op=search&query=ктпв inner - /?op=search&query=легинсы inner - /?op=search&query=магазина inner - /?op=search&query=материал inner - /?op=search&query=музыкальный inner - /?op=search&query=настольные inner -
роботс нужен только для того что бы разрешить или запретить сканировать определенные разделы сайта, но он ни коим образом не посодействует поисковику в сканировании ваших страниц. для того что бы направить поисковики на страницы нужно помочь им хотя бы картой сайта. отклоненные страницы могут содержать ошибки, либо не содержать в себе важной, по мнению поисковика, информации на самом деле нужно быть грамотным в вопросе продвижения