За последние 24 часа нас посетили 17669 программистов и 1655 роботов. Сейчас ищут 896 программистов ...

Помогите составить robot.txt

Тема в разделе "PHP для новичков", создана пользователем star10, 22 фев 2015.

  1. star10

    star10 Новичок

    С нами с:
    10 янв 2015
    Сообщения:
    4
    Симпатии:
    0
    Здраствуйте уважаемые програмисты! Я хотел у вас попросить помочь мне, у меня доска объявлений на скрипте JBoard 3.0, доску добавил в поисковики, но много страниц не индексируются. Помогите составить правельный robot.txt? Вот мой:
    User-agent: *
    Disallow: /*ru
    Disallow: /*en
    Disallow: /*city
    Disallow: /*login
    Disallow: /*register
    Disallow: *new
    Disallow: /*search
    Disallow: /*goto
    Disallow: /*cpanel
    Disallow: /*profile
    Disallow: /*logout
    Disallow: /*print
    Disallow: /*vip
    Disallow: /*note
    Disallow: /*noteprint
    Disallow: /*contacts
    Sitemap: http://mfsseoedit.ru/upload/sitemap.xml

    Добавлено спустя 39 минут 51 секунду:
    Вот что пишет гугл: Когда мы проверили несколько URL из вашего файла Sitemap, то обнаружили, что файл robots.txt для сайта блокирует доступ к некоторым URL. Если вы не планируете заблокировать некоторые URL, содержащиеся в файле Sitemap, воспользуйтесь нашим инструментом для анализа файла robots.txt, чтобы убедиться в том, что робот Google может перейти по отправленным вами URL. Все доступные URL будут по-прежнему отправляться.

    Sitemap: mfsseoedit.ru/upload/sitemap_index.xml
    URL: /newlist.html

    Добавлено через 2 минуты
    Нужно весь переписывать блокируя только некоторые папки типа админ и др. Иначе очень много не индексируется!

    Добавлено через 10 минут
    А вот что пишет Яндекс 66 страниц исключил:
    /?op=search&query=авто
    inner
    -
    /?op=search&query=автомат
    inner
    -
    /?op=search&query=аутотренинг
    inner
    -
    /?op=search&query=бара
    inner
    -
    /?op=search&query=брюки
    inner
    -
    /?op=search&query=витрины
    inner
    -
    /?op=search&query=выключатель
    inner
    -
    /?op=search&query=гипсокартон
    inner
    -
    /?op=search&query=глазами
    inner
    -
    /?op=search&query=года
    inner
    -
    /?op=search&query=групповой
    inner
    -
    /?op=search&query=знакомства
    inner
    -
    /?op=search&query=интернете
    inner
    -
    /?op=search&query=кафе
    inner
    -
    /?op=search&query=контактор
    inner
    -
    /?op=search&query=концевой
    inner
    -
    /?op=search&query=концевык
    inner
    -
    /?op=search&query=краска
    inner
    -
    /?op=search&query=ктпв
    inner
    -
    /?op=search&query=легинсы
    inner
    -
    /?op=search&query=магазина
    inner
    -
    /?op=search&query=материал
    inner
    -
    /?op=search&query=музыкальный
    inner
    -
    /?op=search&query=настольные
    inner
    -
     
  2. rewuxiin

    rewuxiin Активный пользователь

    С нами с:
    17 апр 2012
    Сообщения:
    611
    Симпатии:
    87
    роботс нужен только для того что бы разрешить или запретить сканировать определенные разделы сайта, но он ни коим образом не посодействует поисковику в сканировании ваших страниц.
    для того что бы направить поисковики на страницы нужно помочь им хотя бы картой сайта.

    отклоненные страницы могут содержать ошибки, либо не содержать в себе важной, по мнению поисковика, информации

    на самом деле нужно быть грамотным в вопросе продвижения