За последние 24 часа нас посетил 17951 программист и 1680 роботов. Сейчас ищут 1919 программистов ...

robots.txt

Тема в разделе "Настройка веб-сервера", создана пользователем userr2, 4 фев 2015.

  1. userr2

    userr2 Новичок

    С нами с:
    3 фев 2015
    Сообщения:
    3
    Симпатии:
    0
    Как правильно прописать "robots.txt"?

    User-agent: * типо всех роботов разрешать
    Disallow: часто нахожу в примерах так, то есть блокируем ничего, но зачем тогда вообще указывают этот параметр, если ничего не блокируют?...
    Host: mysite.com
    Sitemap: http://mysite.com/sitemap.xml

    Google сообщает о том, что первые две строки бред:
    [​IMG]
     
  2. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
  3. vnikitash

    vnikitash Новичок

    С нами с:
    19 апр 2015
    Сообщения:
    1
    Симпатии:
    0
    лучше всего спросите у сеошников - это их файл. Или можете почитать здесь.
     
  4. Ganzal

    Ganzal Суперстар
    Команда форума Модератор

    С нами с:
    15 мар 2007
    Сообщения:
    9.893
    Симпатии:
    965
    В первой строке пробел перед инструкцией выделен же.
    Во второй строке директива без значения.