За последние 24 часа нас посетили 18485 программистов и 1703 робота. Сейчас ищут 1018 программистов ...

Определение поисковых ботов

Тема в разделе "PHP для новичков", создана пользователем inline, 23 дек 2010.

  1. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    Как средствами пхп можно определить посетителя сайта - поисковый бот или обычный юзер?
     
  2. LeoK

    LeoK Активный пользователь

    С нами с:
    24 сен 2009
    Сообщения:
    43
    Симпатии:
    0
    смотреть $_SERVER['HTTP_USER_AGENT']
     
  3. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    не 100% вариант
    ботов всяких разных несколько десятков
     
  4. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    может если $_SERVER['HTTP_REFERER'] пустой
    но тут те кто с закладок пришли попадут
     
  5. LeoK

    LeoK Активный пользователь

    С нами с:
    24 сен 2009
    Сообщения:
    43
    Симпатии:
    0
    а 100% варианта и нету... если у ТС задача определять поисковых ботов, то у более менее известных ПМ как правило есть стандартная сигнатура для $_SERVER['HTTP_USER_AGENT'] и принадлежность тому либо иному проверяется на вхождение этой сигнатуры в $_SERVER['HTTP_USER_AGENT'].
     
  6. Devzirom

    Devzirom Активный пользователь

    С нами с:
    15 фев 2009
    Сообщения:
    463
    Симпатии:
    0
    Адрес:
    Пермь
    100% только ip. Но имейте ввиду, что у одного поисковика не один ip адрес и они могут меняться время от времени.
     
  7. VItalijs

    VItalijs Активный пользователь

    С нами с:
    17 дек 2008
    Сообщения:
    244
    Симпатии:
    0
    Адрес:
    Рига, Латвия
    и того способ тоже не 100%, походу в web очень тяжело что-то сказать о пользователе со 100% вероятностью, ибо все это можно подменить. Можно просто проверить возможный максимум каких-то параметров, которым можно доверять, и все время добавлять разные механизмы проверок информации что бы что-то знать о пользователе..
     
  8. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    а если проверять браузер через который смотрели
    и если браузер не известен, то значит бот
    а как сервисы статистики ботов определяют?
     
  9. LeoK

    LeoK Активный пользователь

    С нами с:
    24 сен 2009
    Сообщения:
    43
    Симпатии:
    0
    тут сигнатуры http://www.fromtlt.ru/news/3/5/ для http_user_agent

    погуглиш найдёш для браузеров - т.е. обычных пользователей (не факт!)
    100% ничего не узнаеш прими это как есть
     
  10. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    а может проверять http_user_agent на наличие записи о Windows - заметил, что у ботов версия винды не указана
     
  11. Volt(220)

    Volt(220) Активный пользователь

    С нами с:
    11 июн 2009
    Сообщения:
    1.640
    Симпатии:
    1
    inline
    Т.е. все кто не под Windows сидит - боты? =))
     
  12. VItalijs

    VItalijs Активный пользователь

    С нами с:
    17 дек 2008
    Сообщения:
    244
    Симпатии:
    0
    Адрес:
    Рига, Латвия
    ботом можно тоже в user agent что угодно прописать, с windows конечно забавный вариант =))
     
  13. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    да нет конечно
    но глянул по стате сайта на Ли - 99% виндовые юзверя
     
  14. inline

    inline Активный пользователь

    С нами с:
    21 май 2010
    Сообщения:
    466
    Симпатии:
    0
    кому нужно инет-магазин парсить?
     
  15. LeoK

    LeoK Активный пользователь

    С нами с:
    24 сен 2009
    Сообщения:
    43
    Симпатии:
    0
    Я бот :(
     
  16. 24/7

    24/7 Активный пользователь

    С нами с:
    4 дек 2009
    Сообщения:
    3
    Симпатии:
    0
    Адрес:
    Киев
    USER AGENT можно указать любой, с IP непонятно как определить откуда следует ожидать поисковых ботов, REFFERER не все браузеры проставляют, по винде тоже понятно почему не стоит проверять. А можно поинтересоваться, зачем вам это нужно? Обычно поисковые боты проставляют свой user agent, так что я бы склонялся к этому варианту. Но опять же вопрос, зачем? Если вы хотите запретить индексировать определенные страницы вашего сайта, я бы предложил прописать эти страницы в robots.txt ну и вообще, двигаться в этом направлении
     
  17. karlozzz

    karlozzz Активный пользователь

    С нами с:
    24 окт 2010
    Сообщения:
    430
    Симпатии:
    0
    Адрес:
    Y-OLA
    Определить можно только тех ботов, кто этого хочет, яндекс спайдер, гуголь спайдер итд, они не скрываются, а вот если я напише паука который эмулирует все на 100% как у броузера, тогда уж извини, никак не определишь, я это или паук))