Нужно что-то вроде того: Подойдут и советы по плагинам CMS, в которых есть хорошая база актуальных роботов. Спасибки!
http://digitorum.ru/blog/2012/12/02/User-Agent-Poiskovye-boty.phtml не? Добавлено спустя 1 минуту 18 секунд: чисто яндекс, актуальнее некуда http://help.yandex.ru/webmaster/robot-workings/check-yandex ... ot-in-logs
Очень да! Только ещё хочу. маловато их там. :р Добавлено спустя 2 минуты 34 секунды: Яндекс у меня уже есть, нужны другие, желательно с описанием, что они делают. )
Спасибо. Теперь меня осенило, что моей системе не хватает парсера имени на наличие подстроки. Я по полному имени бота определяю. Теперь думаю, парсить надо во время посещения ботом перед записью в базу, или во время выдачи?
Блин, я не правильно выразилась. Я хочу получить лог посещений, где будет написано, что зашёл яндекс тогда-то на такую-то страницу, затем гугл тогда-то, на такую-то страницу. Это всё, что мне нужно. Под выдачей я понимаю свой собственный лог, который мне выдаст статистику. Простите за то, что я так плохо объясняю. Я не собираюсь выдавать разный контент, я просто хочу видеть, кто пришёл и когда.))
https://github.com/piwik/device-detector А вот список ботов, если религия не позволяет использовать весь пакет: https://github.com/piwik/device-detector/blob/master/regexes/bots.yml Добавлено спустя 1 минуту 19 секунд: Ну, если страницы формируются на клиенте, то имеет смысл задуматься о формировании выдачи для поисковых ботов.
Тот же гугл крааайне не любит, когда для ботов выдача одна, а для пользователей другая. Крааааааайне. Даже если выдачи релевантные.