За последние 24 часа нас посетили 20282 программиста и 1009 роботов. Сейчас ищут 364 программиста ...

работа с поисковиком

Тема в разделе "Прочие вопросы по PHP", создана пользователем shirokov, 15 фев 2006.

  1. shirokov

    shirokov Активный пользователь

    С нами с:
    15 фев 2006
    Сообщения:
    32
    Симпатии:
    0
    а можно как-нить написать скрипт, чтобы он отправил запрос на yandex.ru или другой поисковик, а все ссылки по этому запросы сохранил в файл?!
    подскажите хотя бы как начать! =)
     
  2. Kolo

    Kolo Активный пользователь

    С нами с:
    3 фев 2006
    Сообщения:
    51
    Симпатии:
    0
    Адрес:
    SPb
    С изучения xml.yandex.ru. Там и примеры есть.
     
  3. shirokov

    shirokov Активный пользователь

    С нами с:
    15 фев 2006
    Сообщения:
    32
    Симпатии:
    0
    хотелось бы применять не только к яндексу
    а до этого никакие команды разве не надо?
     
  4. Kolo

    Kolo Активный пользователь

    С нами с:
    3 фев 2006
    Сообщения:
    51
    Симпатии:
    0
    Адрес:
    SPb
    Ну общего API у поисковиков нет. Все-равно придется писать под каждый конкретный.
     
  5. Anonymous

    Anonymous Guest

    Не знал... классная тема :)

    Это палюбому !
     
  6. shirokov

    shirokov Активный пользователь

    С нами с:
    15 фев 2006
    Сообщения:
    32
    Симпатии:
    0
    нужно к гуглу или к yahoo! что попроще!
     
  7. Бутузов

    Бутузов Активный пользователь

    С нами с:
    5 фев 2006
    Сообщения:
    115
    Симпатии:
    0
    Адрес:
    Київ, Україна
    #/> google soap|xmlrpc
     
  8. Kolo

    Kolo Активный пользователь

    С нами с:
    3 фев 2006
    Сообщения:
    51
    Симпатии:
    0
    Адрес:
    SPb
    проще всего именно Яндекс.XML =) Гугловый API по-сложнее.
     
  9. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    shirokov, а задача какая? Написать метапоисковую систему? Если так, то стоит учитывать ограничения на количество запросов в том же Яндекс.XML .
     
  10. 440Hz

    440Hz Старожил
    Команда форума Модератор

    С нами с:
    21 дек 2012
    Сообщения:
    8.003
    Симпатии:
    1
    Адрес:
    Оттуда
    имхо гиблое это дело ... да и не пацанское ...
    вот написать свой поисковик ... оно да ... оно канает ...
     
  11. wolandino

    wolandino Активный пользователь

    С нами с:
    5 фев 2006
    Сообщения:
    193
    Симпатии:
    0
    Адрес:
    Россия, Астрахань
    а что там сложного? получил ключ, отправил запрос, обработал результаты. есть хороший готовый класс на эту тему - кому интересно могу найти ссылку на него
    апи яху - действительно сложная вещь, во всяком случае примеры на яху мне не понравились своей громоздкостью
    недостаток использования апи поисковых систем - это неполная выдача результатов, порядка 60 процентов, в некоторых случаях, как глупо это не звучит можно распарсивать прямую выдачу поисковика
     
  12. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    )) я бы не сказал, что написать свой поисковик проще.
     
  13. 440Hz

    440Hz Старожил
    Команда форума Модератор

    С нами с:
    21 дек 2012
    Сообщения:
    8.003
    Симпатии:
    1
    Адрес:
    Оттуда
    ты попробуй. дело интересное и не такое уж сложное ...
     
  14. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    440hz, пробовал [правда под .NET, а не PHP, но это не столь важно])) Дело сложное по следующим причинам:
    1) Большие объемы данных (=> собственная база данных)
    2) Сложность парсинга страниц
    3) Обеспечение релевантности (вечная пробелема)) )
    4) Сложности с отсеиванием поискового спама (не вручную же проверять)

    Bonus: поисковая система, как правило, распределенная структура -> добавляется достаточно забот с кластеризацией и "сливанием" результатов + с масштабируемостью.
     
  15. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    ...
    + кэширование - тоже интересная тема.
     
  16. 440Hz

    440Hz Старожил
    Команда форума Модератор

    С нами с:
    21 дек 2012
    Сообщения:
    8.003
    Симпатии:
    1
    Адрес:
    Оттуда
    блин, но иы же не Яндекс клонируем ... 8)
     
  17. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    440hz, :) ну смотря что подразумевать под словом "поисковик".
     
  18. Michael

    Michael Активный пользователь

    С нами с:
    7 фев 2006
    Сообщения:
    54
    Симпатии:
    0
    а "маленький" поисковик написать - это да, соглашусь, проще, чем "маленькую" метапоисковую систему )