За последние 24 часа нас посетили 35312 программистов и 1814 роботов. Сейчас ищут 788 программистов ...

Шой то не парсится яндекс

Тема в разделе "Прочие вопросы по PHP", создана пользователем artem-Kuzmin, 9 июл 2012.

  1. artem-Kuzmin

    artem-Kuzmin Активный пользователь

    С нами с:
    16 фев 2012
    Сообщения:
    809
    Симпатии:
    0
    Пробую парсить яндекс. Список страниц проиндексированных.
    Пару раз стукнул запрос пока писал скрипт и забанили сразу же...
    Каждый запрос посылаю через прокси.. Через разные прокси приобрел список отсеял кучу г и список норм быстро работающих штук 60...
    Возвращает яндекс код 302 а локатион на капчу..
    При этом я знаю что прокси не забанен по нему через мозилу к примеру подключаюсь и все норм..
    Да и прокси мой айпи вродь как не светит..
    Библиотека курл

    Добавлено спустя 3 минуты 23 секунды:
    При этом к самому корню яндекса подключается
    http://www.yandex.ru/
    А здесь
    http://yandex.ru/yandsearch?text=ehf&lr=213
    302