За последние 24 часа нас посетили 38264 программиста и 1281 робот. Сейчас ищут 933 программиста ...

Как спарсить Яндекс?

Тема в разделе "PHP для новичков", создана пользователем Priler, 12 мар 2013.

  1. Priler

    Priler Активный пользователь

    С нами с:
    2 мар 2013
    Сообщения:
    171
    Симпатии:
    0
    Адрес:
    New-York
    Всем доброго времени суток!
    Как спарсить вот такую страницу - http://yandex.ru/yandsearch?text=url%3Astihi.in.ua/proizved ... php&lr=213

    Суть в том что бы узнать проиндексирована страница яндексом или нет.
    Вот мой вариант скрипта:
    Код (Text):
    1.  
    2.         $url = str_ireplace(array('http://www.','http://'),'','http://www.stihi.in.ua/proizved.php');
    3.         $ch = curl_init('http://yandex.ru/yandsearch?text=url%3A'.urlencode($url).'+%7C+url%3Awww.'.urlencode($url).'&lr=213');
    4.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    5.         curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:16.0) Gecko/20120815 Firefox/16.0 bot');
    6.         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    7.         curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    8.         curl_setopt($ch, CURLOPT_HEADER, false);
    9.         $ret = curl_exec($ch);
    10.         curl_close($ch);
    11.         preg_match('|<strong class="b-head-logo__text">(.*?)</strong>|is',$ret,$index);
    12.         preg_match('|<br>(\d*?)\&nbsp;|Uis',$index[1],$index);
    13.         $index = $index[1]>0?1:2;
    14.         if($index==1)echo'Проиндексировано';
    15.         else echo'Не проиндексировано';
    Но он не работает, даже не получает HTML код страницы.
    Подскажите в чем трабл?

    Заранее спасибо.
     
  2. MaXyC_Web_Studio

    MaXyC_Web_Studio Активный пользователь

    С нами с:
    31 дек 2006
    Сообщения:
    678
    Симпатии:
    3
    Адрес:
    Новоуральск
    посмотри какая строка формируется (url)
     
  3. Priler

    Priler Активный пользователь

    С нами с:
    2 мар 2013
    Сообщения:
    171
    Симпатии:
    0
    Адрес:
    New-York
    MaXyC_Web_Studio, всмысле?
     
  4. Priler

    Priler Активный пользователь

    С нами с:
    2 мар 2013
    Сообщения:
    171
    Симпатии:
    0
    Адрес:
    New-York
    Формируется строка нормальная