За последние 24 часа нас посетили 20282 программиста и 1009 роботов. Сейчас ищут 364 программиста ...

эмуляция браузера на PHP

Тема в разделе "PHP для новичков", создана пользователем yurko, 26 дек 2011.

  1. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Привет!
    Вот таким кодом я читаю контент со страницы:

    $content = '';
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt(
    $curl,
    CURLOPT_HTTPHEADER,
    Array(
    'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:8.0.1) Gecko/20100101 Firefox/8.0.1' . "\r\n",
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' . "\r\n",
    'Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3' . "\r\n",
    'Accept-Encoding: gzip, deflate' . "\r\n",
    'Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7' . "\r\n",
    'Connection: keep-alive' . "\r\n",
    "\r\n",
    "\r\n"
    )
    );
    curl_setopt($curl, CURLOPT_COOKIEJAR, "filecookie");
    curl_setopt($curl, CURLOPT_COOKIEFILE, "filecookie");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

    $content = curl_exec($curl);
    $handle = curl_copy_handle($curl);
    echo $handle . '<br>';
    echo $content . '<br>';
    curl_close($curl);
    return $content;

    Страница считывается нормально, но что-то происходит с нужными мне ссылками, которые расположены в теле текста страницы. Причём, что интересно, когда скрипт работает на домашнем серваке под виндой, то ссылки нормальные, не битые, а как только запускаю скрипт на хостинге, нужные ссылки битые.
    Как быть, что делать? Хост как-то определяет, что контент читает бот, а не браузер и выдаёт битые ссылки.
     
  2. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    покажи
     
  3. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Что показать?
     
  4. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    ссылки до и после =)
     
  5. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
  6. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Префиксы a-44 и a-94 роли не играют. Меняется id. У битой ссылки он неправильный.
     
  7. sobachnik

    sobachnik Старожил

    С нами с:
    20 апр 2007
    Сообщения:
    3.380
    Симпатии:
    13
    Адрес:
    Дмитров, МО
    Это врядли. Если бы он этим заморачивался - он бы просто не выдавал ничего.
     
  8. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Джава отпадает. Я отключал джаву в браузере и всё равно всё работает. Значит как-то определяет по хидерам, что бот. По другому никак.
     
  9. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    у меня обе не пашут
     
  10. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Да, обе не пашут. Так и должно быть, так как id меняется каждые 15 минут.
     
  11. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    ссылки одинаковые. отличаются только id. вывод?
     
  12. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    Если я бы знал вывод, то не спрашивал бы. )
     
  13. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    я тактично промолчу
     
  14. yurko

    yurko Активный пользователь

    С нами с:
    27 сен 2011
    Сообщения:
    13
    Симпатии:
    0
    блин, что шпрашивать тогда, если тактично молчать? Не знаешь ты нифига.
     
  15. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.410
    Симпатии:
    1.768
    и ты тожа
    бебебе

    вывод простой: проблема не там где ты ищешь
     
  16. karlozzz

    karlozzz Активный пользователь

    С нами с:
    24 окт 2010
    Сообщения:
    430
    Симпатии:
    0
    Адрес:
    Y-OLA
    Отписал в другой теме, не плодите кашу...