За последние 24 часа нас посетили 16540 программистов и 1679 роботов. Сейчас ищут 864 программиста ...

Полный код страницы

Тема в разделе "Прочие вопросы по PHP", создана пользователем Rage Hunter, 21 июл 2014.

  1. Rage Hunter

    Rage Hunter Новичок

    С нами с:
    21 июл 2014
    Сообщения:
    4
    Симпатии:
    0
    Здравствуйте!
    Есть страницы:
    http://worldoftanks.ru/clanwars/maps/globalmap/
    http://worldoftanks.ru/clanwars/maps/globalmap/?province=MR_10
    На ней много скриптов, фреймов и т.д.
    Как получать полный код страницы, что бы при выводе кода получилась копия страницы.
    Перепробовал известные мне варианты, почти все не дали ни какого результата.
    Пробовал curl_init и file_get_contents других способов на php я не знаю.
    Заранее спасибо за вашу помощь.
     
  2. MouseZver

    MouseZver Суперстар

    С нами с:
    1 апр 2013
    Сообщения:
    7.819
    Симпатии:
    1.333
    Адрес:
    Лень
    варгейминг умный, не стыришь того чего не хотят
     
  3. [vs]

    [vs] Суперстар
    Команда форума Модератор

    С нами с:
    27 сен 2007
    Сообщения:
    10.559
    Симпатии:
    632
    Истинный путь один: запускать на сервере браузер и сниферить трафик с помощью самописного расширения. В хроме это сравнительно легко.
    + нужно учесть, что некоторые скрипты и данные могут подгружаться после загрузки страницы.
     
  4. Rage Hunter

    Rage Hunter Новичок

    С нами с:
    21 июл 2014
    Сообщения:
    4
    Симпатии:
    0
    но ведь должен же быть способ сделать полную имитацию работы браузера перед загрузкой страницы. к тому же когда смотришь исходный код страницы через браузер он так же не полный, но при это в хроме если смотреть код фрейма то он полный. К тому же есть сайты которые получают такие данные, сомневаюсь что они это делают через браузер, иначе у них на обновление всех данных уходило бы очень много времени а там данные обновляться раз в 2-3 минуты (не реально открыть все провинции, снять данные о всех кланах за 3 минуты).
     
  5. [vs]

    [vs] Суперстар
    Команда форума Модератор

    С нами с:
    27 сен 2007
    Сообщения:
    10.559
    Симпатии:
    632
    Через браузер - это универсально. Чтобы быстро, нужно заточить скрипт под конкретную страницу. То есть не один вызов cURL, а множество, чтобы повторить все запросы, которые делает браузер.
    Возможно, все и не надо. Информация может подгружаться ajax'ом в формате JSON. В такой ситуации, надо повторить именно этот запрос и не придется мучиться с HTML.
    А еще можно парсить сайты, которые уже
    =)
     
  6. Rage Hunter

    Rage Hunter Новичок

    С нами с:
    21 июл 2014
    Сообщения:
    4
    Симпатии:
    0
    вот тока иногда они глючат, а из-за них и мой сайт начинает глючить.

    Спасибо за дельные советы решил все свои проблемы, помогла прога Wireshark.
    Вытащил все нужные мне ссылки на необходимые файлы.
     
  7. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    А потом окажется, что у сайта есть официальный API.
     
  8. Rage Hunter

    Rage Hunter Новичок

    С нами с:
    21 июл 2014
    Сообщения:
    4
    Симпатии:
    0
    Высказывание не к месту, пополняешь так количество сообщений на форуме?
    официальный API не предоставляет нужной (мне) информации, поэтому пришлось пойти таким путем.
     
  9. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    Тоже из тех, кто думает, что это круто? Эхехе.