За последние 24 часа нас посетили 20536 программистов и 1107 роботов. Сейчас ищут 374 программиста ...

Получить полный код страницы сайта Wildberries

Тема в разделе "PHP для профи", создана пользователем Xozain, 24 июн 2022.

Статус темы:
Закрыта.
  1. Xozain

    Xozain Новичок

    С нами с:
    2 авг 2020
    Сообщения:
    9
    Симпатии:
    1
    Добрый день получаю код страницы сайта wildberries. Все работало, но видно внесли какие-то изменения на сайте и моя функция перестала получать код страницы целиком.
    О чем речь. Если открыть страницу, к примеру https://www.wildberries.ru/catalog/zhenshchinam/odezhda/dzhinsy-dzhegginsy?sort=sale&page=1
    в любом браузере и по правой кнопке мышки открыть пункт меню "Посмотреть код страницы", то откроется код страницы. Этот код страницы я сравниваю с кодом страницу, который я получил через свой скрипт вот таким способом:
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
    curl_setopt($ch, CURLOPT_FAILONERROR, 1); // Fail on errors
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208');
    curl_setopt($ch, CURLOPT_HEADER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_MAXREDIRS, 10);
    $ss=curl_exec($ch);
    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); // Получаем HTTP-код
    curl_close($ch);
    if ($http_code == '200') {
    return $ss;
    }
    else{
    return 'NO';
    }

    Сравнение показывает, что код разный. В моем коде нет информации о товарах, которые открыты в браузере по этому адресу страницы.
    Подскажите как обойти этот момент?
    Заранее благодарю.
     
    #1 Xozain, 24 июн 2022
    Последнее редактирование: 24 июн 2022
  2. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.816
    Симпатии:
    735
    Адрес:
    Татарстан
    обсуждения парсига на форуме запрещено .. .и у валдберисавроде есть апи
     
  3. Xozain

    Xozain Новичок

    С нами с:
    2 авг 2020
    Сообщения:
    9
    Симпатии:
    1
    Апи есть, но они мне не подходят.

    Мне просто надо получить полный код страницы.
     
  4. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.816
    Симпатии:
    735
    Адрес:
    Татарстан
  5. Xozain

    Xozain Новичок

    С нами с:
    2 авг 2020
    Сообщения:
    9
    Симпатии:
    1
    Мне кажется, что мой вопрос не относится к пункту 2.5
    Данные, которые я хочу получить находятся в открытом доступе и каждый желающий может посмотреть эти данные, как минимум тем способом, что я описал выше:
    1) открыть страницу сайта;
    2) нажать правую кнопку мыши
    3) выбрать пункт меню "Посмотреть код страницы".
     
  6. Xozain

    Xozain Новичок

    С нами с:
    2 авг 2020
    Сообщения:
    9
    Симпатии:
    1
    Всем спасибо. Нашел ответ на свой вопрос. Сайт посылает AJAX-запрос

    запрос.png
    Для загрузки товаров на адрес вроде:
    https://catalog.wb.ru/catalog/... t=180;1687
    Нужно на него делать запрос теперь.

    Полученные данные преобразовать в масив данных и все.
     
Статус темы:
Закрыта.