За последние 24 часа нас посетили 20665 программистов и 1098 роботов. Сейчас ищут 765 программистов ...

Разница между file_get_contents и браузером

Тема в разделе "Подворотня", создана пользователем Satger, 21 окт 2022.

  1. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    Кто-нибудь опытен в парсинге сайтов? Пытаюсь получить файл от стандартного сервиса стандартным образом. От других подобных сервисов файлы исправно получаются аналогичным образом без какого-либо шаманства.

    Здесь -- в браузере файл успешно получается, а file_get_contents сервер файла не отдаёт, говорит 302. Разница с браузером -- в куке. Куку для file_get_contents передаю через context, но не помогает.
    cURL'м из командной строки с указанием куки в параметре тоже не получается.

    Очевидно, я что-то упускаю, но я довольно плохо знаю детали http, и не понимаю, куда копать.
     
  2. LeMoro

    LeMoro Новичок

    С нами с:
    22 окт 2022
    Сообщения:
    2
    Симпатии:
    0
    возможно js защита стоит от парсинга. Как ее обходить не подскажу, но знаю что ее тоже обходят
     
  3. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    Нет, никаких скриптов не загружается.
    Ещё раз, для невнимательных: я скачиваю _ФАЙЛ_. Не страницу, не сайт -- файл. Картинку, если быть конкретным.
     
  4. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.817
    Симпатии:
    735
    Адрес:
    Татарстан
    Всё что угодно, самое простое проверки юзер-агента
     
  5. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    Я понимаю -- приятно считать собеседника идиотом. Но прикинь, чувак: я посылаю правильное значение User-Agent. Ты офигеешь, когда узнаешь, что с каждым запросом -- другое.
     
  6. don.bidon

    don.bidon Активный пользователь

    С нами с:
    28 мар 2021
    Сообщения:
    846
    Симпатии:
    131
    Если бы ты не воровал контент, дал бы советов, а так в личку за прайс.
     
  7. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    О! Борец за права! Типа, воровать контент нехорошо, я правильно понял? Но ты отлично умеешь это делать, и готов обучить за деньги, так?

    Чувак, ты же не знаешь, ворую я контент, или нет. А если ворую -- тебе то какое дело?
     
  8. don.bidon

    don.bidon Активный пользователь

    С нами с:
    28 мар 2021
    Сообщения:
    846
    Симпатии:
    131
    @Satger, нет API -- воруешь.
    Умею, грешен, приходилось, когда ты без кнопочных мобильных телефонов обходился. Обучить не готов, предоставить работающий код -- да.
     
  9. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    Да ты суров, как я погляжу. А на фиг тебя давно не посылали?
     
  10. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.817
    Симпатии:
    735
    Адрес:
    Татарстан
    Я смотрю у автора поста- принято лезть со своим уставом в чужой монастырь? Дерзить и посылать? Ну-ну отличный способ получить помощь...
     
  11. Satger

    Satger Активный пользователь

    С нами с:
    19 апр 2020
    Сообщения:
    72
    Симпатии:
    1
    Ты тоже можешь идти не задерживаясь. Я бы даже тебе рекомендовал.