За последние 24 часа нас посетили 8727 программистов и 458 роботов. Сейчас ищут 98 программистов ...

Хранение данных в моменте выполнения парсера

Тема в разделе "PHP для профи", создана пользователем gbushmakin, 22 авг 2020.

Статус темы:
Закрыта.
  1. gbushmakin

    gbushmakin Новичок

    С нами с:
    20 июн 2019
    Сообщения:
    22
    Симпатии:
    0
    Имеется запрос создать парсер, который будет обновлять данные каждую секунду и вносить новые записи в базу. Всего даётся 50 последний записей. В минуту этих новых значений может быть около 30-100 штук. Чтобы не обращаться к бд каждый раз и сверять по 50 записей на их наличии или отстуствие (новая запись), как я понимаю в скрипте нужно иметь "память о последних 100 записях". И с ними сравнивать и если выявляются новые записи, выгружать в бд. Скрипт будет работать с помощью крон и выполняться часами, завершаться и запускаться заново.

    Подскажите, как грамотно хранить (копить в памяти) эти данные. Потому как используя процедурный подход, я бы всё это хранил в массиве, добавлял или удалял из него. Мне нужно эффективность скрипта и минимальный расход памяти.
     
  2. Artur_hopf

    Artur_hopf Активный пользователь

    С нами с:
    7 май 2018
    Сообщения:
    2.199
    Симпатии:
    377
    Твой ip быстро забанят на сайте который ты парсишь. И обсуждение парсеров запрещено правилами форума.
     
Статус темы:
Закрыта.