Имеется запрос создать парсер, который будет обновлять данные каждую секунду и вносить новые записи в базу. Всего даётся 50 последний записей. В минуту этих новых значений может быть около 30-100 штук. Чтобы не обращаться к бд каждый раз и сверять по 50 записей на их наличии или отстуствие (новая запись), как я понимаю в скрипте нужно иметь "память о последних 100 записях". И с ними сравнивать и если выявляются новые записи, выгружать в бд. Скрипт будет работать с помощью крон и выполняться часами, завершаться и запускаться заново. Подскажите, как грамотно хранить (копить в памяти) эти данные. Потому как используя процедурный подход, я бы всё это хранил в массиве, добавлял или удалял из него. Мне нужно эффективность скрипта и минимальный расход памяти.
Твой ip быстро забанят на сайте который ты парсишь. И обсуждение парсеров запрещено правилами форума.