Всем привет! Есть php-скрипт-парсер, который выполняется в среднем 4-5 часов. Запускается в Cron c интервалом в 5 мин, но т.к. стоит защита от повторного запуска - то по сути следующая итерация запускается только после конца предыдущей и с этим проблем нет. Условная структура скрипта выглядит так: PHP: <?php // Защита от двойного запуска $lock = fopen('/tmp/lock_file.lock', 'w'); if ( !($lock && flock($lock, LOCK_EX | LOCK_NB)) ) { exit( 'already running' ); } // Коннект к БД $sql = mysqli_connect('...', '...', '...', '...'); if ( !$sql ) die ("Error"); // Парсинг foreach ($s1 as $k1) { ... foreach ($s2 as $k2) { ... foreach ($s3 as $k3) { ... foreach ($s4 as $k4) { ... } foreach ($s5 as $k5) { ... foreach ($s6 as $k6) { ... foreach ($s7 as $k7) { ... } $query = "INSERT INTO tabl1 (r1, r2, r3, r4, r5, r6, r7, r8) VALUES ('$k1', '$k2', '$k3', '$k4', '$k5', '$k6', '$k7', '$k8') ON DUPLICATE KEY UPDATE r5='$k5', r6='$k6', r7 = '$k7', r8='$k8'"; mysqli_query($sql, $query); flush(); } } } } } // Удаляем из БД все записи, которым больше 24 часов $now_delete = date("Y-m-d H:i:s", time() - 86400); $query_delete = "DELETE FROM tabl1 WHERE r8<'$now_delete'"; if ( mysqli_query($sql, $query_delete) ) echo "Старые записи подчищены.<br>"; else echo "Старые записи не подчищены <br>"; mysqli_close( $sql ); ?> Проблема в том, что именно в конце выполнения скрипта (по прошествии 4-5 часов) создается большая нагрузка на процессор сервера (порядка 30 cpu). То, что нагрузка создается именно на исходе скрипта видно по статистике нагрузки от хостера (она разделена по часам). Нагрузка на MySQL околонулевая. Узнать больше, чем то, что нагрузка создается именно этим скриптом - в логах сервера нельзя. Изначально я грешил на последнюю операцию очистки БД, но убрав ее - ничего не изменилось. Почему может так получаться, что скрипт выполняет по сути одно и то же в цикле 5 часов (запись в базу), а именно в конце создает такую нагрузку?
Экстрансы по прежнему в отпуске. Делайте профилироание с каким-нибудь xhprof и смотрите какая логика у вас сьедает процессорное время и в нем ли действительно проблема
Проанализировал задержки по времени и использование памяти на протяжении всего действия скрипта - проблем ни с тем, ни с другим нет. Пришел к выводу, что нагрузка создается именно в конце 5-часового парсинга просто потому, что скрипт завершился - хостинг логирует нагрузку, которую скрипт создал. Почитал, оказывается такие долгие скрипты надолго полностью занимают процессор сервера - вот и фиксируется нагрузка. Еще почитал - есть решение со вставкой sleep() внутри циклов для периодического освобождения процессора и снижения нагрузки. Но мне принципиальна скорость выполнения скрипта, и увеличивать время выполнения до 10+ часов я не хочу. Вопрос: есть ли какой-нибудь способ снижения нагрузки в таком случае?
ну перезапускайте его и все чтобы выгружал все из памяти. Однако, по хорошему, если у вас отрабатывает скрипт по N часов это уже некорректная реализация. Перепешите реализацию чтобы была возможность запускать несколько джобов которые бы работали со своим пулом задач и запускайте множество экземпляров, логируйте затраты ресурсов при выполнении и определяйте число допустимых параллельных выполнений если нет прямого доступа к конфигу php-fpm