Есть "тяжелый" скрипт, который работает с таблицами . Могу обрабатывать за 1 раз по 50 записей из таблицы. Есть идея вызывать его через curl , меняя параметры и двигаясь по таблице с шагом 50, НО. Сейчас у меня 1000+ записей - это получается 20 процессов, завтра будет 10000 - это будет уже 200 процессов. Как можно изящно решить эту проблему?
подбирать шаг, оптимизировать таблицу, писать модуль для php на языке шустрее, запускать скрипт кроном, возможно более правильно вообще организовать этот процес.... В общем очень сильно зависит от самой задачи.
всё зависит от того, за какое время надо полностью проходить всю таблицу и от того, какие операции проводят с каждой записью. Может быть можно оптимизировать. Может у тебя дополнительные sql запросы в цикле. Надо код смотреть.
Я не совсем точно описал задачу: ограничение на блок 50 записей на стороне облака, с которым взаимодействует скрипт.
Там может всё расскажешь? Какие 50 записей в облаке, как они связаны с таблицей в 1000+ строк? Что нужно делать с каждой записью?
Может multi curl поможет. И да не совсем понятно что ты хочешь. Например мне он помог значительно ускорить работу скрипта. вот тут готовый скрипт http://artkiev.com/blog/php-curl_multi_init.htm за помощь спасибо @TeslaFeo