Пишу скрипт проверки целостности страниц. Паршу страницу на наличие url. А затем проверяю работает ли ссылка или нет. При большом количестве ссылок получается довольно долго(особенно если ссылка домен не доступен. Как можно распараллелить выполнение проверки доступности url?
Спарсить все, засунуть в бд, жрать по крону по десять экземпляров скрипта, а то и по 20, а в бд ставить флажки, что запись обрабатывается и чтобы скрипт брал следующую свободную.
Насчет бд все так и происходит, но зачем здесь крон не совсем понимаю(возможно из за того что плохо с ним знаком) насколько я знаю он запускает php скрипты по расписанию? поправьте если не так и разве это решит проблему последовотельной проверки url??? они же все равно не будут выполнятся синхронно.
Я понимаю что многопоточность php не поддерживает. Но синхронные и асинхрронные запросы возможны??? Да и апатч поддерживает многопоточность и может выполнять какие то задачи в параллельно. Не обязательно чтобы они выполнялись паралельно, хотябы чтобы запросы к сервер происходили не ожидая окончания обработки предыдущего. Ну как то так сори за орфографию.
тоесть насколько я понял создаешь набор url и одним разом их отправляешь на обработку? и насколько я понял все это можно делать асинхронно - добавляя по мере надобности?