Пишу парсер, использую cURL + Simple HTML Dom. Дело в том, что скрипт за 30 секунд не успевает все спарисить, и возникает вопрос как решить эту проблему, я вижу два варианта, первый это просто увеличить в php.ini ограничение, но это так себе, потому что вдруг и большего ограничения не хватит, так ещё и возникает неудобство с тем, что если я отдам скрипт, придется говорить, чтобы они тоже убрали ограничение (естественно, это не очень). Второй вариант решения это просто сделать так, чтобы когда скрипт заканчивал работу он автоматически перезапускался, и тогда должно получиться, потому что скрипт проверяет спарсенные данные на уникальность и с ними ничего уже он делать не будет, я не воспользовался этим вариантом, потому что тоже, мне кажется, что он какой-то неправильный. Ну и третий вариант, что тоже выглядит довольно правдоподобно, я просто делаю что-то не так, и даже при большом количестве данных за 30 секунд все должно успевать. Может быть есть какие-то ещё решения? Заранее благодарен за помощь.
Для начала неплохо почитать правила ресурса. У нас тут писаки парсеров автоматически приравниваются к ворам чужой интеллектуальной собственности. А все их проблемы вызывают у нас громкий смех и присказки "так тебе и надо. Не будешь в следующий раз тырить чужое". Кто твои жертвы? Может быть у них есть апи?
Интернет магазин без апи. Я немного не понимаю, что настолько плохого в парсере? Я понимаю, когда парсер берет новости с других сайтов, заменяет слова синонимами и постит их у себя на сайте, да это, конечно, не правильно, но тут вроде немного другое, просто помогает осуществлять мониторинг.
Предложи владельцам завести апи. Спроси у них, нужно ли им, чтоб ты осуществлял какой-то там "мониторинг".