Загрузка больших csv/xml файлов

Да, я php занимаюсь 5 лет, но нигде не работал и проектов серьезных не делал, поэтому на подобные вещи мне никто не может указать)

 

Понял, спасибо.

Почитал только что, да, походу тема нормальная. То есть ты предлагаешь сначала обработать весь прайс, сохранить его в обработанном виде, а потом с помощью этого оператора загрузить целиком?

 

А от загрузки xml-файлов наверное вообще лучше избавиться, потому что пользователям без разницы во что их excel прайс сохранить - csv или xml, а загрузка xml куда геморнее в плане нагрузки

Добавлено спустя 1 минуту 19 секунд:

Ок, понял, вечером попробую.

 

я на локалхосте попробую, а на след. неделе планировал снять сервер и начать работать

 

В общем у меня стояла проверка: каждая позиция проверялась в базе на наличие, и если она там была, то повторно не загружалась, то есть если у клиента в прайс-листе повторный артикул, то он не записывался. А сейчас я решил, что это не нужно, так как, во-первых, эти позиции - автозапчасти, у которых могут быть одинаковые артикулы, но разные бренды, а во-вторых, у клиента может быть 2 запчасти - одна б/у, вторая новая, а артикулы одинаковые. А в этом и была загвоздка скорости. Просто на ПК у меня 4 Гб оперативки, проверяет на повтор нормально (во всяком случае до 100 тыс. позиций), а на этом хостинге видимо мне меньше выделяется, а база-то растет с каждой итерацией, соответственно, время на поиск начинает расти, если оперативки не хватает. Убрал эту проверку, прайс 75 тыс. позиций загрузился за 2 минуты, а на 500 тыс. за 18 минут. А полгода назад, я вспомнил, когда тестировал этот обработчик на другом хостинге, эту проверку я тоже не делал. Возможно на выделенном сервере работало бы нормально, но, опять-таки, если 100 человек будут грузить одновременно, то все равно начнет тормозить. Да и не нужна эта проверка.