За последние 24 часа нас посетили 22360 программистов и 1153 робота. Сейчас ищут 605 программистов ...

Экономия памяти php?

Тема в разделе "PHP для новичков", создана пользователем mirosas, 17 июн 2019.

  1. mirosas

    mirosas Активный пользователь

    С нами с:
    17 июл 2015
    Сообщения:
    235
    Симпатии:
    5
    Как экономно хранить в памяти массив весом 6 гигабайт? Массив многомерный (2-х), конечным элементом является строка, средней длиной 15 символов.

    Прошлый раз я гигабайтный хранил, он занял не то 5, не то 10 гигов в памяти (при том, что оперативки 4 были некоторые тормоза). 6 гигов, которые разрастутся до более 30, мне даже slc кеша не хватит (его всего 18).

    По окончании обработки предполагается создание одного 6-и гигового csv файла.

    Пока что делаю через созадние нескольких csv файлов, по гигу каждый, и потом надо будет их как-то склеить.. Но на будущее хотелось бы средствами php все делать.
     
  2. mkramer

    mkramer Суперстар
    Команда форума Модератор

    С нами с:
    20 июн 2012
    Сообщения:
    8.554
    Симпатии:
    1.754
    @mirosas, разработать нормальный алгоритм обработки этого объёма данных. Грузить 6 гигов в оперативу - точно не вариант, я бы даже не рассматривал при разработке.

    На то, каким образом php держит в памяти массив, мы повлиять не можем
     
  3. ADSoft

    ADSoft Старожил

    С нами с:
    12 мар 2007
    Сообщения:
    3.823
    Симпатии:
    736
    Адрес:
    Татарстан
    Может всеже задействовать бд? Или noSql например redis