За последние 24 часа нас посетили 18385 программистов и 1611 роботов. Сейчас ищут 2024 программиста ...

Сайт с 10 миллионами страниц

Тема в разделе "Прочие вопросы по PHP", создана пользователем Shokters, 24 янв 2017.

  1. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Всем доброго времени суток!
    Возникла дилемма, каким способом лучше сделать сайт с 10 миллионами страниц:
    1. 10 миллионов статических страниц html;
    2. Динамическое генерирование страниц с помощью базы данных.

    1. Если делать на html, то размер всех файлов будет более 170 Гб (где взять такой хостинг?), при организации поиска по этим файлам время этого поискового запроса мне кажется будет катастрофичным.
    2. Если делать на php+mysql, то как это скажется на скорости сайта?

    Подскажите, пожалуйста, если кто сталкивался как лучше это реализовать. И помогите ответить на перечисленные выше вопросы.
    Заранее спасибо за помощь!
     
  2. acho

    acho Активный пользователь

    С нами с:
    28 дек 2016
    Сообщения:
    854
    Симпатии:
    210
    Адрес:
    Санкт-Петербург
  3. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Спасибо! А можно хотя бы вкратце аргументы?)
     
  4. acho

    acho Активный пользователь

    С нами с:
    28 дек 2016
    Сообщения:
    854
    Симпатии:
    210
    Адрес:
    Санкт-Петербург
    1. потому что все так делают
    2. потому что это правильно
    3. потому что 10 миллионов файлов - это бред
    4. и ещё раз потому что это правильно

    я вообще не думал, что такой опрос в контексте "динамика или 10 млн файлов" в принципе должен возникнуть. Но спасибо, удивили.
    Файловой системе искать один файл из 10млн - не самая простая задача. Плюс ко всему, файловая система имеет ограничение (неожиданность) на количество файлов/папок в принципе, а также на количество файлов/папок в одной папке. База данных же с 10 млн записями может справляться довольно хорошо, если нормально написаны запросы и правильно проведена индексация
     
  5. TeslaFeo

    TeslaFeo Старожил

    С нами с:
    9 мар 2016
    Сообщения:
    2.984
    Симпатии:
    759
    Ты вообще представляешь, как сверстать 10 кк статических страниц?
    Ты вообще представляешь, какой это бред?
    Это даже не смешно... Ты под чем то чтоли?))
    Или с друзьями ради смеха решили такой вопрос задать?
    А контента на 10кк страниц где возьмешь?
    Ты точно под чем-то...
     
  6. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    Ну в общем, надо вдруг шаблоне сменить верстку...
    --- Добавлено ---
    Автор, дай угадаю, с другом поспорили, что из себя представляет вконтакт, миллионы статики или динамику? Ответ очевиден - динамику.
     
  7. TeslaFeo

    TeslaFeo Старожил

    С нами с:
    9 мар 2016
    Сообщения:
    2.984
    Симпатии:
    759
    )))
    Если ты думал, что у тебя есть своя страница в вк, то ты ошибался. Страница одна на всех, а в неё уже подгружаются твои данные.
     
  8. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
  9. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Гм, при чем тут вообще ВК?
    Вопрос был задан по причине того, что, например, при создании сайта на несколько тысяч страниц данная дилемма возникает и она обсуждается разработчиками. Если не в курсе, то зачем писать какой-то бред?

    Да, на счет ограничения на количество файлов это нужно уточнить. Спасибо.
     
  10. TeslaFeo

    TeslaFeo Старожил

    С нами с:
    9 мар 2016
    Сообщения:
    2.984
    Симпатии:
    759
    Бред?
    А 10кк статический страниц это не бред?
    У нормальных людей так даже вопрос не стоит...
     
    denis01 нравится это.
  11. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    В том и дело, что данная дилемма никогда не возникает и не обсуждается разработчиками. Так и представил, сидят разработчики и думают, делать им 10 миллионов дубовой статики, или же автоматизированную систему, разделенную на разные уровни, где эти 10кк страниц будут не более чем переносимым содержимым в БД, в то время как логику и представление можно будет без проблем переписывать, развивать, менять под текущие нужды и тд.

    [​IMG]
     
  12. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Почитайте форумы на досуге, удивитесь. Вы сталкивались с 10+кк записей в БД?
    Я не просил разводить тут флейм и фонтанировать потоком сознания.
     
  13. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    Разработчики никогда не будут делать 10кк страниц статики. Это не работа для разработчика ПО, это работа для армии секретарш-рерайтчиц.

    Да. А еще с техниками горизонтального масштабирования баз данных. А вы сталкивались с 10кк статическими файлами?
     
    vayas нравится это.
  14. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Да, кажется кроме бессмысленных фраз ничего внятного не услышать.
    И, кстати, забыл отметить - изменение и редактирование данных не требуется.
     
  15. TeslaFeo

    TeslaFeo Старожил

    С нами с:
    9 мар 2016
    Сообщения:
    2.984
    Симпатии:
    759
    Такое количество записей может быть итогом нескольких лет работы не хило популярного ресурса.
    Но никак не одного или группы разрабов, которые создали сайт и наполнили его контентом.

    Если, конечно разрабы, не задавались целью запилить таблицу бд на 10кк записей.
     
  16. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    html страницы генерируются не вручную, при чем тут это?
    Да если бы сталкивался, зачем мне тогда спрашивать у вас совета, не подумали об этом?
     
  17. TeslaFeo

    TeslaFeo Старожил

    С нами с:
    9 мар 2016
    Сообщения:
    2.984
    Симпатии:
    759
    Какой вопрос такой ответ.
     
  18. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Откуда такие выводы? Можно сделать и новый сайт с таким количеством записей и с заполнением контентом не будет проблем.
     
  19. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    Вы пришли не за советом. Вы пришли за тем, чтобы услышать то, что хотите услышать. А именно - одобрение своей идеи. Но вы тут слышите не то, что хотели, вам это не нравится, вы злитесь. Все, что не является тем, что вы ожидаете - бессмысленные фразы. Все, что вы хотите услышать - внятное.

    Хотите совета - принимайте то, что вам говорят знающие люди. В противном случае я тоже не знаю, зачем вы пришли на форум.
    10кк строк для БД - это не нагрузка. Почитайте про индексы и бинарный поиск.
     
  20. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    А с чего вы вообще решили что моя "идея" это статика? Сам я склоняюсь к БД, но так как не сталкивался с таким количеством записей, то и спрашиваю как это будет работать в плане скорости.

    А вот сразу так нельзя было написать?)
     
  21. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    Третье сообщение в треде после вашего:
     
  22. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    Да, я уже сказал спасибо человеку.
     
  23. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    В дальнейшем легко можно будет сменить шаблон или выдавать в других форматах данные и проще управлять данными в БД.

    Не сильно дольше, главное правильно всё настроить, сервер, веб-сервер, субд этим системный администратор обычно заниматься.
    Можно ещё кэширование настроить или взять ресурсов с запасом.
    Это всё проще реализовать динамикой и базой, так как даже 10кк файлов займут с шаблонами больше места чем с базой и из-за количества файлов всё может тормозить, в базе более эффективно эти записи будут храниться и извлекаться.
     
    Shokters нравится это.
  24. Shokters

    Shokters Новичок

    С нами с:
    24 янв 2017
    Сообщения:
    10
    Симпатии:
    0
    В таком случае будем действительно стараться правильно настроить БД. Спасибо!
     
  25. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    1. 170 гб это смешные объемы для масштабных поектов. Взять там же где берут остальные - у компаниях предоставляющих услуги хостинга. В контексте количества нод в проекте, вероятнее что выгоднее окажется аренда dedicated серверов.
    2. Никак не скажется. Количество страниц никак не влияет на скорость работы сайта. Влияет его реализация.

    Работал с проектами и с гораздо большим числом страниц. Организовать - как и во всех подобных проектах - профессиональным подходом к разработке людей за неё отвечающих. С грамотным построением инфраструктуры, информационной архитектуры, применением кеширования, индексов, шардинга, cdn и других полезных инструментов.