За последние 24 часа нас посетили 16749 программистов и 1647 роботов. Сейчас ищут 1202 программиста ...

Измерять нагрузку на сайт

Тема в разделе "Сделайте за меня", создана пользователем Сергей008, 12 дек 2014.

  1. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Имеется ли возможность написать программу, которая бы могла сохранять в файле, каждую минуту например, скорость соединения с определенным сайтом ? В идеале хотелось бы получить, хотя бы очень приблизительно, возможность отслеживать в реальном времени нагрузку на данный сайт как пропорциональную числу людей "висящих" на данной web-странице. Вопрос наивный но актуальный ! Спасибо за любую подсказку.
     
  2. Ganzal

    Ganzal Суперстар
    Команда форума Модератор

    С нами с:
    15 мар 2007
    Сообщения:
    9.893
    Симпатии:
    965
    не имеется. дело в том что между исследователем и исследуемым сайтом лежит просто интернет. это разные провайдеры, континенты и всё такое. то есть ваш скрипт никогда не даст реального представления о скорости работы сайта так как она будет только для конкретного хоста. а весь остальной интернет может видеть всё иначе. это раз. и два. что под скоростью сайта подразумевать? даже если страница генерируется полторы две секунды в силу увесистости приложения это самое приложение может спокойно генерировать несколько тысяч страниц параллельно. и что тогда подразумевать под скоростью сайта? фактический трафик или время выпекания одной страницы? плюс. хттп это высокоуровневый протокол а скорость сетевая это чуть ниже. стало быть надо использовать инструменты которые обмениваются наименее инкапсулированными пакетами. например iperf если изучаемый хост поднимет серверный процесс. то есть писать что-то это иметь результат со слишком большой погрешностью. использовать что-то другое - нужно чтоб это было оговорено, разрешено и запускалось с нескольких хостов для большей точности.
     
  3. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Очень пессиместично, но спасибо большое за ответ !

    Добавлено спустя 19 минут 39 секунд:
    PS. Вот если взять экстремальный случай, весь мир бросился посетить данный web сайт, тогда ясное дело сервер будет, как говорят "down", это в принципе зарегистрировать реально, как я понимаю. Можно ли как то, как говорят математики "по непрерывности", продолжить это наблюдение до больших, но не критических нагрузок на сайт ?
     
  4. Ganzal

    Ganzal Суперстар
    Команда форума Модератор

    С нами с:
    15 мар 2007
    Сообщения:
    9.893
    Симпатии:
    965
  5. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Буду конкретней : есть сайт, продает Дедов Морозов. Внезапно спрос на Дедов Морозов стал огромен и все бросились их покупать, число посетителeй сайта возросло до критического значения 1000, сервер умер, все в курсе. Но если число посетителей 900, то есть ли возможность как то измерить это ? (легально разумеется), хотя бы приблизительно.
     
  6. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Ага, загрузку процессора посмотреть.
    Чтобы сайт продолжал работать, то когда например загрузка подошла к 80% (сеть, диск, процессор) то включают ещё один сервер.
    Читай про горизонтальное маштабирование, класстеры, балансировка, виртуальные сервера
     
  7. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    denis01, спасибо ! Попробую разобраться..
     
  8. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    для тестирования есть тот же siege
    для метрики посещений есть всякие статистики от гугла, яндекса и т.п.
     
  9. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Когда я пользуюсь браузером, например Firefox, и открываю конкретную страницу я могу ее оставить открытой на сутки, к примеру, ничего с ней не делая. В это время с чужого сервера на котором она лежит, в мой Frirefox, идет поток информации (баннеры мигают, что то там обновилось, написалось и тп). Я хочу иметь программу, которая бы мне как то фиксировала скорость этого потока, скажем каждую минуту заносила в файл на диске число. Это уже другой вопрос что это число представлять будет для оценки загрузки чужого сайта... Вопрос интерпретации.

    Сканировать, делать специально сниффинг чужого сервера я не хочу.
     
  10. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Так напиши список того что ты хочешь считать и запоминать.
     
  11. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    число битов полученных Firefox за последнюю минуту с данной страницы, общий поток.
     
  12. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    так есть утилиты которые показывают загрузку сети, можно смотреть сколько потребляет трафика и скорость например веб сервер, кол-во соединений и т.д.
     
  13. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    ну монитор трафика поставь и получишь цифру.
     
  14. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    как сделать чтобы мониторинг трафика, с конкретной страницы, сохранаялся автоматически в txt файле который я бы потом мог анализировать ?
     
  15. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    А какой программой пользуешься? В консоле линукс, то поищи как результат программ сохранять в файл

    Для nginx есть удобная утилита например https://github.com/lebinh/ngxtop
     
  16. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Windows Server 2003 Standard, с линуксом плохо лажу
     
  17. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Ну поставь nginx как proxy для вебсервера и смотри статистику через ngxtop, или тебе для production сервера?
     
  18. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    есть специальные программы для веб-девелоперов как раз.
     
  19. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    да, production... А есть ли не линукс решения ? спасибо
     
  20. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Если production, то тебе нужно узнавать у системных администраторов. А то насоветую, а у тебя всё накроется.
     
  21. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    да я имел в виду как раз локально ставишь себе на винду и следишь за коммуникациями браузера. там всякие пакеты и прочее.
     
  22. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Я посмотрел Firebug и ее раширение NetExport, как возможную альтернативу. Пока до конца не разобрался, делает ли это то что мне нужно... Возможно есть другие, более простые решения...
     
  23. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Так тебе с сервера данные нужны или локально браузера?
     
  24. Сергей008

    Сергей008 Новичок

    С нами с:
    12 дек 2014
    Сообщения:
    13
    Симпатии:
    0
    Локального браузера (Firefox например). Какой трафик идет со странички открытой в этом браузере. В идеале хотелось бы чтобы трафик (например число битов полученных за последнюю минуту, или скорость) автоматически заносился бы в файл каждую минуту, в отдельный файл для каждой страницы, или в один и тот же, но чтобы потом можно было бы разобрать что и откуда...
     
  25. Ganzal

    Ganzal Суперстар
    Команда форума Модератор

    С нами с:
    15 мар 2007
    Сообщения:
    9.893
    Симпатии:
    965
    а зачем?)