За последние 24 часа нас посетили 17503 программиста и 1710 роботов. Сейчас ищут 1792 программиста ...

Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинг

Тема в разделе "PHP Free-Lance", создана пользователем Mix100, 2 мар 2016.

  1. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    хуйнёй маешься.
     
  2. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Хорошо.
    за 10т.р.
    вам будет написана система, которая сделает вот эту ерунду:
    HTTP(S)/SOCKS Proxy Detection by Flash and Java applet techniques, and optional blocking.
    HTTP(S)/SOCKS Proxy Detection by Tracking-IP Cookie, and optional blocking.
    CGI-Proxy Detection by XSS and Flash techniques, and optional blocking.
    Transparent HTTP Proxies Detection with X_FORWARDED_FOR technique, and optional blocking.
    Optional "Require Javascript enabled" feature (helps circumvent Firefox with "NoScript" addon).
    Optional auto-banning of unmasked IP addresses with the chosen blocking techniques above.
    Exception List Management for excluding particular proxy servers you may be running.
    и покажет ширму вместо сайта злоумышленнику.
    в конфиге будет настройка этих параметров. Если нужен текстовый лог действий по блокировке, она будет его вести.

    Это вас устроит?

    Если вы предоставите список непрозрачных проксей которых также нужно лочить, они тоже будут залочены.
     
  3. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Каждый по своему мается и в этом есть потребность, это мое дело. Хочу как тут auto.ru, готов платить. Кому это интересно, тот откликнется. А куда я это потом засуну или кому, мне решать.
     
  4. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    так ты хочешь защиту от парсинга, или защиту от доступа через торы и анонимайзеры? Это две разные задачи, никак не связанные.
     
  5. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Я в этих символах не разбираюсь, я понимаю саму задачу и вижу на кого она рассчитана.
    От чего защищает Ваше решение и как это можно обойти ?
    После детализации поймем...

    Добавлено спустя 11 минут 57 секунд:
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинг
    Предлагаю вернуться к Вы...мы не знакомы пока.
    В том числе. Защита от парсинга - это человеческое решение после анализа отчета скрипта, где будет сказано, что некий ip перебрал n количество страниц в такой то промежуток времени однотипным действием. Предполагаю, что следует после нескольких таких действий забанить на N минут например с сообщением
     
  6. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    отклоняю

    ну да. И ещё есть методы, например проверять наличие яваскрипта, куки, и там ещё есть хитрости. Но этим методам плевать из тора или нет. Я вот к чему. Если ты хочешь защиту от парсинга - тут есть умельцы. Если ты хочешь определять из тора или впн пришел ли запрос - то это просто лишено смысла, ибо глубоко похуй из тора тебя ебут или из "открытого интернета" - нужно противодействовать и в том и в другом случае.
     
  7. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    У меня есть база всех настоящих ip конкурентов/будущих конкурентов/говнюков/предполагаемых говнюков - доступ им закрыт (это не одна сотня IP и два месяца работы). Они об этом не знают, для них сайт в постоянной "реконструкции"
    Теперь я хочу закрыть доступ из Tor/VPN/Proxy
    Всем остальным добро пожаловать !
     
  8. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    печаль.
     
  9. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    А че печалишься, ты ведь самый умный тут (судя по количеству постов). Подскажи или реализуй. Люди ведь реализовали на авто.ру.
     
  10. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    на слабо свою мамку пробивай
     
  11. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Mix100 предложение от Zuldek подошло?
     
  12. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Я ему написал в личку, что хочу более детально ознакомиться с предложением. Я не программист и код вижу первый раз. Мне надо "на пальцах" все разъяснить. Основной вопрос "отчего это решение защищает и какими методами это можно обойти".
     
  13. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Отлично, интересно узнать о результате.
     
  14. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    это отдельная задача. Если вам требуется лог действий пользователя с переходом по страницам и прочими параметрами это нужно указывать изначально. Потому как разработка правильной стратегии отслеживания бана и т.п. эта задача которая не стоит затраченных на неё усилий. Ни в масштабе больших проектов ни в масштабе маленьких.
    Потому как ваше приложение (сайт) начинает заниматься вместо обслуживания посетителей записью и анализом тонн совершенно ненужной информации. Стандартное отсечение части популярных у школьников способов зайти на форум и поспамить с открытых проксей - другое дело. Если вы публикуете контент в сети и открываете для него общий доступ, то примите тот факт что завладеть вашим контентом может любой желающий и вы ничего с этим не сможете поделать, совершенно ничего. Ваша задача сделать так чтобы контент для конкурента стал бесполезен, если это действительно защита от парсинга конкурентами которые публикуют его на сторонних ресурсах. И для этого существуют определенные меры в т.ч. предлагаемые поисковыми системами.
    Если же контент таков, что подлежит продаже минуя правообладателя то "защита" сводится, банально, к его авторизованному, платному показу.
     
  15. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Возможно, я просто не в курсе всех "тонн логов". Если задать определенный минимальный параметр для записи в лог, это уменьшит нагрузку ?
    Пример: тех кто за 120 секунд открыл 12 карточек (только записать в лог, без бана). Далее по логам и аналитике отслежу и приму решение.

    Про защиту контента...нет задачи его защитить, я в курсе всех способов. Речь шла о том, что это одна из причин ограничения доступа для "нежелательных" особей. Оставим этот вопрос.
    Zuldek, я Вам в личку написал доп.вопросы.
    Еще раз скажу, защищаться от всех я не собираюсь, это невозможно, я хочу только усложнить/ограничить свободный доступ для определенной целевой аудитории. Читающих этот форум эти ограничения не касаются, ибо безполезны.
     
  16. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Ладно. в ЛС ответил. Тут что могу сказать: если вы уверены в том, что вам это нужно, то описывайте алгоритмы отслеживания действий посетителя для записи в лог и интерфейсы которые вам нужны для его просмотра и блокировки таких адресов.
     
  17. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    ИТОГ: на 28.03.2016 нет решения, нет предложений, нет исполнителя

    Есть мнение, что на стандартном хостинге не решить этот вопрос, нужен выделенный. Возможно, но переход не планируется.
    Работа по спискам прокси не подходит, т.к. есть анонимайзеры tor и vpn
    Задача сводится к самой простоте: не пустить пользователя с прокси.
     
  18. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    в жопу
     
  19. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Вопрос решен и закрыт
     
  20. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.108
    Симпатии:
    1.243
    Адрес:
    там-сям
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    чорт, не успел! )))
     
  21. igordata

    igordata Суперстар
    Команда форума Модератор

    С нами с:
    18 мар 2010
    Сообщения:
    32.408
    Симпатии:
    1.768
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    это ты так думаешь. =)
     
  22. Inscriptor

    Inscriptor Новичок

    С нами с:
    9 апр 2016
    Сообщения:
    4
    Симпатии:
    0
    Кому нужно, он все-равно спарсит. Есть ботнеты, трояны которые просто сидят у пользователей и ждут команду "фас", причем это самые реальные IP. Тем более есть сотни, тысячи платных подсетей анонимных прокси.

    Бред. Что-то мне подсказывает, что в эту "базу" попали большей частью динамические IP провайдеров, которые к реальным людям уже давно никакого отношения не имеют.