Добрый день, существуют ли сегодня какие-нибудь действенные средства защиты на уровне сервера от парсинга данных? суть проблемы в том, что за последнюю неделю нашли четыре точных алиса (дубля) своего ресурса. причем обновления происходят на них одновоременно с нашим (только выложили статью - у них тут же, но ладно статьи бы просто копировали - сайт полность под корень включая дизайн парсят). Если существют методы защиты от таких недоумком, можно обговорить стоимость такой работы, даже нужно если эта проблема решаема. Ваши предложения и примерная стоимость реализации такой защиты НЕ В ОБИДУ: Адрес ресурса предоставлю, только разработчику, поэтому не просите его написать. Достойное вознаграждение за 100% защиту от такого вида парсинга.
dscoma Никаких шансов. Только административное решение. Т.е. абузы (жалобы) хостерам сайтов, плюс поисковики.
dscoma 100% ой защиты нет. Всё что вы показываете вы отдаете, все что вы отдаете можно взять, всё что можно взять можно показать в другом месте...
после сигнализирования писковикам о фейках они видимо предприняли попытки помочь нам и теперь все фейки выдают Error303 Request-URI Too Large The requested URL /url... is too large to process. неужели php работает только в одну строну? , причем в последнее время все чаще и чаще его возможности используется для вредоносных целей. Нужно в 6 реализации php ввести политику общего происхождения как на строне клинта (мысли в слух)
DRM для текста? Круто. Если сделаете - вам дадут нобелевскую премию. Можете написать свой браузер. И показывать сайт только в нем. Остальных редиректить на упячку.
я же написал, что это мысли в слух не более того, конечно это не серьезно, но как-то решать эту проблему нужно...
Simpliest ХАХАХАХАХАХА вот это реклама для упячки будет особенно если ресурс какойнить в контакте ру или чёнить схожее по посещаймости DDDDDDD dscoma угу и мне объясните)
Some origin policy (Политика общего происхождения) - определяет с какими серверами допускается взаимодействие. Это понятие больше знакомо разработчкам на стороне клиента (JavaScript, VBScript ...)
В общем случае это нерешаемо. В частном случае - рекомендую воспользоваться опытом Reuters, да и любого другого ресурса с закрытой информацией.
Можно исхитрятся и пробовать вычислить сервера, с которых происходит парсинг данных и их просто блокировать. 100% гарантии не даёт, но по крайней мере можно противодействовать. Можно так же анализировать логи и смотреть кто последовательно лазит по всему сайту и таким образом вычислять ботов. В общем можно сильно усложнить жизнь им, когда им будет не выгодно это делать. Если что, обращайтесь, могу попробовать помочь с проблемой.
Psih это палиатив. Проксей в мире настолько много, что они могут забирать контент в ближайшие 10ть лет. Вопрос в том насколько он ценен(контент) и стоит ли овчинка выделки. В простейшем случае можно менять дизайн и классы/айди у контента каждые пару дней
Щас я наверное глупость сморожу) Можно попробовать создать статью типа и выставить ей display:none и када вытащат оттуда контент спалить айпи)
Интересно, а то что отдается аяксом - тоже парсят? И вообще js-ссылки? Я сам сайт-парсеров не писал, исхожу только из того что гугл-боты ссылки через onclick="location.href()" уже не любят, значит гуглу лень писать на это парсер. А этим умникам, значит, не лень?
А могут еще проще делать...при запросе страницы, запрашивают ее с вашего сайта и тут же показывают пользователю. Ставьте пользователям куку, если куки нету, отдавайте не контент а "бяку".Ну и допилить это решение для поисковиков, чтоб не попасть под санкции
Вот. Ставим уникальную куку. Если такая кака пришла больше 10 раз за минуту - банить на час нафиг. =)
Говорите, парсят с CSS и javaScript тогда: <script language="JavaScript"> if( documant.domain != 'yourdomain.ru' ) { document.location.href = 'http://yourdomain.ru'; } </script> И пущай парсят Сначало поможет не на долго - сообразят, вырежут, но потом можно это закодить в общий яваскриптовый файл и заобфускатить его весь и раз в день менять, или, еще лучше, выдавать скрипт динамически для каждого нового IP - тогда им полная жопа - всех посетителей, что к ним придет будет редиректить к вам и этого можно будет избежать только вырезав JavaScript целиком!