Здравствуйте! В файле htaccess на сайте находятся правила такого вида: Код (Text): RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] ... RewriteRule ^(.*)$ – [F,L] Данные правила, судя по всему, блокируют CRON. Подскажите, пожалуйста, как сделать, чтобы эти правила не действовали при запросе с определенного ip. Заранее спасибо!
блокируют крон? джаваботов они блокируют. перед ними проверять remote_addr которому не запрещать запросы
Ganzal, спасибо. Я просто в htaccess не шарю. Там всё дело в строке Код (Text): RewriteCond %{HTTP_USER_AGENT} Wget [OR] Пробовал сделать так: Код (Text): RewriteCond %{REMOTE_ADDR} !^00\.00\.000\.00 RewriteRule .* / [R=301, L] пока что не выходит.
а весь файл можно увидеть? ну чисто поглядеть как вы мыслите. ибо указанный код не реализует тот алгоритм который я описал выше.
Код (Text): <Files ".htaccess"> deny from all </Files> RewriteEngine On RewriteBase / ErrorDocument 404 /404.html ######################################## RewriteCond %{http_host} ^example.com [nc] RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L] #Админка RewriteRule ^admin.html$ admin/index.php RewriteRule ^admin/$ admin/index.php #Страницы и компоненты RewriteRule ^[/]*([-a-zA-Z0-9_=&\/]*)?$ index.php?&whatpage=&$1 RewriteRule ^([-a-zA-Z0-9_]*)?.html$ index.php?whatpage=$1 RewriteRule ^([-a-zA-Z0-9_]*)/?([-a-zA-Z0-9_]*)?.html$ index.php?catpage=$1&whatpage=$2 RewriteRule ^([-a-zA-Z0-9_]*)/?$ index.php?catpage=$1 RewriteRule ^([-a-zA-Z0-9_]*)/?([-a-zA-Z0-9_]*)/?([-a-zA-Z0-9_]*)?.html$ index.php?catpage=$1&subcatpage=$2&whatpage=$3 RewriteRule ^([-a-zA-Z0-9_]*)/?([-a-zA-Z0-9_]*)/?$ index.php?catpage=$1&subcatpage=$2 ## Блокировка по USER AGENT: RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} Aport [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} bingbot RewriteRule ^(.*)$ – [F,L] ######### для компонентов есть папка components Проблема в блокировки Wget. При удалении этой строки все работает. Но удалить я ее не могу. Пробовал перед блокировкой user agent писать: Код (Text): RewriteCond %{REMOTE_ADDR} =11\.11\.111\.11 RewriteRule ^(.*)$ http://%{SERVER_NAME}%{REQUEST_URI} [L] Опять мимо. Я ищу либо код, после которого дальнейшее чтение htaccess завершается, либо код строки c Wget, который проверяет еще и ip.
а вы сами писали эти правила? например поясните мне смысл строки Код (Text): RewriteRule ^(.*)$ – [F,L] вот просто своими словами. и потом если не сложно еще прокомментируйте вот эту строку Код (Text): RewriteRule ^(.*)$ http://%{SERVER_NAME}%{REQUEST_URI} [L]
Первая строка должна вызвать 403 ошибку для ботов. Вторая строка, как мне казалось, должна была быть чем-то вроде пустого правила для RewriteRule, а [L] - завершить чтение htaccess. Я уже писал, что не шарю в htaccess, поэтому пока что направление моих мыслей движется в сторону создания двух файлов php на отдельной демке, перенаправляющих cron. Но если у вас есть код для htaccess, то это бы мне очень помогло.
не, там совсем не то написано. то есть условия может к ботам и относятся но в правиле ничего про ботов нет. а написано там "взять любой символ ноль и более раз .*, от начала строки ^, до конца строки $. не делать рерайта -, запретить F, это последнее правило для этого запроса L". мы не делаем рерайта, зачем нам запоминать лишние совпадения? вполне достаточно: Код (Text): RewriteRule . - [F,L] не, там совсем не то написано 2. "взять любой символ ноль и более раз .*, от начала строки ^, до конца строки $. отправить пользователя а адресу http://%{SERVER_NAME}%{REQUEST_URI} то есть по сути просто обновить страницу (и зачем мы тогда вообще адрес по шаблону читали?), это последнее правило для этого запроса L". грубо говоря там написано "с каким бы запросом ты ко мне не пришел - зайди с ним же еще раз". пустое правило будет выглядеть так: Код (Text): RewriteRule . - [L] отличие от первого только в отсутствии флага F.
рабочую версию забыл показать... Код (Text): RewriteEngine On RewriteBase / RewriteCond %{REMOTE_ADDR} ^127\.0\.0\.1$ RewriteRule .* - [E=IP:OK,E=U:%{REQUEST_URI}] RewriteCond %{ENV:U} ^$ RewriteCond %{HTTP_USER_AGENT} Chrome RewriteRule .* - [F,L] ### RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_URI} !^/index\.php RewriteRule .* /index.php?__=1 [L,QSA] Код (Text): RewriteEngine On включаем рерайтер. Код (Text): RewriteBase / устанавливаем базу адресов, на которую будет набрасываться рерайтер. в нашем случае с самого корня сайта. блок 1. Код (Text): RewriteCond %{REMOTE_ADDR} ^127\.0\.0\.1$ тестируем адрес гостя и если он совпал с нужным... Код (Text): RewriteRule .* - [E=IP:OK,E=U:%{REQUEST_URI}] устанавливаем переменную окружения IP в значение OK. для себя я еще устанавливаю переменную окружения U в значение текущего адреса запроса. на решение задачи это не влияет. при этом рерайта никакого не происходит. я взял пустой шаблон .* и "переписал" его "без изменения" -. блок 2. Код (Text): RewriteCond %{ENV:IP} ^$ если переменная окружения IP не установлена или имеет пустое значение... в таком виде она будет если не сработал блок1. Код (Text): RewriteCond %{HTTP_USER_AGENT} Chrome и если такой-то агент пользователя... тут вы перечисляете своих ботов. Код (Text): RewriteRule .* - [F,L] запрещаем запрос такому клиенту. опять же нам никакого рерайта не надо делать поэтому .* "переписываем" "без изменения" -. блок 3. технический. Код (Text): RewriteCond %{REQUEST_FILENAME} !-d если преобразованный запрос не является каталогом файловой системы. Код (Text): RewriteCond %{REQUEST_FILENAME} !-f если преобразованный запрос не является файлом файловой системы. Код (Text): RewriteCond %{REQUEST_URI} !^/index\.php если преобразованный запрос не ссылается на корневой индекс (чуть ниже объясню). Код (Text): RewriteRule .* /index.php?__=1 [L,QSA] переписать запрос .* (тут нет шаблона. мне не интересны совпадения) на адрес /index.php, добавить оригинальную строку запроса QSA и закончить работу рерайтера L. фрагмент __=1 добавляет лишнюю переменную в аргументы запроса. не помню зачем его когда-то начал использовать, но с ним удобно видеть что переадресация состоялась корректно. теперь про переадресацию к индексу. у меня отдельный хост для тестирования рерайтов и в корне лежит два файла - индекс который показывает переменные запроса и .htaccess над которым я издеваюсь. если я добавляю файлы/папки - оно начинаем мне их показывать. если закомментировать нужные строки - показывать не будет. позволяет быстро подстроиться под тестирование конкретной задачи. то есть вам весь этот технический блок может быть и не нужен но как дополнительный пример работы с рерайтером - может быть полезен. пару замечаний по вашему коду. 1. зачем такое огромное кол-во правил разбора адреса? с апача на другие серверы будет геморройно переходить. не проще делать редирект на пхп-машину и в ней уже разбирать адрес? 2. опять же ваши правила не позволяют использовать скажем русский язык в урлах. 3. перечислять ботов может быть и удобно, но в данном виде это ведь каждый раз поиск подстроки в строке. не проще запихнуть всё в одно регулярное выражение с логикой ИЛИ? 4. весь этот код НЕ должен лежать в .htaccess. то есть на сервере разработки конечно удобно писать правила без перезапуска сервера. но на продакшне поиск .htaccess занимает лишнее время, которого и без того мало у тормознутого апача. после завершения тестирования все правила из всех .htaccess должны быть записаны в конфигурацию хоста - апач единожды их скомпилирует при запуске. и плюс желательно выключить оверрайд чтоб апач не искал по всему пути файлы .htaccess. то есть если у вас запрошенный адрес /a/b/c и сайт лежит в /var/www/site то апач поищет .htaccess в /(1), /var(2), /var/www(3), /var/www/site(4), /var/www/site/a(5) /var/www/site/a/b(6) /var/www/site/a/b/c(7). а если найдет то еще сравнить с кэшированной копией надо. в общем лишние телодвижения.
Большое спасибо за помощь! Всё заработало! Перечитал несколько раз ваш комментарий (искал знакомые слова). Вот это для меня осталось загадкой (то есть я совершенно не представляю, как это реализовано): В остальном всё доступно) Еще раз БОЛЬШОЕ СПАСИБО!
реализовано просто. есть каталог на сервере, в котором лежит два файла - index.php и .htaccess. на этот каталог настроена директива virtualhost принимающая запросы на удобном домене и всех субдоменах. то есть можно играться с вариантами субдоменов, менять пусть запроса, менять аргументы - всё будет обработано одним файлом. и естественно можно менять .htaccess (ведь ради него хост и висит) и следить за тем как меняется поведение хоста. плюс естественно настроено журналирование рерайтера что помогает значительно быстрее написать корректный алгоритм рерайта. грубо говоря можно делать эти же действия на каждом домене где нужно, но это надо сначала настроить, потом убрать когда закончил играться. туда-сюда дергать настройки хоста не комильфо. намного удобнее иметь отдельную песочницу, в которой всё тестируется и уже потом просто переносится в конфигурацию боевого хоста. и ещё её плюс в том что не нужно менять настройки и перезапускать апач. правим .htaccess, создаем-удаляем каталоги-файлы если играемся с их наличием. и так далее. ну и когда часто приходится выполнять какую-то задачу - можно сделать для себя удобный инструмент. на то мы и программисты. не за что. ждем вас снова.