обертка для задач, запускаемых по крону

Доброго времени суток!

Сегодня в сто первый раз сталкнулся с проблемой, что какая- то задача, вызываемая ночью по крону не работает, а я об этом узнаю спустя несколько дней. Эти кроновские скрипты отличаются от обычных. Я с ними намучился. Они, во- первых, не вызываются через апач, и,во- вторых, результат их работы не виден на экране. Так что вы не скоро узнаете, если он не сработал.

Самый смешной случай был, когда я случайно открыл одну XML- выгрузку, еженочно генерируемую по крону и обнаружил, что это файл двухмесячной давности. Эта выгрузка потом загружалась сторонней статистической программой и на основании ее данных высокое руководство судит о работе всей нашей организации. Хорошо, что отчет они видят в виде двух статистических цифр и они думали, что раз цифры не изменяются, значит мы работаем очень стабильно.

Давно собирался, но только сегодня в очередной раз кинутый занялся этой проблемой, и создал себе помощника - небольшую библиотечку. Класец Cron, который будет выполнять такие скрипты и вызывает обработчик ошибок, если они конечно там возникнут и сообщать мне. Работать будет так:

PHP:

1. <?php
2.  
3. class FuckingBuggingCronTask implements Cron_Task{
4.     function run() {
5.         //тут сам скрипт, который раньше запускался по крону
6.         include 'cron_tumbit.php';
7.     }
8. }
9.  
10. $cron= new Cron();
11. $cron->setErrorHandler(new Cron_ErrorMailer());
12. $cron->runTask(new FuckingBuggingCronTask());

вот исходники

PHP:

1. <?php
2.  
3. /**
4.  * Description of Cron
5.  *
6.  */
7. class Cron extends Model {
8.     /**
9.      *
10.      * @var Cron_ErrorHandler Перехватчик ошибок, возникших во время выполнения задачи
11.      */
12.     private $errorHandler;
13.    
14.     function __construct($errorHandler) {
15.         $this->setErrorHandler($errorHandler);
16.     }
17.     /**
18.      * Перехватчик ошибок, возникших во время выполнения задачи
19.      *
20.      * @return Cron_ErrorHandler
21.      */
22.     public function getErrorHandler() {
23.         return $this->errorHandler;
24.     }
25.     /**
26.      * @param Cron_ErrorHandler $errorHandler
27.      */
28.     public function setErrorHandler($errorHandler) {
29.         $this->errorHandler = $errorHandler;
30.     }
31.     /**
32.      * запускает задачу
33.      * в случае, если во время ее выполнения происходит ошибка,
34.      * отдает ее обработчику ошибок
35.      * любой вывод считается варнингом и тоже обрабатывает обработчиком
36.      *
37.      * @var Cron_Task $task Задача, которую нужно выполнить крону
38.      */
39.     function runTask(Cron_Task $task) {
40.         try {
41.             ob_start();
42.             $task->run();
43.  
44.             //во время выполнения таска произошел варнинг
45.             if ($output= ob_get_clean()) {
46.                 $e= new Exception($output);
47.                 $this->getErrorHandler()->OnError($task, $e);
48.             }
49.  
50.         //во время выполнения таска произошела ошибка
51.         } catch (Exception $e) {
52.             $this->getErrorHandler()->OnError($task, $e);
53.         }
54.     }
55. }
56.  
57. /**
58.  * Задача, запускаемая по крону
59.  */
60. Interface Cron_Task {
61.     function run();
62. }
63.  
64. /**
65.  * Перехватчик ошибок возникших во время выполнения задачи крона
66.  * обрабатыввает ошибки возникшие во время выполнения задачи
67.  */
68. Interface Cron_ErrorHandler {
69.     /**
70.      *
71.      * @param Cron_Task $task
72.      * @param Exception $error
73.      */
74.     function OnError($task, $error);
75. }
76.  
77. /**
78.  * Перехватчик ошибок внутри задачи, который отсылает ошибки админу на почту
79.  */
80. class Cron_ErrorMailer implements Cron_ErrorHandler {
81.     /**
82.      *
83.      * @param Cron_Task $task
84.      * @param Exception $error
85.      */
86.     function OnError($task, $error) {
87.         $mailer= new AutoMailer();
88.         $mailer->AddAddress(ADMINMAIL);
89.         $mailer->Subject= "Ошибка во время выполнения в задачи крона!";
90.         $mailer->Body= "
91.            <p>Во время выполнения задачи крона произошла ошибка</p>
92.            <p>&nbsp;</p>
93.            <p>Класс задачи: ".get_class($task)."</p>
94.            <p>Класс ошибки: ".get_class($error)."</p>
95.            <p>Сообщение: {$e->getMessage()}</p>
96.            <p>Файл: {$e->getFile()}</p>
97.            <p>Строка: {$e->getLine()}</p>
98.            <p>Стэк:</p>
99.            <pre>$e->getTraceAsString()</pre>
100.            ";
101.         try{
102.             $mailer->Send();
103.         }
104.         catch(MailException $e) {}
105.     }
106. }

Исходники наверняка в багах, потому что я их еще ни разу не запускал. сегодня время остается только чтобы открыть тему. Смысл все равно понятен. Кто что думает? может я вообще зря все это делаю, потому что кто- то уже написал такую библиотечку или есть какое- то другое решение средствами крона и пхп?

 

да, косяков у такого подхода много.
во-первых, крон может вообще не вызвать задачу, потому что сисадмин снес его и забыл что он зачем- то был нужен. она не выполнится, но я об этом ничего не узнаю
во- вторых, есть ошибки, которые не перехватываются try- catch, например нет файла или нет такого класса, такие ошибки админу тоже не уйдут.

мне очень понравились логи в базе, потому что они решают обе эти проблемы.
но и у логов есть один недостаток- их надо каждый день просматривать. Поэтому, совместив оба этих подхода, получил вот такого франкенштейна. использовать планирую все так же

PHP:

1. <?php
2.   class FuckingBuggingCronTask implements Cron_Task{
3.       function run() {
4.           //тут сам скрипт, который раньше запускался по крону
5.           include 'cron_tumbit.php';
6.       }
7.   }
8.  
9.   $cron= new Cron();
10.   $cron->addEventHendler(new Cron_ErrorMailer());
11.   $cron->addEventHendler(new Cron_DBLogger());
12.   $cron->runTask(new FuckingBuggingCronTask());

исходники (в багах)

PHP:

1.  
2. <?php
3. <?php
4. /**
5.  * Description of Cron
6.  *
7.  */
8. class Cron extends Model {
9.     /**
10.      *
11.      * @var array ICron_EventHandler массив обработчиков крона. вызываются при запуске задачи, ошибке во время задачи и завершении задачи
12.      */
13.     private $eventHandlers= array();
14.    
15.     function __construct($eventHandlers= array()) {
16.         foreach($eventHandlers as $eventHandler)
17.             $this->addEventHandler($eventHandler);
18.     }
19.     /**
20.      * массив обработчиков крона. вызываются при запуске задачи, ошибке во время задачи и завершении задачи
21.      *
22.      * @return array Cron_EventHandler
23.      */
24.     public function getEventHandlers() {
25.         return $this->eventHandlers;
26.     }
27.     /**
28.      * @param Cron_EventHandler $eventHandler
29.      */
30.     function addEventHandler($eventHandler) {
31.         $this->eventHandlers[] = $eventHandler;
32.     }
33.     /**
34.      * запускает задачу
35.      * основные события передает обработчикам событий:
36.      * запуск, ошибки и варнинги, завершение задачи
37.      * любой вывод считается варнингом и тоже обрабатывает обработчикам
38.      *
39.      * @var Cron_Task $task Задача, которую нужно выполнить крону
40.      */
41.     function runTask(Cron_Task $task) {
42.         foreach($this->getEventHandlers() as $eventHandler)
43.             $eventHandler->OnRun($task);
44.         try {
45.             ob_start();
46.             $taskResult= $task->run();
47.  
48.             //во время выполнения таска произошел варнинг
49.             if ($output= ob_get_clean()) {
50.                 $e= new Exception($output);
51.                 foreach($this->getEventHandlers() as $eventHandler)
52.                     $eventHandler->OnError($task, $e);
53.                 return;
54.             }
55.  
56.         //во время выполнения таска произошела ошибка
57.         } catch (Exception $e) {
58.             foreach($this->getEventHandlers() as $eventHandler)
59.                 $eventHandler->OnError($task, $e);
60.             return;
61.         }
62.  
63.         //нормальное завершение
64.         foreach($this->getEventHandlers() as $eventHandler)
65.             $eventHandler->OnComplete($task, $taskResult?$taskResult:new Cron_TaskResult());
66.     }
67. }
68. /**
69.  * Результат задачи, который будет передан логеру
70.  */
71. final class Cron_TaskResult{
72.     public $code= 0;
73.     public $message= 'Выполнено';
74. }
75. /**
76.  * Задача, запускаемая по крону
77.  */
78. abstract class Cron_Task {
79.     /**
80.      *
81.      * @var int идентификатор задачи
82.      */
83.     private $id;
84.     function __construct() {
85.         $this->id= 'время в милисекундах';
86.     }
87.     function getId() {
88.         return $this->id;
89.     }
90.     /**
91.      * @return Cron_TaskResult
92.      */
93.     abstract function run();
94. }
95.  
96. /**
97.  * Перехватчик ошибок возникших во время выполнения задачи крона
98.  * обрабатыввает ошибки возникшие во время выполнения задачи
99.  */
100. Interface ICron_EventHandler {
101.     /**
102.      * Вызывается при старте задачи
103.      * @param Cron_Task $task
104.      */
105.     function OnRun(Cron_Task $task);
106.     /**
107.      * Вызывается при возникновении ошибки в задаче
108.      *
109.      * @param Cron_Task $task
110.      * @param Exception $error
111.      */
112.     function OnError(Cron_Task $task, Exception $e);
113.     /**
114.      * Вызывается при нормальном завершении задачи
115.      *
116.      * @param Cron_Task $task
117.      * @param Cron_Result $taskResult
118.      */
119.     function OnComplete(Cron_Task $task, Cron_TaskResult $taskResult);
120. }
121. /**
122.  *  обработчик событий, который отсылает ошибки внутри задачи админу на почту
123.  */
124. class Cron_ErrorMailer implements ICron_EventHandler {
125.     function OnRun(Cron_Task $task){}
126.     function OnComplete(Cron_Task $task, Cron_TaskResult $taskResult){}
127.  
128.     function OnError($task, $error) {
129.         $mailer= new AutoMailer();
130.         $mailer->AddAddress(ADMINMAIL);
131.         $mailer->Subject= "Ошибка во время выполнения в задачи крона!";
132.         $mailer->Body= "
133.            <p>Во время выполнения задачи крона произошла ошибка</p>
134.            <p>&nbsp;</p>
135.            <p>Класс задачи: ".get_class($task)."</p>
136.            <p>Класс ошибки: ".get_class($error)."</p>
137.            <p>Сообщение: {$e->getMessage()}</p>
138.            <p>Файл: {$e->getFile()}</p>
139.            <p>Строка: {$e->getLine()}</p>
140.            <p>Стэк:</p>
141.            <pre>$e->getTraceAsString()</pre>
142.            ";
143.         try{
144.             $mailer->Send();
145.         }
146.         catch(MailException $e) {}
147.     }
148. }
149.  
150. /**
151.  * Логгер крона, который всю информацию сохраняет в базе
152.  * таблица cron_logs
153.  */
154. class Cron_DBLogger extends Model implements ICron_EventHandler {
155.     function OnRun(Cron_Task $task){
156.         //бла бла бла задача и время старта уходят в базу
157.     }
158.     function OnError(Cron_Task $task, Exception $e){
159.         //ошибка уходит в базу
160.     }
161.     function OnComplete(Cron_Task $task, Cron_TaskResult $taskResult){
162.         //бла бла бла результат тоже в базу
163.     }
164.     /**
165.      * Очищает свои накопленные логи
166.     */
167.     function clear(){
168.         //delete from cron_logs
169.     }
170.     /**
171.      * возвращает все логи с $from по $to, включительно в виде плоского массива {task, run, errorcode, errormessage, errorfile, errorline,  errortrace, resultcode, resultmessage}
172.      *
173.      * @param Date $from
174.      * @param Date $to
175.      *
176.      * @return array {task, run, errorcode, errormessage, errorfile, errorline,  errortrace, resultcode, resultmessage}
177.      */
178.     function get($from, $to){
179.         //select from cron_logs where between $from $to
180.     }
181. }
182.  

Естественно, в уме предполагаю вьюшку для DBLoger а в виде таблицы с красными строками, у которых есть эррор или нет резалта, что означает крон оборвался где- то посередине на require_once или "нет такого класса". Какие есть мнения?

 

сразу видно, я не сисадмин ни в одном глазу, если не знал этого. а эта >> добавляет в файл или пересоздает его по новой?
а вообще тоже ничего, главное просто, как колесо

 

пишешь из ПХП, правильно я понял? если так, это как раз то, что я и собираюсь делать при помощи обертки.

а что ты думаешь по поводу php /www/htdocs/file.php >> log.log ?

 

да какие мега-классы? ровно это и написано, если использовать Cron + Cron_ErrorMailer

просто чтобы каждый раз в каждом кроновском скрипте не писать эти отсылки и звонки и решился написать эту обертку. это реально удобнее, чем захламлять смысловой код кроновского скрипта всякими отсылками и звонками, которые по смыслу как бы за рамками этого скрипта.

php /www/htdocs/file.php >> log.log очень нравится своей банальностью.

 

Понятно. Задача в том, чтобы оставить скрипты как есть прикладными скриптами без дополнительной нагрузки всякими служебными приблудами. И придумать способ как в 100% случаев сбоев получать Alarm! на свою почту. Получать сообщения в случаях успешного выполнения (это когда oputput пустой) не желательно. Потому что зачем оно мне надо да? Спам какой-то, ну выполнился и выполнился. Зачем мне эти письма каждое утро?

А вот это вот не понял

еще раз другими словами можно?

Если как Psih, то Cron + Cron_DBLogger, и у меня тоже все будет ок! ну и Cron_ErrorMailer впридачу, чтобы с утра первым делом почту открыл и сразу увидел, что что-то не так.


А почему никто не делает php /www/htdocs/file.php >> log.log ?

 

если я правильно понял, то это что-то вроде моего abstract class Cron_Task с его уникальным айдишником

это да, перебрал. К тому же такие случаи лежат в зоне ответственности сисадмина, поэтому правильнее бедет, если об этом будет ломать голову сам сисадмин. про то что крон "забыл" вызвать скрипт навсегда забываем.

 

Получить систему, которая гарантированно сообщает об ошибках сама можно только обрабатывая STDERR снаружи от ПХП, потому что в самом ПХП невозможно перехватить ошибки типа "банан тебе а не require_once" и "нет такого класса". Так что только PHP обертками тут не обойдешься.

От Cron + Cron_DBLogger (Psih style) тоже не в восторге, потому что его надо открывать и просматривать каждый день, а я лентяй в хорошем смысле. С таким же успехом я могу STDERR отправлять в файл при помощи >> , сделать ссылку на рабочем столе на него и с утра проверять не появилось ли там чего нового.

 

Допустим существование самого cron_tumbit.php можно проверить по file_exists, но он рекварит пяток других файлов, а каждый из них еще пяток и т.д. кроновский файл может подключать больше сотни файлов. Их ты как проверять будешь по file_exists?

А про рекваре я беспокоюсь потому что на той неделе именно она оборвала ночной скрипт после того как я технично подредактировал include_path.

Если вводить какую- то страховочную систему, которая сообщает о ночных багах, то только такую которая работает во всех 100% ситуациях. Если система обрабатывает все ошибки но не файл нот экзист и класс нот экзист, то это какая-то полумера. Ее саму придется страховать. А зачем она тогда нужна? Я пока что ума не приложу, как из PHP перехватить эти две ошибки. Если это сделать, можно запускать любой кроновский скрипт из под PHP-обертки.

 

autoload тут не поможет. Из __autoload(), насколько я знаю, запрещено выбрасывать эксепшины. И сам file not exists trycatch-ом не перехватывается.