Maximum execution time of 900 seconds exceeded on line 15

Привет! Скрипт читает n строк из текстового файла, собирает запрос и загоняет его в базу данных MySQL. Процесс повторяется до достижения конца файла.

При обработке большого (3GB) файла вылетает ошибка: Maximum execution time of 900 seconds exceeded on line 15. Строка где:

PHP:

1. if ($s = fgets($file)){

Причем такого таймаута ни в php.ini ни в настройках апача. Пробовал несколько раз переписать функцию Read_filе(), но никакого успеха за неделю не добился.

Буду благодарен любым советам для решения данной проблемы или вообще по скрипту. Спасибо!

PS. использую XAMPP 7.1

PHP:

1. <?php
2. ini_set('default_socket_timeout',12000);
3. ini_set('memory_limit', '256M');
4. set_time_limit(0);
5.  
6. //Функция получает имя файла, начальную строку и сколько строк прочитать всего. Возвращает массив строк.
7. function Read_file($file_name, $start_row, $how_much_rows){
8.     $file = NULL;
9.     $file = fopen($file_name, "rb") or die($php_errormsg);
10.     $fbuffer = array();
11.     $line_counter = 0;
12.     $i = 0;
13.     while ((!feof($file)) && ($line_counter < $start_row)) {
14.         if ($s = fgets($file)) {
15.             $line_counter++;
16.         }
17.     }
18.  
19.     while((!feof($file)) && ($i < $how_much_rows))
20.        {
21.             $fbuffer[] = fgets($file);
22.             $i++;
23.        }
24.    
25.     fclose($file) or die($php_errormsg);
26.     return $fbuffer;
27. }
28.  
29. $line = 0; //Указываем с какой строки начинаем читать
30. $count_line = 899; //Указываем сколько строк надо прочесть
31.  
32.  
33.     ini_set("auto_detect_line_endings", "ON");
34.     $arFileList = glob("*.txt"); //получим список файлов .txt в текущей директории
35.  
36.     $Sucsess_dir = "sucsess"; //Создадим или проверим директорию куда будем кидать УСПЕШНЫЕ базы
37.     if(!is_dir($Sucsess_dir)) {
38.         mkdir($Sucsess_dir);
39.     }
40.  
41.     $Errors_dir = "errors"; //Создадим или проверим директорию куда будем кидать базы с ОШИБКАМИ
42.     if(!is_dir($Errors_dir)) {
43.         mkdir($Errors_dir);
44.     }
45.  
46.     //var_dump($arFileList);
47.     require_once("../import_settings.php"); //начинаем обработку файла
48.     $WasError = false;
49.  
50.     for ($p=0; $p < count($arFileList); $p++) { //начинаем передобр текстовых файлов в текущей директории
51.         $file = $arFileList[$p];
52.         echo "<p>ФАЙЛ: ".$file."<br>";
53.         if (isset($file))
54.         {      
55.          
56.                        
57.                         $res = Read_file($file,0,$count_line);
58.  
59.                         //узнаем сколько всего строк в файле
60.                         $handle = @fopen($file, "r");
61.                         $total_lines=0;
62.                           while (!feof($handle))  
63.                           {
64.                               $bufer = fread($handle,1048576);
65.                               $total_lines+=substr_count($bufer,"\n");
66.                           }
67.                         fclose($handle);
68.                         //--
69.  
70.                         mysqli_close($link);
71.                        
72.                         while ($line < $total_lines){
73.                         $link = mysqli_connect($dblocation,$dbuser,$dbpasswd,"zorge_db");
74.                         $result = mysqli_query($link, "set names utf8") or die("Ошибка " . mysqli_error($link));
75.                         $Add = "";
76.                         $query_part = 0;
77.                         $rows = array();
78.                         for ($s=0; $s<count($res); $s++) //начинаем построчно обрабатывать файл
79.                             {
80.                                 $buffer = $res[$s];
81.                                 strip_tags($buffer); //удаляем html php из строки
82.                                 trim($buffer);
83.                                 $buffer = $buffer.$Add; //добавляем предыдущую строку, если та не была записанна из за меньшего количества ячеек
84.                                 trim($buffer,$razdelChar);
85.                                 $columns = explode($razdelChar, $buffer); //разбиваем строку в массив
86.  
87.                                
88.                                     if ($query_part == 0)
89.                                     {
90.                                     $helpQ = $helpQpt1." VALUES ( ";
91.                                         for ($i=0; $i < count($columns)-1; $i++)
92.                                         {
93.                                             $helpQ = $helpQ."'".str_replace($needles, $replacements, $columns[$i])."', "; //создаем запрос на внесение данных в БД
94.                                         }
95.                                         $helpQ = $helpQ."'".str_replace($needles, $replacements, $columns[count($columns)-1])."' )"; //последний столбец загоняем без запятой
96.                                         $rows[$query_part] = $helpQ;
97.                                         $query_part++;
98.                                     }
99.                                     else
100.                                     {
101.                                         $helpQ = ", ( ";
102.                                         for ($i=0; $i < count($columns)-1; $i++)
103.                                         {
104.                                             $helpQ = $helpQ."'".str_replace($needles, $replacements, $columns[$i])."', "; //создаем запрос на внесение данных в БД
105.                                         }
106.                                         $helpQ = $helpQ."'".str_replace($needles, $replacements, $columns[count($columns)-1])."' )"; //последний столбец загоняем без запятой
107.                                         $rows[$query_part] = $helpQ;
108.                                         $query_part++;
109.                                     }
110.                              
111.  
112.                                 $line++;                  
113.                             }
114.                            
115.                             //Выполняем запрос на запись:
116.                             $query1 = implode($rows);                          
117.  
118.                                     $result = mysqli_query($link, $query1);
119.                                     if ($result == FALSE) {
120.                                         echo "Ошибка " . mysqli_error($link) . "<br><br>";
121.                                         rename($file,$Errors_dir."/".$file);
122.                                         break;
123.                                     }
124.                                     else //запись прошла успешно
125.                                     {
126.                                         $Add = "";
127.                                     }
128.                            
129.                          
130.                             $res = Read_file($file,$line,$count_line);
131.                             mysqli_close($link);
132.                         }
133.                            
134.                             echo "Все данные успешно внесены в БД. Строк записано: ".strval($line-1);  
135.                             rename($file,$Sucsess_dir."/".$file); //переместим файл в директорию с файлами без ошибок
136.                              
137.                         }
138.                         else
139.                         {
140.                             $WasError =false;//Пропустили файл с ошибкой, обнулим счетчик
141.                         }
142.                            
143.         }
144.         else
145.         {
146.             echo("<br> Возникли проблемы при загрузке файла");
147.         }          
148.                        
149.     }
150.  
151.     ?>

 

PHP:

1.  while ((!feof($file)) && ($line_counter < $start_row)) {//пока не достигли строки с которой надо начать считывание или конца файла выполняем:
2.         if ($s = fgets($file)) { //проверяем корректность считываения строки Если написать просто fgets($file), то ошибка не пропадает
3.             $line_counter++;  //увеличиваем счетчик уже прочитанных строк
4.         }
5.     }
6. //Файл не закрываем продолжим работу со строки на которой остановились
7.  
8.     while((!feof($file)) && ($i < $how_much_rows))// пока не достигли конца файла и счетчик строк меньше количества, которое необходимо вернуть
9.        {
10.             $fbuffer[] = fgets($file); //добавляем строку из файла в массив, который потом выведем
11.             $i++; //увеличиваем счетчик строк
12.        }
13.  
14.     fclose($file) or die($php_errormsg);//закрываем файл
15.     return $fbuffer;//возвращаем массив строк

 

Можно вас попросить чуть подробнее рассказать? Ссылки на что почитать

 

Погуглил, вряд ли это решит проблему если скрипт лажает при обработке одного файла