Обработка txt файла

PHP: PCRE - Manual

 

Если это подобие лога, где каждая запись это новая строка, то можно распарсить в массив и далее работать уже с массивом.

 

PHP:

1. foreach (file($file, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES) as $line) {
2.     if (stripos($line, $need) !== false) {
3.         echo str_replace($need, "$need:", $line) . PHP_EOL;
4.     }
5. }

 

Обожаю такие решения, особенно, когда файл с логом гигов 10 случайно оказывается ))

 

PHP:

1. function read($path): Generator
2. {
3.     $handle = fopen($path, "r");
4.  
5.     while (!feof($handle)) {
6.         yield fgets($handle);
7.     }
8.  
9.     fclose($handle);
10. }
11.  
12. $generator = read($file);
13.  
14. foreach ($generator as $line) {
15.     if (stripos($line, $need) !== false) {
16.         echo str_replace($need, "$need:", $line);
17.     }
18. }

 

Все выше перечисленный код говно.
Все ваши fopen, popen, file - канут на дно.
Явись на свет о божественный и встроенный класс для всего этого...

Спойлер: О боги PHP кода, ААААААА....

PHP:

1. new SplFileObject( "Пук" )

 

Протестировал быстродействие чтения файла размером 12GB.
При этом, если в данном файле делать поиск функцией stripos результата можно не дождаться.
Изначально думал, что fopen будет быстрее, чем SplFileObject, но тесты показывают идентичный результат.

fopen + yield: Time 12.416576147079 seconds. Memory 2.37 mb
SplFileObject: Time 12.427870988846 seconds. Memory 2.37 mb
SplFileObject + strpos: Time 30.803168058395 seconds. Memory 2.37 mb
SplFileObject + stripos: Time 508.74000191689 seconds. Memory 3.32 mb
Оптимальный результат.

PHP:

1. $file = new SplFileObject($file, 'r');
2. while (!$file->eof()) {
3.     $line = $file->fgets();
4.     if (strpos($line, $need) !== false) {
5.         echo str_replace($need, "$need:", $line);
6.     }
7. }

 

Как прикольно считать PHP богом. Возможно, для некоторых это так и есть.

 

показывай как ты тестировал.

 

В файле нет пустых строк и искомого значения "0000001A0BC1E3"

PHP:

1. <?php
2.  
3. $time_start = microtime(true);
4.  
5.  
6. function formatBytes($bytes, $precision = 2)
7. {
8.     $units = array("b", "kb", "mb", "gb", "tb");
9.  
10.     $bytes = max($bytes, 0);
11.     $pow = floor(($bytes ? log($bytes) : 0) / log(1024));
12.     $pow = min($pow, count($units) - 1);
13.  
14.     $bytes /= (1 << (10 * $pow));
15.  
16.     return round($bytes, $precision) . " " . $units[$pow];
17. }
18.  
19. $file = 'dev.log';
20. $need = '0000001A0BC1E3';
21.  
22. //function read($path): Generator
23. //{
24. //    $handle = fopen($path, "r");
25. //
26. //    while (!feof($handle)) {
27. //        yield fgets($handle);
28. //    }
29. //
30. //    fclose($handle);
31. //}
32. //
33. //$generator = read($file);
34. //
35. //foreach ($generator as $line) {
36. //    if ($line === '') {
37. //        echo $time_start . "\n";
38. //    }
39. //}
40.  
41.  
42. $file = new SplFileObject($file, 'r');
43.  
44. //while (!$file->eof()) {
45. //    $line = $file->fgets();
46. //    if ($line === '') {
47. //        echo $time_start . "\n";
48. //    }
49. //}
50.  
51. //while (!$file->eof()) {
52. //    $line = $file->fgets();
53. //    if (stripos($line, $need) !== false) {
54. //        echo $time_start.'\n';
55. //    }
56. //}
57.  
58. while (!$file->eof()) {
59.     $line = $file->fgets();
60.     if (strpos($line, $need) !== false) {
61.         echo $time_start.'\n';
62.     }
63. }
64.  
65.  
66. $time_end = microtime(true);
67. $time = $time_end - $time_start;
68. echo "Time $time seconds.\n";
69. echo "Memory " . formatBytes(memory_get_peak_usage());

 

PHP:

1. $time_start = microtime(true);
2.  
3. // Time 16.979219913483 seconds.
4. foreach ( new SplFileObject( '3g.bin', 'r' ) AS $id => $line )
5. {
6.    
7. }
8.  
9.  
10. // Time 17.596244096756 seconds.
11. /* $handle = fopen('3g.bin', "r");
12.  
13. while (!feof($handle)) {
14.     fgets($handle);
15. }
16.  
17. fclose($handle); */
18.  
19.  
20. $time_end = microtime(true);
21. $time = $time_end - $time_start;
22. echo "Time $time seconds.\n";

 

Делал тесты не один раз.
С моим конфигом (php 7.4) время всегда разное, но плюс минут одинаковое.
Иногда SplFileObject быстрее иногда fopen.
Пробовал добавлять флаги для SplFileObject. Время практически не отличается.
Возможно foreach немного быстрее.

 

каким циклов неважно. SplFileObject имеет все остальные функции по чтению больших файлов. То что выше написал - это результат только на 3 гигов данных и чем выше объем, тем существенно разница будет видна. По поводу цикла, я не вижу смысла дергать feof. И включать strpos у одной измеряемой функции, а в другой - игнорируя. Так что хз как у тебя там измеряется и при каких размерах файла.

 

Выше писал что тест проводил на логах в 12 GB. Четыре теста первые два на скорость чтения там нет strpos. 3 и 4 на поиск в строке. Да, можно и без feof SplFileObject наследуется от итератора. SplFileObject без feof не тестировал.

 

Провел тесты еще раз. Чтобы не быть голословным


SplFileObject + почти всегда быстрее
SplFileObject + foreach всегда медленней чем while + eof и fopen + eof

AMD Ryzen 5 3350G 16,0 ГБ samsung ssd 970 evo plus 250gb



Результаты тестов:
SplFileObject + eof
Time 15.993134021759 seconds.
Memory 2.35 mb

Time 16.395498991013 seconds.
Memory 2.35 mb

Time 15.90164399147 seconds.
Memory 2.35 mb

=========================================
SplFileObject без eof

Time 18.657531023026 seconds.
Memory 2.38 mb

Time 17.759664058685 seconds.
Memory 2.38 mb

Time 18.000351905823 seconds.
Memory 2.38 mb
=======================================
fopen + eof

Time 16.367401123047 seconds.
Memory 2.35 mb

Time 16.460517883301 seconds.
Memory 2.35 mb

Time 16.38111114502 seconds.
Memory 2.35 mb

=====================================
SplFileObject + setFlags +eof
Time 16.057915210724 seconds.
Memory 2.35 mb

Time 16.160215139389 seconds.
Memory 2.35 mb

Time 15.913039922714 seconds.
Memory 2.35 mb

 

Красава, тоже иногда бенчу от нечего делать, хотя самому и не надо, но интересно.