Чтение большого кол-ва файлов

Здравствуйте, есть папка в которой около 70 000 html файлов и следующий скрипт:

Код (Text):

1.  
2.         $dir   = "/home/fighters";
3.         $files = scandir($dir);
4.  
5.         $links = array();
6.  
7.         foreach ($files as $ind => $file)
8.         {
9.             if (in_array($file, array(".", ".."))) continue;
10.  
11.             $c = $this->clear(file_get_contents($dir . "/"  . $file));
12.  
13.             preg_match_all('|href="/events/(.*)"|isU', $c, $events);
14.             if (isset($events[1]))
15.             {
16.                 $links = array_merge($links, $events[1]);    
17.             }
18.  
19.             echo $ind . "\n";
20.         }
21.  
22.         $links = array_unique($links);
23.  
24.         foreach($links as $ind => $link)
25.         {
26.             $links[$ind] = "http://www.site.com/events/{$link}";
27.         }
28.  
29.         $links = implode("\n", $links);
30.         $file   = "./data/links/events.txt";
31.  
32.         file_put_contents($file ,$links);            
33.         chmod($file, 0777);

Где то на 20 000 - ом файле появляется ошибка:
PHP Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 524288 bytes).

В php.ini - memory_limit 1280000M

Почему то скрипт с дальнейшими итерациями ест все больше и больше памяти.

 

да можно попробовать добавлять в файл на каждой итерации, причем тут БД? мне нужно из большого кол-ва файлов пропарсить ссылки, которые потом wget буду отдавать