Использование рыбы в тестировании

Написал небольшую статейку: http://angerslave.org.ru/2008/03/01/para-slov-o-rybalke
Прошу оценить.
Выдержка:

И непосредственно код скрипта:

PHP:

1. <?php
2.  
3. function process_urls($urls)
4. {
5.   $errno = 0;
6.   $errstr = '';
7.   $texts = array();
8.   $ids = array();
9.   $eofs = array();
10.   $counter = 0;
11.   while (in_array(false, $ids) || (count($urls) != 0 && count($ids) == 0))
12.   {
13.     foreach ($urls as $id => $href)
14.     {
15.       if (!isset($ids[$id]) || $ids[$id] === false)
16.       {
17.         if ($counter != 0 && ceil($counter / 100) == $counter / 100)
18.           sleep(1);
19.         $counter ++;
20.         $href = parse_url($href);
21.         $ids[$id] = fsockopen('213.180.204.20', 80, $errno, $errstr, 5);
22.         if ($ids[$id])
23.         {
24.           $out = "GET ".$href['path']."?".$href['query']." HTTP/1.1\r\n";
25.           $out .= "Host: ".$href['host']."\r\n";
26.           $out .= "Connection: Close\r\n\r\n";
27.           fwrite($ids[$id], $out);
28.           $eofs[$id] = false;
29.           $texts[$id] = '';
30.         }
31.       }
32.     }
33.   }
34.   while (in_array(false, $eofs))
35.   {
36.     foreach ($eofs as $id => $eof)
37.     {
38.       if ($eof == false)
39.       {
40.         $texts[$id] .= fread($ids[$id], 4096);
41.         $eofs[$id] = feof($ids[$id]);
42.       }
43.     }
44.   }
45.   foreach ($ids as $id => $id_val)
46.     fclose($ids[$id]);
47.  
48.   foreach ($texts as $id => $href)
49.   {
50.     $text = $texts[$id];
51.     $text = str_replace(array("\n", "\r", '', $text);
52.     preg_match(
53.       '#<h1 style="color\:black\; margin\-left\:0\;">Тема\: \«([^»]+)»</h1>((<p>[^<]+>/p<+)</div></td>#Sim',
54.       $text, $matches);
55.     preg_match_all('#<p>([^<]+)</p>#Sim', $matches[2], $matches2);
56.     mysql_query(
57.       'INSERT DELAYED INTO data (title, textdata) VALUES ("'.mysql_escape_string($matches[1]).
58.       '", "'.mysql_escape_string(implode("\r\n", $matches2[1])).
59.       '"');
60.   }
61. }
62.  
63. set_time_limit(3600);
64.  
65. mysql_connect('localhost', 'root', 'root');
66. mysql_select_db('data');
67. mysql_query('CREATE TABLE IF NOT EXISTS `data` (
68. `title` VARCHAR( 255 ) NOT NULL ,
69. `textdata` TEXT NOT NULL
70. );');
71. mysql_query('TRUNCATE TABLE `data`');
72.  
73. $themes = array('astronomy', 'geology', 'gyroscope', 'literature', 'marketing', 'mathematics', 'music', 'polit',
74. 'agrobiologia', 'law', 'psychology', 'geography', 'physics', 'philosophy', 'chemistry', 'estetica');
75. $urls = array();
76.  
77. for ($i = 0; $i <= 50000; $i++)
78. {
79.   $themes_copy = $themes;
80.   $use_themes = array();
81.   do
82.   {
83.     $rand_index = array_rand($themes_copy);
84.     $use_themes[] = $themes_copy[$rand_index];
85.     unset($themes_copy[$rand_index]);
86.   } while (count($themes_copy) && rand(0, 5));
87.   $urls[] = 'http://referats.yandex.ru/all.xml?mix='.implode('%2c', $use_themes).'&'.implode('=on&', $use_themes).'=on';
88. }
89.  
90. while (count($urls))
91. {
92.   process_urls(array_splice($urls, -10));
93. }
94.  

Обсудим?

 

Хм. Мысль неплохая.

 

antonn, думаю что против, но в статье написал - только в целях тестирования. Да и после где-то 1000 запросов автоматически блочится сервис(для заданного IP похоже), так что особо-то и не получится прям аж наворовать нагенеренного ничего не значащего контента. Да и никаких "все права на тексты принадлежат яндекс инк., ссылка на источник обязательно, иначе сикирь башка" нет, даже есть

, но

Тестирование сайта на нагрузку в пределах веб-сервера, имхо, отнюдь не предоставление в массовое пользование.

 

Elkaz, есть определённые ограничения, связаные с русским языком. Определённые концентрации букв, определённое среднее количество букв в слове и т.д. А бить по клаве ничем не лучше for ($i = 0; $i <= 100000; $i++) { echo chr((int)rand(112, 255)); }. Как я написал в статье, это будет не очень приближено к боевым условиям.

 

Elkaz, а рандомно тыкать по клаве не лень? Чтобы нагенерить символов этак тысяч 50, сколько удёт времени и сил? Уж не проще ли пропарсить яндекс?

 

Ещё думаю описать используемую мной систему подсчёта статистики... Интересно кому?

 

Elkaz, по сути аналог логирования apache + быстрый сбор статистики, которую можно показать юзерам + возможность расширить до полномасштабного анализа.

 

Анализ 750000 записей в пределах 15 секунд, кеширование. То есть минимум нагрузки при добавлении, минимум нагрузки при анализе.

Пока лишь отдаётся статистика за месяц, за год и распределние по часам(0-23) юзерам используя amline. В планах - глубокий анализ(рефералы, хосты, страны, поисковые запросы и т.д.) для админа.

 

Clone, ты в блоге приделай rss и нормальное отображение кода

 

Горбунов Олег, http://angerslave.org.ru/rss
Надо будет поправить... То желания нет, то времени... Спасибо за предложение

 

Горбунов Олег, хм, а опера 9.2 несмотря на все ошибки вырвала фид Про поправить я и говорил, что поправить все ошибки...

 

ну, это у нее не отнять - правильный браузер.

 

sword dancer, почему бы не 2.0 сразу? Просто блог ставил давно, особо не копался, да и сейчас желания особо нет.