Постояное добавление в БД новых записей

БД на виртуальном выделеной сервере.
Задача организовать постояное добавление информации.
Что если в БД (именно в одну таблицу) будет постояно добавлятся около 1000 записей в минуту? Чем грозит для БД?
Как избежать "#1194 - Table 'data' is marked as crashed and should be repaired " ?

 

каждый день таблица будет очищатся и наполнятся по новой (новыми, актуальными данными)

всего за день в таблицу будет добавлено 1 000 000 записей

 

Вот поставил счас в крон на каждую минуту добавление по 60 записей (по 1 записи в секунду).
За минут 7-8 сервер повис. Сможет ли помочь увеличение частоты процесора и памяти ?
Сейчас виртуальный выделеный:процессор 300 МГц , памяти 64 метра.

 

скрипт, который добавляет новые записи

 

А как вообще можно добавить в таблицу большое количество данных без напряга для сервера?
Надо записывать около 5000 записей (размером 236 Bytes * 5000) в минуту. Как правильно организовать все это?

 

Sergey89
до каких показателей VPS надо модернизировать ?
P/S в рамках розумного!

 

точно, тектоник - наше все.

 

Sergey89

ага


и что делать?

 

Вроде не сложный скрипт, а "ложит" сервер
Запускаю его в кроне раз в каждую минуту

PHP:

1.  
2. <?php
3. print date("H:m:i")."<br>";
4. include ("connect");
5. set_time_limit(3600);
6.  
7.  
8. $code_firma=63;
9.  
10. $sql_page=mysql_query("select * from url where code_firma=$code_firma and code_new=1 limit 60 ");
11. $kilk_page=mysql_num_rows($sql_page);
12.  
13. //$kilk_page=1;
14.  
15. $sql_firma=mysql_query("select * from firma where code_firma=$code_firma");
16. $firma=mysql_fetch_array($sql_firma);
17.  
18. $url_firma=$firma[3];
19.  
20.  
21. $main_url=str_replace('http://www.','',$url_firma);
22. $main_url_regular=str_replace('.','\.',$main_url);
23.  
24. for ($k=0;$k<$kilk_page;$k++)
25. {
26.  
27. $page_data=mysql_fetch_array($sql_page);
28.  
29.  
30. $page=file_get_contents("$url_firma/$page_data[1]");
31. //$page=file_get_contents("4.htm");
32.  
33.  
34. //begin url
35. $kilk_url=preg_match_all("/href=\"(http:\/\/(www\.)?$main_url_regular\/)?(.*)\"/isU",$page,$url)."<br>";
36.  
37.  
38. for ($i=0;$i<$kilk_url;$i++)
39. {
40.  $url_page=preg_replace("/http:\/\/(www\.)?$main_url\//","",htmlentities($url[3][$i]));
41.  
42.  
43. if ((substr_count($url_page,'http')>0) or (strlen($url_page)==0) or (substr_count($url_page,'javascript')>0) or (substr_count($url_page,'#')>0))
44.     {}
45.     else
46.     {
47.          $arr_page[]=$url_page;
48.  
49.     }
50. }
51.  
52. //mysql_query("update url set code_new=0 where name_url like '$page_data[1]' ");
53.  
54. //end url
55. //begin data
56.  
57. print $page_data[1]."<br><br><br>";
58. print $kilk_data=preg_match_all("$firma[9]",$page,$data)."<br>";
59.  
60. $regular_next=$firma[10];
61. for ($m=0;$m<$kilk_data;$m++)
62. {
63.  
64.     for ($k=0;$k<strlen($regular_next);$k++)
65.     {
66.         print $data[$regular_next[$k]][$m]."<br>";
67.  
68.     }
69. $name_data=$data[$regular_next[0]][$m];
70. $url_data=$data[$regular_next[1]][$m];
71. $url_img=$data[$regular_next[2]][$m];
72. $coment=$data[$regular_next[3]][$m];
73. $cina=$data[$regular_next[4]][$m];
74. mysql_query("insert into `data_index` values ('0','$name_data', '$url_data', '$url_img', '$coment', '$cina', '$code_firma')");
75.  
76.     //name_data, url_data, url_img, coment, cina
77. }
78.  
79. if ($kilk_data>0)
80.     {
81. mysql_query("update url set code_page_data=1 where name_url like '$page_data[1]' ");
82.     }
83. //end data
84.  
85.  
86. }
87.  
88. print count($uniq_page=array_unique($arr_page))."<br>";
89.  
90. foreach($uniq_page as $value)
91. {
92. //print $value."<br>";
93.  
94. if (mysql_num_rows(mysql_query("select code_url from url  where name_url like '$value' "))==0)
95.     {
96. mysql_query("insert into url values ('','$value','$code_firma','0','1')");
97.  
98.     }
99. }
100.  
101. print date("H:m:i")."<br>";
102.  
103. //print_r ($url);
104. ?>
105.  

На том же сервере работают скрипты закачки xml весом в несколько мегабайт и по 20 000 записей и без проблем за минут 7-8 такой xml заливается

 

DarkElf
ты прав.

увеличил частоту процесора до 600 - загрузка всеравно 100%
память тоже увеличил - теперь ее жрет 30 % (раньше было тоже 100%)

что же делать?

 

может чем то заменить file_get_contents, что-бы при внешних запросах сервер не ложился?

 

Dagdamor
чтото типа тематического поисковика (но это громко сказано)
скрипт собирает цены интернет-магазинов.
простой грабер - не более.

 

Dagdamor
а если адресов 400 000 ?
и каждые сутки надо обновлять.

немного поексперементировал - вроде как

PHP:

1. array_unique

все тормозит. может такое быть?

 

Разве никто не делает граберов?
Как решаете проблему с нагрузкой при большом количестве внешних вызовов file_get_contents?