Пишу простенький парсер. Проблема с записью результатов в БД

Re: Пишу простенький парсер. Проблема с записью результатов

Заменил http://pars1.svdmag.ru/mylessons/count.php. Выводит "CHERY", а в БД не пишет

 

Re: Пишу простенький парсер. Проблема с записью результатов

tb_parts_name TINYTEXT,
tb_parts_code VARCHAR(255),
tb_cars_manufacture VARCHAR(255),
tb_cars_model VARCHAR(255)

Это таблица, собственно

Добавлено спустя 3 минуты 25 секунд:
Re: Пишу простенький парсер. Проблема с записью результатов в БД
Я не знаю, как это проверить в PHPMyAdmin, сейчас попробую. Где это примерно смотреть?

 

Re: Пишу простенький парсер. Проблема с записью результатов

Это запросил

Код (Text):

1. INSERT INTO `parts_temp`(`id`, `tb_parts_name`, `tb_parts_code`, `tb_cars_manufacture`, `tb_cars_model`) VALUES ([value-1],[value-2],[value-3],[value-4],[value-5])

Это ответило

Добавлено спустя 2 минуты 7 секунд:
Re: Пишу простенький парсер. Проблема с записью результатов в БД
tb_cars_model я просто не дописал в запросе, он и с ним и без него одинаковый результат выдает.
Вот так я создал таблицу в бд, собственно, структура та же и осталась, я не изменял в ней ничего

Код (Text):

1.  
2. mysql_query("CREATE TABLE parts_temp(id int auto_increment primary key,
3. tb_parts_name TINYTEXT,
4. tb_parts_code VARCHAR(255),
5. tb_cars_manufacture VARCHAR(255),
6. tb_cars_model VARCHAR(255))") or die(mysql_error());
7. mysql_close();
8. print "Table created!<br>";

Добавлено спустя 16 минут 20 секунд:
Re: Пишу простенький парсер. Проблема с записью результатов в БД
Если прямо так вставить:

Код (Text):

1. INSERT INTO `parts_temp` (`tb_parts_name`, `tb_parts_code`, 'tb_cars_manufacture')
2. VALUES ('{$element_name[$i]->innertext}', '{$element_article[$i]->innertext}', '{$cars_arr[$i]}')

Пишет

Добавлено спустя 4 минуты 1 секунду:
Re: Пишу простенький парсер. Проблема с записью результатов в БД

Это скрин. Вот интересно, первые два столбца он подкрашивает, а последний нет...

 

Re: Пишу простенький парсер. Проблема с записью результатов

Вот так добавил запрос

Код (Text):

1. INSERT INTO `parts_temp` (`tb_parts_name`, `tb_parts_code`)
2. VALUES ('{$element_name[$i]->innertext}', '{$element_article[$i]->innertext}')

Пишет:

А вот на это

Код (Text):

1.  
2. INSERT INTO `parts_temp` (`tb_parts_name`, `tb_parts_code`, 'tb_cars_manufacture', 'tb_cars_model')
3. VALUES ('{$element_name[$i]->innertext}', '{$element_article[$i]->innertext}', '{$cars_arr[$i]}', '{$models_arr[$i]}')

Выдает ошибку:

Добавлено спустя 3 минуты 43 секунды:
Re: Пишу простенький парсер. Проблема с записью результатов в БД
Кажется, допер. Сейчас попробую. Я на самом деле в php новичок, а до этого на action script во флеше работал, а вот, апостроф здесь высветился, а у меня в редакторе все одинаково выглядит, что грависа, что апостроф.

 

Re: Пишу простенький парсер. Проблема с записью результатов

Кстати, перебирая темы про массивы в php, синтаксис и бегло прочитав учебник на php-s.ru, про грависы и апострофы нигде ничего не встретил. )

Добавлено спустя 52 секунды:
Re: Пишу простенький парсер. Проблема с записью результатов в БД
И получилось ведь! ну, спасибо ) Ты сам из какого города?

 

Re: Пишу простенький парсер. Проблема с записью результатов

Это я просто сказал, что читая материал, в т.ч. о массивах, а еще и о mysql не увидел об апострофах и грависах никакого замечания. До этого из флэш я только передавал значения переменных в php или другие языки. А для БД придумывал только структуру и связи между таблицами, писал ТЗ. А вот самому программировать не приходилось. Сейчас изучаю, в данном случае на примере парсера. Сильно глубоко вникать не хочу. Круг моих задач ограничивается сбором информации, структурированием, возможно наполнением. Программистов моих слишком долго ждать приходится, когда что-то надо срочно сделать. Вот сейчас мне надо будет спарсить артикулы деталей и названия из каталогов и вставить все в 1С, бывают заказы на наполнения сайта, а выдергивать инфу нужно с другого сайта (те же названия и картинки). Есть задачи в области анализа конкурентов, а мне не хочется, чтобы о всех моих придумках и заморочках знали другие. А в штат прогера взять пока по финансам накладно.

Сегодня 4-й день изучения php, а пока я искал ошибку, которую ты нашел, очень многое для себя изучил, подчерпнул.

 

Re: Пишу простенький парсер. Проблема с записью результатов

Логично. В целом я имею представление об этом, т.к. вел пару проектов, но сам ничего не писал, у меня был в команде программист. Язык ни при чем, это понятно. Представление о том, что я делаю у меня есть четкое, а вот, как это пишется, нет. Вот и изучаю. Но сильно глубоко в программирование углубляться пока не планирую. Так, попарсить что-то на скорую руку, создать прототип будущего проекта, чтобы протестировать реакцию аудитории, а потом передавать прогеру более опытному. Последний раз писал программу в 2008 году в Action Script. Тут возникла необходимость, задачи разные, но несложные. Вот, по сути, этот парсер, что я сделал, писать 10-15 минут, а поставить задачу программисту 30-40 минут, еще потом что-то не так сделает, трата времени на объяснения. Что ТЗ написать, что прототип накидать, по времени небольшая разница, зато, прежде, чем тратить деньги на реализацию проекта, можно протестировать и уже потом составить более подробное задание для программиста.

 

Re: Пишу простенький парсер. Проблема с записью результатов

Парсер я сделал в итоге. Код ниже. Усложняю себе задачу и опишу ее в следующей теме. Смысл в том, что я заметил на том же сайте несколько страниц (пагинация). И стоит задача пропарсить все их за раз.

Код самого парсера

Код (Text):

1.  
2. <?php
3.  
4. // example of how to use advanced selector features
5. include('config.php');
6. include('simple_html_dom.php');
7. //$page_where_parse='http://relines.ru/catalog/chery-amulet/';
8. $page_where_parse=$_POST['page_adress'];
9. $html = file_get_html($page_where_parse);
10.  
11. //УСЛОВНЫЕ КОНСТАНТЫ. СЮДА ЖЕ ПЕРЕДАЮТСЯ ДАННЫЕ С ФОРМЫ
12. $count_pars = count ($html->find('p.b-catalog__item__sku a'));
13. //$car='CHERY';
14. //$model='Amulet';
15. //$rusname='Чери Амулет';
16. //$prefix='body';
17.  
18. $car=$_POST['car'];
19. $model=$_POST['model'];
20. $rusname=$_POST['rusname'];
21. $prefix=$_POST['prefix'];
22.  
23. $td_adress_folder='/katalog/'.$car.'/'.$model.'/'.$prefix.'/';
24.  
25. //проверяю скрипт на ошибки. Если выводится это, то ошибок в синтаксисе нет, по идее.
26. //echo 'it works <br/>'.$count_pars.'<br/>';
27.  
28. //МАССИВЫ СОДЕРЖАНИЕ САЙТА
29. $element_article=$html->find('p.b-catalog__item__sku a');
30. $element_name=$html->find('p.b-catalog__item__t a');
31. $td_adress_arr = array();
32. $td_content_arr = array();
33. $td_keywords_arr=array();
34. $td_description_arr=array();
35. $td_title_arr=array();
36. $td_content_arr=array();
37.  
38.  
39.  
40. ?>
41.  
42. <html>
43. <head>
44. <title>Парсер RELINES.RU</title>
45. <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
46. <link href="/css/base.css" rel="stylesheet">
47.     <!-- Bootstrap -->
48.     <link href="/css/bootstrap.css" rel="stylesheet">
49.       <link href="/css/bootstrap-theme.css" rel="stylesheet">
50.  
51.     <!-- HTML5 Shim and Respond.js IE8 support of HTML5 elements and media queries -->
52.     <!-- WARNING: Respond.js doesn't work if you view the page via file:// -->
53.     <!--[if lt IE 9]>
54.       <script src="https://oss.maxcdn.com/html5shiv/3.7.2/html5shiv.min.js"></script>
55.       <script src="https://oss.maxcdn.com/respond/1.4.2/respond.min.js"></script>
56.     <![endif]-->
57.    
58.       <!-- jQuery (necessary for Bootstrap's JavaScript plugins) -->
59.     <script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
60.     <!-- Include all compiled plugins (below), or include individual files as needed -->
61.     <script src="/js/bootstrap.min.js"></script>
62.     <script type="text/javascript" src="/js/carousel.js"></script>
63. </head>
64. <body>
65.  
66.  
67. <?php
68.  
69. for($i = 0; $i < $count_pars; $i++)
70.   {
71.  
72. //CONTENT
73.  
74. $td_content_arr[$i]='
75.  
76. <ol class="breadcrumb">
77.   <li><a href="/">Запчасти для иномарок</a></li>
78.   <li><a href="/sp-catalogs/china-parts/1/">Запчасти для китайских автомобилей</a></li>
79.   <li class="active">'.$element_name[$i]->innertext.' '.$car.' '.$model.' ('.$rusname.') '.$element_article[$i]->innertext.'</li>
80. </ol>
81. <h1>'.$element_name[$i]->innertext.' '.$car.' '.$model.' ('.$rusname.') '.$element_article[$i]->innertext.'</h1>
82. <div class="row">
83. <!--ИЗОБРАЖЕНИЕ-->
84. <div class="col-lg-8"><img class="img-thumbnail" src="/_upload/no.gif"></div>
85. <!--ИЗОБРАЖЕНИЕ--/>
86. <!--КНОПКИ-->
87. <div class="col-lg-4">
88. <div>Артикул</div>
89. <h2>'.$element_article[$i]->innertext.'</h2>
90. <a href="/search.html?article='.$element_article[$i]->innertext.'" class="btn btn-danger"><span class="glyphicon glyphicon-search"></span> Посмотреть цены и наличие</a>
91. <p>Выберете оптимальный срок поставки и цену на товар с нашего склада или складов наших поставщиков</p>
92.  
93. <h3><a hreg="/contacts/">Адреса магазинов</a></h3>
94. <h3><a hreg="/about/delivery/">Доставка по России</a></h3>
95.  
96. <button type="button" class="btn btn-danger btn-lg" data-toggle="modal" data-target="#signservice">
97. Запись в автосервис
98. </button>
99.  
100. <!--SOCSETI-->
101. <div class="social-buttons">
102. <h5>Поделиться в социальных сетях</h5>
103. <script type="text/javascript" src="//yastatic.net/share/share.js" charset="utf-8"></script><div class="yashare-auto-init" data-yashareL10n="ru" data-yashareQuickServices="vkontakte,facebook,twitter,odnoklassniki,moimir,gplus" data-yashareTheme="counter"></div>
104. </div>
105. <!--SOCSETI-->
106.  
107. </div>
108. <!--/КНОПКИ-->
109. </div>
110.  
111.  
112.  
113. <!--MODAL-->
114. <div class="modal fade" id="signservice" tabindex="-1" role="dialog" aria-labelledby="myModalLabel" aria-hidden="true">
115.   <div class="modal-dialog">
116.     <div class="modal-content">
117.       <div class="modal-header">
118.         <button type="button" class="close" data-dismiss="modal"><span aria-hidden="true">&times;</span><span class="sr-only">Закрыть</span></button>
119.         <h4 class="modal-title" signserviceLabel">Запись в автосервис</h4>
120.       </div>
121.       <div class="modal-body">
122. <h3><a href="/services/repair/krasnodar/">Адреса СТО в Краснодаре</a></h3>
123.        <iframe frameborder="No" src="https://MyTaskHelper.ru/widgets/b_hAT_m0nkVjbodEu4MghJ/cBgfPAdLHcuie3jN-X-1p4?iframe=true" height="1170px" scrolling="No" width="100%"></iframe>
124.       </div>
125.       <div class="modal-footer">
126.         <button type="button" class="btn btn-default" data-dismiss="modal">Закрыть</button>
127.    
128.       </div>
129.     </div>
130.   </div>
131. </div>
132. <!--/MODAL-->
133.  
134. ';
135.  
136. //CONTENT
137.  
138. //ПОДГОТОВКА ПЕРЕМЕННЫХ
139. global $car, $model, $td_adress_folder;
140. $td_keywords_arr[$i]=$element_name[$i]->innertext.' '.$cars_arr[$i].' '.$models_arr[$i].', '.$element_article[$i]->innertext;
141. $td_adress_arr[$i]=$td_adress_folder.$element_article[$i]->innertext.'/';
142. $td_title_arr[$i]=$element_name[$i]->innertext.' ('.$rusname.') '.$element_article[$i]->innertext;
143. $td_description_arr[$i]='Магазин-склад запчастей. Автозапчасти для китайских автомобилей в наличии и на заказ. У нас Вы можете купить '.$element_name[$i]->innertext.' '.$element_article[$i]->innertext.' в розницу по оптовой цене. Доставка запчастей по всей России.';
144.  
145. //ВЫВОД ДАННЫХ
146.  
147. //echo '<tr><td>'.$element_article[$i]->innertext.'</td><td>'.$element_name[$i]->innertext.'</td><td>'.$car.'</td><td>'.$model.'</td><td>'.$td_adress_arr[$i].'</td><td>'.$td_title_arr[$i].'</td></tr>';
148.  
149. //запись в бд.
150. mysql_query("
151. INSERT INTO `parts_temp` (`tb_parts_name`, `tb_parts_code`, `tb_cars_manufacture`, `tb_cars_model`, `td_adress`, `td_title`, `td_keywords`, `td_description`, `td_content`)
152. VALUES ('{$element_name[$i]->innertext}', '{$element_article[$i]->innertext}', '{$car}', '{$model}', '{$td_adress_arr[$i]}', '{$td_title_arr[$i]}','{$td_keywords_arr[$i]}', '{$td_description_arr[$i]}', '{$td_content_arr[$i]}')");
153.  
154. }
155. ?>
156. <div class="container container-fluid">
157. <h1>Парсинг страницы </h1>
158. <p><?php echo $page_where_parse; ?></p>
159. <p>Действие выполнено успешно. Добавлено записей: <?php echo $count_pars; ?></p>
160. <p><a href="/pars-rlns.html"><b>Парсить новую страницу</b></a></p>
161. <h2>Желаете отменить действие?</h2>
162. <form  class="form" role="form" name="form1" action="/delete-rlns.php" method="post">
163. <div class="form-group">
164.     <div class="input-group">
165.       <label class="sr-only" for="delete-rows">Удалить последние записи в кол-ве:</label>
166.       <div class="input-group-addon"><span class="glyphicon glyphicon-list"></span></div>
167.       <input type="text" class="form-control" id="delete-rows" name="delete-rows" value="<?php  echo $count_pars; ?>">
168.    
169.   </div>
170.  
171.     <div class="input-group">
172.       <label class="sr-only" for="delete-model">Где модель:</label>
173.       <div class="input-group-addon"><span class="glyphicon glyphicon-list"></span></div>
174.       <input type="text" class="form-control" id="delete-model" name="delete-model" value="<?php  echo $model; ?>">
175.     </div>
176.  
177.  
178.  <button type="submit" class="btn btn-default">Удалить <span class="glyphicon glyphicon-remove"></button>
179. </div>
180. </form>
181. </div>
182. </body>
183. </html>

Код страницы, куда вводим адрес страницы и прочие параметры парсинга

Код (Text):

1.  
2. <html>
3. <head>
4. <title>Простенький парсер</title>
5. <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
6. <link href="/css/base.css" rel="stylesheet">
7.     <!-- Bootstrap -->
8.     <link href="/css/bootstrap.css" rel="stylesheet">
9.       <link href="/css/bootstrap-theme.css" rel="stylesheet">
10.  
11.     <!-- HTML5 Shim and Respond.js IE8 support of HTML5 elements and media queries -->
12.     <!-- WARNING: Respond.js doesn't work if you view the page via file:// -->
13.     <!--[if lt IE 9]>
14.       <script src="https://oss.maxcdn.com/html5shiv/3.7.2/html5shiv.min.js"></script>
15.       <script src="https://oss.maxcdn.com/respond/1.4.2/respond.min.js"></script>
16.     <![endif]-->
17.    
18.       <!-- jQuery (necessary for Bootstrap's JavaScript plugins) -->
19.     <script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
20.     <!-- Include all compiled plugins (below), or include individual files as needed -->
21.     <script src="/js/bootstrap.min.js"></script>
22.     <script type="text/javascript" src="/js/carousel.js"></script>
23. </head>
24. <body>
25. <div class="container container-fluid">
26. <h1>Парсим RELINES.PHP</h1>
27.  
28. <form  class="form-inline" role="form" name="form1" action="/parse-rlns.php" method="post">
29.  
30. <div class="form-group">
31.     <div class="input-group">
32.       <label class="sr-only" for="page_adress">Адрес страницы</label>
33.       <div class="input-group-addon"><span class="glyphicon glyphicon-home"></span></div>
34.       <input type="page_adress" class="form-control" id="page_adress" name="page_adress" placeholder="http://">
35.     </div>
36.   </div>
37.   <div class="form-group">
38.     <label class="sr-only" for="car">Марка автомобиля латинскими</label>
39.     <input type="text" class="form-control" id="car" name="car" placeholder="Марка автомобиля">
40.   </div>
41.  
42.   <div class="form-group">
43.     <label class="sr-only" for="model">Модель автомобиля латинскими</label>
44.     <input type="text" class="form-control" id="model" name="model"  placeholder="Модель автомобиля">
45.   </div>
46.  
47.   <div class="form-group">
48.     <label class="sr-only" for="car">Префикс адреса</label>
49.     <input type="text" class="form-control" id="prefix" name="prefix"  placeholder="Например body">
50.   </div>
51.  
52.   <div class="form-group">
53.     <label class="sr-only" for="car">Название марки и модели на русском</label>
54.     <input type="text" class="form-control" id="rusname" name="rusname"  placeholder="Например Чери Амулет">
55.   </div>
56.  
57.   <button type="submit" class="btn btn-default">Парсить</button>
58. </form>
59.  
60. <p>Все вводите латинскими буквами. Марка и модель также используются в формировании адреса страницы.</p>
61.  
62. </div>
63. </body>
64. </html>

И вот, если нужно удалить последние записи. Я тут кривенько написал, т.к. парсить я буду не этот сайт, а на этом тренируюсь, поэтому не заморчаиваюсь.

Код (Text):

1.  
2. <?php
3. include('config.php');
4.  
5. $delete_count=$_POST['delete-rows'];
6. $delete_model=$_POST['delete-model'];
7.  
8.  
9. for($i = 0; $i <$delete_count; $i++)
10.   {
11. mysql_query("DELETE FROM `parts_temp` WHERE `tb_cars_model` = '{$delete_model}'  ORDER BY id DESC LIMIT 1");
12. }
13.  
14. ?>
15.  
16. <html>
17. <head>
18. <title>Парсер RELINES.RU</title>
19. <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
20. <link href="/css/base.css" rel="stylesheet">
21.     <!-- Bootstrap -->
22.     <link href="/css/bootstrap.css" rel="stylesheet">
23.       <link href="/css/bootstrap-theme.css" rel="stylesheet">
24.  
25.     <!-- HTML5 Shim and Respond.js IE8 support of HTML5 elements and media queries -->
26.     <!-- WARNING: Respond.js doesn't work if you view the page via file:// -->
27.     <!--[if lt IE 9]>
28.       <script src="https://oss.maxcdn.com/html5shiv/3.7.2/html5shiv.min.js"></script>
29.       <script src="https://oss.maxcdn.com/respond/1.4.2/respond.min.js"></script>
30.     <![endif]-->
31.    
32.       <!-- jQuery (necessary for Bootstrap's JavaScript plugins) -->
33.     <script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
34.     <!-- Include all compiled plugins (below), or include individual files as needed -->
35.     <script src="/js/bootstrap.min.js"></script>
36.     <script type="text/javascript" src="/js/carousel.js"></script>
37. </head>
38. <body>
39. <div class="container container-fluid">
40. <h1>Записи удалены</h1>
41. <p>Модель автомобиля: <?php echo $delete_model; ?></p>
42. <p>Количество записей: <?php echo$delete_count; ?></p>
43. <p><a href="/pars-rlns.html">Парсить дальше</a></p>
44. </div>
45. </body>
46. </html>