За последние 24 часа нас посетили 22345 программистов и 1026 роботов. Сейчас ищут 689 программистов ...

Парсинг базы памятных монет и аукциона. PHP + Mysql

Тема в разделе "PHP Free-Lance", создана пользователем numizmatik.ru, 10 май 2019.

  1. numizmatik.ru

    numizmatik.ru Новичок

    С нами с:
    10 май 2019
    Сообщения:
    1
    Симпатии:
    0
    Приветствую.
    Предлагаю Интересный проект связанный с парсингом данных.
    Проект состоит из 2 частей – более подробно в аттаче.

    Описание проекта
    -----------------------------------------------
    Часть 1.
    1. Нужно сделать парсинг памятных монет Центрального банка России . Все данные должны быть занесены в таблицы согласно структуре базы данных. Скрипт cbr_parse_php
    2. Проверочный вывод всех спарсенных данных по данному аукциону. cbr_table_php
    3. Завести таблицы согласно ТЗ. Структуру базы данных (таблиц) выдам исполнителю.

    Точка входа
    cbr/Bank-notes_coins/coins_base

    1. Скрипт cbr_parse_php
    Данный скрипт будет запускаться раз в неделю, чтобы в случае появления новых монет они добавлялись в базу данных.

    Нужен парсинг всех монет с 1992 по текущее время.

    2. Проверочный вывод всех спарсенных данных по данному источнику. cbr_table_php

    Это таблица в которой будет около 10.000 т. строк с полями bigdata и другими полями дополнительных таблиц.

    Какие файлы должны быть на выходе
    1. cbr_database_sql – файл для создания таблиц (возможно он уже у вас есть)
    2. cbr_config_php – конфигурационный файл
    3. cbr_funct_php – функции
    4. cbr_parse_php – сам парсер
    5. cbr_table_php – проверочный вывод всех спарсенных данных по данному аукциону.
    6. Описание проделанной работы – "подводные камни", как поставить на cron чтобы выполнялось в автоматическом режим и другое.

    --------------------------------------------------
    Часть 2.

    Цель.
    1. Нужно сделать парсинг данных аукционного дома rarcecoins для конкретного аукциона и его результатов. Все данные должны быть занесены в таблицы согласно структуре базы данных. Скрипт rarecoins_parse_php
    2. Парсер cvs файла с результатами аукциона. Скрипт rarecoins_result_upload_php
    3. Проверочный вывод всех спарсенных данных по данному аукциону. rarecoins_table_php
    4. Завести таблицы согласно ТЗ. Структуру базы данных (таблиц) выдам исполнителю.

    Аукцион rarecoins
    Какие прошедшие аукционы нужно парсить. Их 25 штук.
    rarecoins/arxiv-proshedshix-aukczionov_html

    2. Скрипт rarecoins_parse_php
    Данный скрипт будет запускаться раз в неделю на случай выявления новых данных (новых аукционов – например появятся данные по 26 аукциону) по данному аукциону.

    Какие разделы нужны:
    Начиная с Петра I до Современной России включительно. (Т.е. Не нужны – Античные, западноевропейские, допетровские, литература).

    Какие товары нужны: Монеты, банкноты
    Т.е. не нужны – медали, плакеты, значки, фотографии, книги

    2. Скрипт rarecoins_result_upload_php
    Если есть результаты аукциона – тогда нужен парсер, который проставляет значения конечной цены за лот – bigdata_sell, продан ли лот – bigdata_is_sold = 1 -если да, 0 – если нет.
    Пример такого файла в pdf – yadi_sk/i/veZ4deW7To5jag
    rarecoins/assets/files/results_i5_pdf

    Если такой файл (pdf) присутствует – пишем парсер cvs файла с результатами аукциона.

    3. Проверочный вывод всех спарсенных данных по данному аукциону. rarecoins_table_php

    Это таблица в которой будет около 10.000 т. строк с полями bigdata и другими полями дополнительных таблиц. Какие здесь подводные камни могут быть – несоответствие валюты с рублем.

    Какие файлы должны быть на выходе
    1. rarecoins_database_sql – файл для создания таблиц
    2. rarecoins_config_php – конфигурационный файл
    3. rarecoins_funct_php – функции
    4. rarecoins_parse_php – сам парсер
    5. rarecoins_result_upload_php – парсер cvs файла с результатами аукциона
    6. rarecoins_table_php – проверочный вывод всех спарсенных данных по данному аукциону.
    7. Описание проделанной работы – "подводные камни", как поставить на cron чтобы выполнялось в автоматическом режим и другое.

    По поводу контроля – !!!Обязательно!!! раз в три дня вы даете отчет, что сделано.
    Что бы я понимал – что работа идет. Если вы пунктуальный – эта работа для вас!!!

    По поводу корректировок – возможно они будут, но в рамках разумного.

    По поводу дальнейшего сотрудничества: После закрытия и оплаты вы даете "Джентльменское слово" что течении месяца в случае выявления ошибок вы их исправляете "за бесплатно".
    Есть другие подобные проекты, которые буду выставлять по мере готовности проекта и в случае одобрения вас как исполнителя – вы будете иметь приоритет при выборе.

    Срок выполнения проекта – 7 дней.
    Как я выбираю исполнителя – ваша репутация, рейтинг и выполненные работы. Теперь о главном – если вы внимательно прочли ТЗ – в ответе на заявку первым словом напишите, Parser, поскольку таким образом я буду понимать что Вы прочли Требования ТЗ. Увы, всех остальных буду отсекать.

    Цена за две части 20.000 рублей, но является обсуждаемой.
     

    Вложения:

  2. Valick

    Valick Активный пользователь

    С нами с:
    12 авг 2018
    Сообщения:
    1.911
    Симпатии:
    328
    техническая часть достаточно интересная
     
  3. miltorg

    miltorg Активный пользователь

    С нами с:
    7 апр 2019
    Сообщения:
    375
    Симпатии:
    12
    Адрес:
    Калининград
    @numizmatik.ru,

    База данных - mySQL ?
    --- Добавлено ---
    10 миллионов строк?
    --- Добавлено ---
    Не ясно по первому - Таблица монет уже есть и нужен скрипт проверяющий наличие обновлений или нет ничего?