За последние 24 часа нас посетили 18817 программистов и 1639 роботов. Сейчас ищут 1642 программиста ...

Как выгружать данные с https://www.immobilienscout24.de и http://cian.ru

Тема в разделе "JavaScript и AJAX", создана пользователем tsj, 9 ноя 2016.

  1. tsj

    tsj Новичок

    С нами с:
    9 ноя 2016
    Сообщения:
    3
    Симпатии:
    0
    Хочу поиграться с данными по недвижимости.
    Опыта программирования скачки данных с web страниц не хватает.
    Заранее большое спасибо

    понимаю что нужно что то делать с объектом

    <input type="text" tabindex="2" placeholder="Wo: Ort, Stadt, Straße, PLZ oder Scout-ID" autocomplete="off" class="oss-main-criterion oss-location oss-location--with-icons input-text no-mouseflow ui-autocomplete-input ui-autocomplete-loading">


    но что и как (((((
     
  2. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    API у них есть? так как парсинг запрещёно обсуждать правилами
     
  3. tsj

    tsj Новичок

    С нами с:
    9 ноя 2016
    Сообщения:
    3
    Симпатии:
    0
    думаю API нет, а почему парсинг запрещено обсуждать? в этом процессе есть что-то запретное? данные то открыты
     
  4. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    ну такие правила
     
  5. Deonis

    Deonis Старожил

    С нами с:
    15 фев 2013
    Сообщения:
    1.521
    Симпатии:
    504
    Открыты для глаз пользователя сайта, но не для того, чтобы на чужом горбу выезжать. Я не про вас лично говорю, но такие случаи бывают достаточно часто. Воровство, пусть и виртуального контента, всё равно называется "воровство".
     
    denis01 нравится это.
  6. tsj

    tsj Новичок

    С нами с:
    9 ноя 2016
    Сообщения:
    3
    Симпатии:
    0
     
    #6 tsj, 10 ноя 2016
    Последнее редактирование модератором: 11 ноя 2016
  7. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Именно так. Обычному пользователю можно через браузер просматривать эти страницы. Сбор и сохранение базы этих страниц нарушает пользовательское соглашение на использование сервиса. Тем более, - коммерческое использование этих данных.
     
  8. Fell-x27

    Fell-x27 Суперстар
    Команда форума Модератор

    С нами с:
    25 июл 2013
    Сообщения:
    12.156
    Симпатии:
    1.771
    Адрес:
    :сердА
    1) Гугл гребет данные, чтобы, затем, перенаправить поток пользователей на сайт.
    2) А вы собираетесь грести данные для того, чтобы помочь указанными вами сайтам?

    Информация на сайте открыта, но это не значит, что ее можно просто так себе присваивать. Это труд. Кто-то это делал. Кто-то выкладывал, писал, оформлял. А потом пришел вася пупкин и все себе сграбил. Профит.

    Переговорите с администраторами указанных вами сайтов. Если ваша работа заинтересует их, они, возможно, сами пойдут вам на встречу и, например, смогут предоставить дамп цен одним файлом. Почему бы и нет?