1) Адресаты - программисты, которые хотят научиться разрабатывать сложные парсеры (не просто скрипт, а полноценное веб-приложение с рест-апи, базой данных и асинхронными задачами)
2) "совсем галопом по европам" - согласен, что в статье раскрыты не все фишки, но главная цель статьи - это пошаговое руководство по созданию инфраструктуры для парсинга
3) Рабойчий вариант 100 % можно воспроизвести, так как шаг за шагом записывал свои действия))
Опечатка в строке (лишний ' в конце строки)
Опечатка:
В коде нет переменной p. Должна быть n
Спасибо, исправил
Спасибо! Отличная статья
Для версий
clap = "2.29" и reqwest = "0.8"
была ошибкаРешение - обновить версии зависимостей
пример того, как по бинарному файлу определить структуру сообщений, которую использует сайт
и пример того, как декодировать бинарный файл (извлечь из него нужные данные)
Точно)
Команда
создает файл offers_pb2.py в папке proto_structs/
Этот файл содержит описание полей для протобафа. Пример:
Думаю, да
Две цели
1) Производительность
2) Скрытие данных
Плюсы использования Django:
1) Готовые библиотеки для создания Rest API
2) Возможность описывать модель данных через Django ORM
3) Готовая админка
Celery позволяет запускать задачи с помощью планировщиков, таких как crontab в Linux.
Пример:
Статья не про Scrapy, Selenium и подобные библиотеки, а про инфраструктуру для парсинга (интерфейс, постановка задач, хранение данных)
1) Адресаты - программисты, которые хотят научиться разрабатывать сложные парсеры (не просто скрипт, а полноценное веб-приложение с рест-апи, базой данных и асинхронными задачами)
2) "совсем галопом по европам" - согласен, что в статье раскрыты не все фишки, но главная цель статьи - это пошаговое руководство по созданию инфраструктуры для парсинга
3) Рабойчий вариант 100 % можно воспроизвести, так как шаг за шагом записывал свои действия))
Спасибо за фидбек)