Парсинг или скрапинг

Давайте попробуем разобраться в чем разница между парсингом (Parsing) и скрапингом/скрепингом сайтов.

С клиентской точки зрения, по большому счету это одно и тоже если не вдаваться глубоко в терминологию, но во избежание путаницы все же стоит рассмотреть понятия детальнее.

Скрейпинг (скрапинг) — это технология получения данных со страниц сайта путем разбора структуры страниц и преобразование данных в необходимый формат зачастую это файлы с расширением .xls или .csv

Парсинг — это более обобщенный термин подразумевающий получение зачастую текстовых данных и их сопоставление согласно заданого алгоритма.

По большому счету в контексте получения данных с Web ресурсов парсинг является одной из составляющих услуги скрапинга.

Законен ли парсинг?

Существует очень тонкая грань между данными защищенными авторским правом и данными, которые не попадают под эту защиту.

Предлагаем рассмотреть вопрос на примере парсинга обычного интернет магазина электроники или бытовой техники.

У каждого интернет магазина есть определенный перечень товаров названия которых формирует не магазин, а непосредственный производитель товаров.

Описание товаров тоже зачастую не является уникальной информацией и дублируется от магазина к магазину, за редким исключением, когда каждое описание товара подвергается «рерайту».

Цена товара в априори не может быть «комерческой тайной» иначе ее нельзя было бы показывать пользователям интернет магазина, что само по себе глупо ;).

Картинки и фото товаров — они действительно могут быть уникальными и очень часто защищены «water mark» и вот как раз эти данные не стоит парсить и/или по крайней мере использовать без изменений дабы не получить иск от владельца интернет магазина.

Вреден ли парсинг для сайтов

Стоит признать, что при неумелом парсинге сайт (объект парсинга) действительно может подвергаться повышенной нагрузке на базу данных и соответственно на хостинг на котором он расположен.

В результате этого сайт может начать замедлять работу, а то и вовсе начать выдавать ошибки из-за перегрузки.

С другой стороны боты поисковых систем выполняют аналогичные функции сбора данных, что является по сути парсингом.

Соответственно для того чтобы получить необходимые данные и при этом не «положить» сайт и не вызвать поток негатива со стороны владельца ресурса и его пользователей необходимо максимально ответственно подойти к адаптации бота для разбора структуры сайта и количеству потоков (подключений) через которые осуществляется парсинг ресурса.