Разработка под e-commerce *
Разработка систем электронной коммерции
Новости
Бот-трафик и парсинг цен – взгляд со стороны владельца e-commerce и методы защиты от парсинга
В данной статье я хочу рассказать про то, как технически устроены бот-атаки типа парсинг цен на e-commerce сайтах, какие механизмы используют атакующие, как противостоять бот-атакам самостоятельно и с помощью прикладных решений.
Я поделюсь практическим опытом нашей компании в защите e-commerce приложений и продемонстрирую реальные кейсы противодействия парсинга и бот-атакам.
В рамках статьи я сосредоточусь на атаках, которые относятся к типу Scraping по классификации OWASP. Детальную классификацию автоматизированных угроз веб-приложениям можно изучить в документе OWASP Automated Threats to Web Applications. Конечно, противодействие бот-атакам данного типа позволит остановить и другие автоматизированные атаки, но в нашей практике мы видим, в основном, именно атаки типа price scraping – автоматизированный сбор информации о товарах и ценах, или парсинг цен. Я не рассматриваю юридические и морально-этические вопросы парсинга цен в данной статье.
Что считать счастьем покупателя?
По запросу [форма] мы должны угадать, что именно нужно покупателю: выпечка, наращивание ногтей, косплеить медсестру или калибратор кубов бетона. Задача — быстро понять, кто перед нами и что сделает человека счастливым.
Я работаю над качеством поиска в Яндекс.Маркете. И качество поиска прямо связано с ощущением счастья пользователя от шопинга. Счастье нужно измерять. Самый очевидный способ — посмотреть, купил ли что-нибудь пользователь. Но мы не всегда приходим в магазин или на Маркет, чтобы взять что-то конкретное.
Человек может:
- Формулировать требования к покупке по мере сравнения вариантов.
Пример с соковыжималкойПредположим, он ищет соковыжималку, но ещё не знает, какие они бывают. По мере изучения товаров он примерно начинает понимать, что хочет. На старте у него нет ни фиксированного бюджета, ни требований, только мечта. Дальше нужно сопоставить мечту с конкретной карточкой товара. С точки зрения метрики покупки, пользователь будет довольно долго бесцельно бродить в начале — но мы понимаем, что эта часть была очень важна, там он изучал предложение и понимал, как устроен мир. - Приходить с примерным бюджетом и выбирать что-то под него, например, при поиске подарка. В этой ситуации у пользователя даже нет мечты, он ходит по категориям и ищет что-то, что его «зацепит».
- Более-менее точно понимать, что хочет купить (часто вплоть до модели товара), но искать лучшее предложение.
- Знать модель товара и проверять, насколько честна цена на неё, насколько хороши отзывы и так далее.
То есть с точки зрения человека покупка — далеко не единственная цель. Маркетплейс используется и для развлечения, и для изучения предложений, и даже для проверки цены, когда стоишь в очереди к кассе в реальном магазине.
Мы работаем над улучшением поиска по товарам. Поэтому нам нужна была метрика, которая показывает удовлетворённость людей тем, что мы показываем на выдаче. Мы искали её в несколько итераций, и сейчас я хочу рассказать о том, что мы уже придумали.
Какие сервисы внешней аналитики маркетплейсов доступны продавцам в 2022 году и кому они нужны?
В 2021 году мы запустили собственный сервис внешней аналитики SellerFox. Мы начинали с аналитики всего 4 отечественных маркетплейсов, но за год увеличили их число до 6. По сути, сегодня мы не анализируем лишь специализированные площадки — например, Lamoda.
За год мы поняли, что сбор аналитики должен проходить под постоянным контролем, иначе вся статистика просто рассыпется в прах. Многие процессы должны быть автоматизированы, но адекватный разработчик всегда полезет в сервис руками, если на рынке случится форс-мажор. Например, цены на товары слетят до 1 рубля, а продажи резко скакнут вверх.
Этот обзор для нас — возможность посмотреть, как работают другие и перенять лучшие практики. В конце концов, все мы работаем ради того, чтобы увеличивать продажи продавцов. А чтобы оставаться честными перед всеми, мы просто не станем включать свой сервис в итоговый рейтинг.
Миграция проекта nopCommerce на .NET 6
Этот пост является продолжением цикла статей про обновление проекта nopCommerce - бесплатной CMS с открытым исходным кодом для создания интернет-магазинов. В этой статье мы коснемся вопросов почему мы неуклонно стараемся обновлять платформу нашего приложения. Расскажем чего мы добились в плане производительности с .NET 6 и попробуем дать практическую оценку того результата, который мы получили.
Как улучшить межсерверное взаимодействие и сэкономить время разработчика
Привет! Я Алексей, Java-разработчик. В статье поделился опытом внедрения подхода Contract-First в backend.
Под катом подробности:
— что такое Code-First и зачем переходить на Contract-First,
— как перестать писать API-объекты руками и сэкономить 12 человеко-недель в спринт,
— как поддерживать однотипный код и API, если у вас 100+ микросервисов и 60 бэкендеров.
Сервис для выгрузки данных из E-Commerce CMS OpenCart
Дорогие читатели, позвольте представить вам программный сервис, разработанный для экспорта данных из электронных магазинов созданных на основе CMS OpenCart.
PHP на стероидах: Swoole in production
Представьте себе ситуацию, большой маркетплейс, 60 тыс. посетителей в сутки (600 тыс. просмотров) и это только веб, а с мобильного приложения, плюс еще 100 тыс уникальных посетителей. С точки зрения HTTP API запросов к PHP бекенду - это порядка 13 млн. запросов (в пиковых нагрузках ~300-400 RPS). И это всё (PHP only) обрабатывает сервер с 8 vCPU (ядрами) и 32 Gb RAM и самое главное, что сервер практически не напрягается (см. КДПВ).
Роль алертов в инфообмене с маркетплейсом
Ошибки, как ни старайся их избежать — спутник любого инфообмена. Человек может опечататься, канал — разорваться, сервис — зависнуть. А значит, очень важно узнавать об ошибках первым и вовремя их устранять. Всем привет, меня зовут Антон Баташов, я руководитель отдела интеграции и технической поддержки в компании XWAY, и в этой статье мы поговорим об алертах: зачем они нужны, какие бывают и как с их помощью настроить полноценный мониторинг инфообмена с маркетплейсом.
Что такое техрадар и почему он сбережёт ваши нервы
Техрадар обычно бывает двух видов: или труп, или сделан неправильно. Я Олег Федоткин, Head of PaaS СберМаркета. Хочу рассказать, почему это так и как заставить техрадар работать.
Это текстовая версия моего выступления на Podlodka TechLead Crew. Если вам больше нравится смотреть видео, то оно здесь.
FaaS, PaaS, SaaS или IaaS — поговорим о выборе облачной модели для e-commerce
Эта статья задумывалась для руководителей компаний, которые внедряют у себя платформу электронной коммерции и выбирают модель облачного хостинга между FaaS, PaaS, SaaS или IaaS. Но, на самом деле, эта статья универсальна — подойдет и клиентам дата-центров, и клиентам разработчиков облачных приложений, и даже людям, далеким от ИТ. Читайте о различиях, преимуществах и недостатках FaaS, PaaS, SaaS или IaaS для облачного хостинга любых "тяжелых" приложений с требованиями кастомизации под бизнес заказчика.
Как работает создание и управление маркетинговыми кампаниями Спортмастера и причём здесь Oracle
Приветствую! Меня зовут Михаил, я разработчик Oracle в ClubPro (Клубная программа, программа лояльности Спортмастера). В команде разработки моё основное направление связано с развитием Campaign Management.
Campaign Management (далее для краткости Campaign) предназначен для создания и управления многошаговыми маркетинговыми кампаниями. Другие задачи, которые решает Campaign — формирование омниканальных предложений клиенту, начисление бонусов в Клубной программе, верстка и создание email-рассылок.
В этой статье я сделал основной упор на то, как кампании работают в СУБД Oracle и какие технологии Oracle мы используем. Вначале предлагаю краткий обзор того, как создаются кампании и какой путь проходят от брифа до запуска.
Архитектура приложений Virto Atomic Architecture — что это такое и как работает
Все мы знаем про такую полезную штуку в архитектуре приложений как модульность. А веб-дизайнеры знают имя Брэда Фроста, создателя атомарной концепции дизайна на основе идеи русских матрешек. Почему бы не соединить обе концепции в одну при разработке приложений, и упорядочить модули ПО в виде атомарной био-подобной структуры?
Регламенты не работают. Или как мы изобретали производственный framework для ИТ-команды 3000+ человек
Всем привет. Так получилось, что у этой статьи сразу два автора, мы работаем в X5 Технологии и отвечаем за выстраивание процессов производства ИТ-решений. Учитывая масштаб и сложность нашей организации, задача эта нетривиальная. Мы подумали, что, возможно, наш опыт будет кому-то полезен и за пределами X5, так и появилась эта статья.
Как и зачем команда Aitarget Tech обучала трансформационную ML-модель для digital-маркетинга
Мы совместно с коллегами из Aitarget Tech, которые уже восемь лет ведут разработку в сфере рекламных технологий, обучили трансформационную ML-модель с целью генерации изображений для рекламных кампаний. Передаем слово Ане Корзун, стратегическому директору Aitarget, — она расскажет о кейсе подробнее.
Nuxt: скорость и seo для интернет-магазина
Скорость загрузки сайта и правильное считывание страниц роботами поисковых систем — краеугольный камень для успешного интернет-магазина, за эти показатели борются разработчики. Оба фактора влияют на ранжирование в поисковой выдаче, а отдельно скорость предопределяет поведение пользователей.
Сейчас мы работаем над e-commerce платформой для большой сети розничных магазинов. Привычное для нас и клиента решение — магазин на базе Битрикса — не подходило для проекта. И мы обратили свое внимание на Nuxt.
Wildberries заявил, что снизил стоимость международной доставки до 30%, по факту для части клиентов она стала дороже
Сегодня все новостные ленты опубликовали новость о том, что Wildberries снизил стоимость международной доставки до 30%. Повод звучит серьезно и, конечно, СМИ узнали об этом от пресс-службы самого маркетплейса. Они не погружены в тему, поэтому всецело доверяют информации, предоставленной гигантом отечественного ecommerce.
Мы бы тоже доверились, но всего неделю назад пытались решить с той же самой пресс-службой другой вопрос: почему международная доставка подорожала?
Очередной универсальный интернет каталог средствами реляционной СУБД
Одним из главных требований к каталогу является возможность быстро искать и находить его элементы по различным критериям.
Существует множество подходов к реализации таких требований. Это и nosql решения и механизмы работы с json в реляционных СУБД. До nosql эпохи, решать такие задачи приходилось средствами реляционных БД.
Основная причина по которой реляционные СУБД плохо подходят для решения таких задач это разнообразие характеристик товаров. Набор характеристик к примеру для одежды и смартфонов будет совершенно разный. В самом деле не создавать же для каждой категории товаров отдельную таблицу с со своим набором реквизитов.
По этой причине в большинстве случаев в реляционных БД используется EAV (Entity Attribute Value) модель данных в тех или иных вариациях.
Недостатков у такой модели множество. Чаще всего EAV модель критикуют чрезмерную сложность, так же за то, что по сути схема данных храниться в самих данных.
Есть мнение, что EAV вообще является анти паттерном, что тоже не лишено оснований, однако надо заметить, что есть и другое мнение, что лучше такая схема, чем вообще отсутствие таковой.
Рискуя навлечь на себя гнев сообщества хочу представить свой вариант реализации каталога. Это не совсем EAV, скорее его по мотивам.
Я использовал его в различных проектах много лет, его достоинства чрезвычайная простота, действительная универсальность и хорошая скорость выборки, что на первый взгляд не кажется очевидным.
Всё описанное далее предполагает использование СУБД Postgresql.
Использование закона Фиттса: основной принцип UI/UX при разработке интернет-магазинов
Математический закон середины XX века применяют к дизайну UI-интерфейса онлайн-магазина, чтобы превратить посетителей в клиентов.
Информационная безопасность в облаке: как сервис-провайдер защищает данные клиентов — на примере SberCloud
Облачный рынок несколько лет подряд демонстрирует высокие темпы роста. Организации мигрируют в виртуальную среду все больше пользовательских и корпоративных сервисов. В связи с этим важно в подробностях понимать, как облачные провайдеры обеспечивают информационную безопасность инфраструктуры. Расскажем, как это делаем мы в SberCloud.
Вклад авторов
-
1cloud 1358.2 -
it_man 1094.2 -
SellerDen 294.0 -
DEADStop 221.0 -
sergey_belyakov 213.0 -
itmo 177.0 -
akuranda 172.0 -
Merkulog 169.0 -
dimskiy 144.0 -
VASExperts 135.0