Заказчик «строит» онлайн-магазин мобильной и бытовой техники. Обратился к нам за помощью — обогатиться информацией для наполнения интернет магазина. Сделаем парсинг!
Заказать разработку приложений любого уровня сложности и для любых бизнес-задач можно здесь: контакты HDService
Задача:
Предоставить базу данных товаров при соблюдении следующих критериев:
— категории товаров: смартфоны, планшеты, ноутбуки, комплектующие для ПК, часы, аудиотехника, автоэлектроника, техника для дома, строительство и ремонт, красота и здоровье, хобби, аксессуары.
— количество SKU: 100к +
— данные о товаре: артикул, категория, наименование, описание, характеристики, цена, фотографии.
Реализация:
Стек: Python, (bs4), PostgreSQL, REDIS, S3
Сроки реализации: 2 рабочих дня
Выбрали магазин-донор со 110тыс sku. Написали код парсера для целевой площадки.
Реализовали инфраструктурное решение состоящее из 12ти исполняемых серверов, а так же: сервер SQL, сервер очередей REDIS, объектное хранилище S3.
Написали скрипты автоматизации. Короткий цикл тестирования и запуск…
Работу парсера (как комплексное решение) разделили на несколько логических процессных блоков:
— для начала собрали артикул + заголовок + цена товаров со страниц каталогов из записали все это в БД, а ссылки на товары — в REDIS
— двенадцать исполнительных парсинг серверов выбирают ссылки на карточки товаров из очереди и забирают с целевых страниц: описание, характеристики, категорию и субкатегории, а так же изображения товаров. Изображения складываются локально на каждом сервере, а текстовые данные пишем в БД
— по завершении работы парсеров (закончилась очередь) запускаются скрипты упаковки накопленных изображений в архивы и отправки последних в объектное S3 хранилище
Описанное решение позволило предоставить результат заказчику в течении 16 рабочих часов. Сам же парсинг происходил в ночное время.
Проект реализовали на облачном хостинге CLOUD.TimeWeb
Результат:
Парсинг товаров занял примерно 8 часов, что показывает скорость 3,8 товаров в секунду.
В базе данных получилось 110 218 товаров 724 видов из 16 категорий + 247 690 изображений (на 4,7Gb)
+ Довольный заказчик! )
Сформированную базу товаров можно приобрести у нас (не дорого!)) Обращайтесь: контакты HDService