Новости — Обновление готового модуля «Парсер контента» от Сотбит

Наполнить сайт за пару дней? Легко! Обновление Парсера контента от Сотбит

Команда Сотбит 25 февраля 2021

Время чтения: 3 мин

Мы продолжаем оптимизировать готовые решения для интернет-магазинов на Битрикс. В прошлый раз рассказывали вам об обновлении модуля Сотбит: SEO умного фильтра, в котором он стал работать быстрее в 8 раз. На очереди не менее популярный модуль — Сотбит: Парсер контента.

Сотбит: Парсер контента — готовый инструмент, позволяющий извлекать данные с сайтов и файлов. Модуль автоматически выгружает на ваш сайт текста, товары с торговыми предложениями, изображения и т.д. Поддерживается парсинг файлов форматов Excel, XML, CSV, YML.

Задача модуля — ускорить и автоматизировать процесс наполнения вашего интернет-магазина. Это позволяет оптимизировать и расходы бизнеса, сэкономив на оплате труда контент-менеджера.

Хьюстон, у нас проблема!

Парсер — эффективный инструмент, который активно используется на проектах 1С-Битрикс. Чаще всего его используют для наполнения интернет-магазина товарами.

Наш модуль использует библиотеку phpQuery. Из-за того, что ресурсы, используемые модулем, не очищались вовремя, происходило переполнение оперативной памяти сервера. Если ресурсов не хватало, парсинг просто ложился.

Пример из практики:

У нашего заказчика, работающего с B2BShop, была задача парсить товарную номенклатуру с прайс-листов. Проект B2B платформы располагается в сервисе Яндекс.Облако, о котором мы рассказывали в статье Забудьте о тарифах и переплатах! 6 причин перейти на Яндекс.Облако.

Для реализации парсинга нам приходилось временно увеличивать ресурсы машины. Хорошо, что это Яндекс.Облако, где такая возможность есть. А если взять обычный хостинг? Там вариант один — навсегда покупать более высокий тариф...

Это неудобно и непрактично. Настало время положить этому конец.

Проблема решена!

Мы провели рефакторинг кода Сотбит: Парсер контента, отвечающего за постраничный парсинг каталога. Теперь ресурсы, занимаемые модулем при парсинге, очищаются регулярно. Благодаря этому оперативная память машины больше не перегружается. Теперь вы можете наполнять сайт максимально комфортно.

Попробуйте сами

Мы активно поддерживаем и развиваем готовые решения, чтобы клиентам было удобно использовать их. Впереди вас ждет море обновлений продуктов от Сотбит.

Тестируйте Сотбит: Парсер контента в демо-режиме 14 дней — попробуйте все возможности бесплатно!

Если у вас возникли вопросы о модуле Парсер контента или нужна помощь в его настройке, просто свяжитесь с нами удобным способом.

Полный список обновления:

Оптимизация и исправления

Исправлена критическая ошибка работы парсера типа "catalog" с выгрузкой в highload-блок;
Исправлены ошибки работы парсера типа "catalog" в режиме "офферы с одной характеристикой";
Исправлены ошибки в определении кодировки сайта-донора;
Парсеры, оставшиеся без привязки к существующей категории, теперь переносятся в корень списка;
Добавлена поддержка загрузки изображений, сжатых gzip;
Другие незначительные исправления.