Позволяет парсить контент сайтов: каталоги, статьи, цены, новости, rss ленты, а также импортировать на сайт данные следующих форматов excel, xml, yml, csv
Оптимизация и исправления:
Оптимизация и исправления:
ПРИМЕЧАНИЕ! Настоятельно рекомендуем выполнить резервное копирование сайта перед установкой.
Оптимизация и исправления:
Новые функциональные возможности:
Оптимизация и исправления:
Новые функциональные возможности:
Оптимизация и исправления:
Оптимизация и исправления:
Оптимизация и исправления
Оптимизация и исправления:
Оптимизация и исправления:
- Исправлена ошибка дублирования дополнительных изображений товаров при парсинге. Дубли в товарах исчезнут при первом же обновлении соответствующего поля;
- Исправлены уязвимости в коде модуля;
- В парсер типа XML добавлено поле для превью-описания товаров.
- исправлен баг с дублированием дополнительных картинок;
- исправлен баг с типом детального описания.
- Исправлена ошибка обработки страниц в режиме WORK
- Исправлена работа функции определения типа картинок
- Исправлена ошибка обработки товаров для парсера типа CSV
- Добавлена возможность активировать товары при их обновлении
- Исправлено сообщение о завершении демо-периода модуля
- Исправлена ошибка фильтрации товаров по свойствам
- Исправлена ошибка уникализации торговых предложений
- Исправлена ошибка в функции checkData()
- Исправлены ошибки работы с разделами в парсере XML
- Улучшена обработка ссылок на изображения, где расширение явно не задано
- Исправлены ошибки работы парсеров XML и catalog в режиме "work"
- Исправлены ошибки сохранения значений свойств, заданных по умолчанию
- Исправлена загрузка изображений по ссылкам с get-параметрами
- Исправлена ошибка остановки парсера типа XML
- Исправлена ошибка обработки множественных свойств
- Исправлена ошибка сохранения элементов инфоблока
- Исправлена ошибка некорректной остановки парсера и отображения прогресса работы более 100%
- Добавлена работа с кодировкой ISO-8859-1
- Исправлена редкая ошибка при загрузке дополнительных фото товаров
- Исправлена ошибка автоматического изменения размера изображений в соответствии с настройками инфоблока
- Исправлены ошибки экспорта парсеров
- Небольшие оптимизации кода
- Исправление ошибок работы с версией битрикс 18.0.6.
- Исправление ошибок экспорта парсера.
- Из xls парсера удален отладочный код.
- добавлена возможность экспорта парсеров.
- добавлена возможность обработки множественных свойств.
- уточнено описание ошибок авторизации парсера.
- исправлена обработка относительных ссылок, начинающихся с "//"
- Исправлены функции parseCatalogSelectorProperties и parseCatalogSelectorPropertiesPreview;
- Исправлен функционал по обновлению дополнительных цен;
- Исправлена функция парсинга картинок с get-параметром;
- Исправлена функция разбора url-ов;
- Исправлена процедура парса детальной страницы в адресе которой содержаться пробелы.
- Добавлена возможность парсеру типа xml парсить в highload-блоки;
- Разделена процедура обработки базовой цены от остальных типов цен для парсера типа каталог;
- Изменена процедура обновления товара, если товар был перемещен в какой либо раздел, то при прохождении парсера товар не перемещается в раздел из настроек парсера.
- рефаторинг функционала проверки авторизации из модуля;
- исправлена ошибка битой кодировки свойств xml-парсера.
- Оптимизирована процедура проверки url'ов;
- Исправлена ошибка при которой парсер не останавливался по достижению установленного числа страниц в настройках "Работа с постраничной навигацией" закладки "Постраничная навигация";
- Добавлена процедура продления сессия, если вы парсите не по агенту, что бы не падала сессия;
- Устранена ошибка повторного запуска парсера по агенту;
- Оптимизирована работа с кодировкой;
- Исправлена процедура "что делать с товарами, присутствующими в прошлой выгрузке";
- Исправлена процедура фильтрации товаров по свойствам. Закладка "Свойства" -> "Фильтр товаров по свойствам";
- Добавлена возможность парсить в поле "закупочная цена" в парсере тип "xml";
- Исправлена функция Добавление/удаление/изменение символов полей и свойств, закладка "Свойства";
- Проведены работы по устранению утечки памяти для типов парсера "каталог" и "csv".
- Оптимизирована процедура парсинга картинок;
- Оптимизировано меню.
- Исправлена ошибка при окончании демонстративной версии модуля;
- Исправлено получение количества товаров через информеры;
- Исправлено изменение кодировки значений функционала "Добавление/удаление/изменение символов полей и свойств";
- Исправлен функционал "Парсинг свойств и автоматическое создание" на сайтах с кодировкой не utf-8;
- Исправлен парсинг свойств, где в атрибуте русский текст на сайтах с кодировкой не utf-8;
- Исправлена логика проверки урла товара;
- Оптимизирован код xls-парсера.
- исправлена кодировка для "Селектор названия товара:"
-тип парсера "catalog " устранена ошибка парса урлов с якорем -тип парсера "xml" в содержимом по селектору "Селектор-атрибут названия товара" данные вида
- исправлена ошибка, которая появлялась, если в свойстве типа справочник инфоблока указать "создать новый справочки"
Тип парсера XML:
- Добавлена возможность привязки товаров к нескольким разделам, если в селекторе или в атрибуте указать id разделов через зяпятую;
- Так же реализована возможность указывать селекторы "Селектор-атрибут категории товара:" через зяпятую
Устранены неисправности работы парсера тип xml:
- в xml парсере добавлена возможность парсить атрибуты категорий(описание, картинка, доп поля)
- небольшие обновления
- добавлена возможность загрузки в HL-блоки - добавлены типы парсеров xls+catalog и xml+catalog - незначительные правки
- небольшие правки
- Небольшие правки и исправления
- добавлена возможность выгружать остатки на несколько складов
- добавлена возможность загрузки картинок из xls файлов; - добавлена возможность загружать товары из csv, xls в указанные в товаре разделы(по названию);
- Загрузка картинок по FTP для парсеров типа csv, xls - Загрузка изображений из файла для парсера типа xls
-небольшие правки
- Внедрен парсинг нескольких типов цен(для парсеров xml, catalog, csv, xls) - Реализована работа с информерами наличия(для парсеров xml, catalog, csv, xls)
- Внедрено деление больших xml файлов - Сопоставление категорий из xml файла с уже существующими категориями инфоблока - Фильтр по свойствам(для парсера xml)
- Исправлены мелкие недоработки - Внедрен парсинг торговых со страницы каталога(для парсера каталог)
- Добавлена возможность отправлять email-оповещения о начале и завершении парсинга. Незначительные правки
- Внедрено "Умное логирование"
- Незначительные правки
- Исправлена авторизация для xml, csv, xls парсеров
- Незначительные изменения
- Внедрены склады
- Внедрен парсинг XLS и XLSX файлов
Внедрен парсинг CSV файлов
- Парсинг картинок для офферов(только для офферов из отдельного контейнера) - Уникализация создаваемых разделов при парсинге xml
- Введен шаг постраничной навигации - Парсинг офферов из нескольких контейнеров
- Исправлена ошибка работы с highload свойствами - Исправлена ошибка кодировки при работе с xml
- Незначительные доработки
- Внедрены доп условия изменения цен по разделу - Исправлена ошибка парсинга разделов в xml - Другие мелкие доработки и исправления
- Мелкие доработки
- Добавлена функциональность - Обновление только текущих товаров без создания новых - Принудительное удаление файлов из временной папки tmp
- Внедрен функционал обнуления остатков, если товар отсутствует в выгрузке - Исправление ошибок многораздельности
- Многораздельность! Теперь вы можете выгружать каталог с множеством разделов с помощью одного парсера!
- Введен функционал парсинга количества товара - Небольшие доработки и правки
- Небольшие доработки и улучшения
- добавлена возможность создания разделов с одинаковыми названия (XML) - парсинг торговых с разделителем x, xl, xxl, m (XML) - внедрены видео-уроки (XML)
- Внедрение торговых предложений в XML парсинг
- Внедрение вкладок Сервисы и Авторизация в XML парсинг
- Доработка и исправление ошибок XML парсинга
- Внедрен XML парсинг
- Добавлена возможность парсинга свойств из атрибутов элементов
- Незначительные доработки
- Внедрение новых событий для разработчиков - Мелкие доработки решения
- Устранена ошибка с использованием настроек инфоблока при ресайзе изображений
- внедрены события: начала парсинга, окончание парсинга, перед созданием элемента, после создания элемента
- Незначительные доработки
- Устранение варнингов
- Исправление мелких недоработок
- Незначительные исправления
- Исправление критической ошибки, вызванной обновлением Битрикса
- Добавлена HTTP-аутентификация
- Доработка js скриптов
- Доработаны js скрипты
- Незначительные доработки
- Усовершенствована работа с параметрами товара
- Возможность перевода текста (Яндекс.Переводчик) - Отправка уникального текста в Яндекс
- Усовершенствована работа с постраничной навигацией. Теперь вы можете самостоятельно настраивать логику работы постраничной навигации, если это невозможно сделать стандартным способом.
- Мелкие доработки
- Добавлен новый вид парсинга офферов - с одиночными характеристиками - Изменен принцип создания имен офферов, если имя оффера отсутствует. - Незначительные доработки и исправления
- Исправление мелких недоработок
- Добавлен функционал категорий для rss и page типа
- Исправление критической ошибки в новом функционале категорий парсера
- Появилась возможность создавать папки-категории для парсеров - Возможность загружать товары в неактивные разделы
- Загрузка картинок из фонового изображения background
- Переработана логика округления цен
- Появилась возможность удалять/добавлять символы или слова у полей и свойств типа Строка(S)
- Удаление из доп. картинок детальной картинки
- Значения свойств по умолчанию вынесены в отдельный блок
- Незначительные доработки
- Парсинг офферов табличного вида - Возможность удаления, деактивации товаров, не участвующих в текущей выгрузке
- Добавлена работа со свойствами типа Справочник(highload) - Внедрена событийная модель - Теперь все файлы в описании сохраняются на сервер через Медиабиблиотеку и вы легко сможете удалить любой файл - Мелкие доработки и улучшения
- Переработана визуализация свойств. Теперь управлять парсингом свойств удобнее и проще - Появилась возможность добавлять новые свойства прямо из парсера - Возможность парсинга свойств из превью - Добавлена поддержка HTML свойств - Добавлена поддержка свойств типа файл(F). Теперь вы можете легко грузить инструкции и другие документы - Округление цен - Устранение мелких багов
- Мелкие доработки
- Незначительные доработки
- Незначительные улучшения парсинга детального описания. Теперь парсить можно по нескольким селекторам.
- Работа с куками
- Добавлена возможность добавлять наименование атрибута в постраничную навигацию
- Устранена ошибка занесения символьного кода при запуске парсера по агенту(rss и page)
- Исправление мини-бага с тегом base
- Поддержка https протокола
- Исправление мелких багов
- Устранение недоработок
- Устранен баг удаления тегов
- Обновление информационного текста
- Добавлена возможность установки формата цен
- Устранение мелких багов
- Доработка page парсера, если родитель=ссылке
- Парсер работает с учетом мета-тега base для относительных ссылок
- Для page парсинга устранены ошибки относительных ссылок
- Добавлен выбора типа уникализации в режиме page и rss - Возможность парсинга в режиме page, если ссылка находится в самом селекторе
Небольшие доработки
- Незначительные доработки и исправления
- Устранены мелки баги
- Добавлена возможность парсинга кириллических доменов
- Парсинг нескольких разделов одновременно - Добавлена возможность парсинга цен в офферы - Добавлены значения свойств по умолчанию
- Исправления мини-бага при парсе свойств по названию
- Добавлена дата активности при парсинге типа Каталог - Устранены мелкие баги
- Исправлен баг html типа описания
- Устранена ошибка при парсинге свойств через тег br
- Устранен мелкий баг при определении уникальности новости/статьи
- При page-парсинге первоисточник остается неизменным, то есть не переводится в нижний регистр
- Добавлена возможность парсинга названия товара с детальной страницы - Автоматическое создание уникального символьного кода - Сохранение активной вкладки при нажатии кнопки "Применить" - Исправлен баг при удалении атрибутов элементов
- Увеличены размеры полей для удаления элементов и атрибутов - Добавлена возможность парсить свойства по наименованию через тег br - Устранение мелких багов
- Исправлены ошибки при авторизации парсера
- Отлажена работоспособность модуля при php 5.4
- Добавлен парсинг картинок, с расширением в верхнем регистре
- Устранен баг при копировании парсеров
- Удаление лишних пробелов в описании
- Изменен порядок удаления тегов и элементов
- Исправление ошибки: Класс неопределен.
- Добавлен функционал авторизации на сторонних сайтах.
- Добавлена возможность изменения цен по нескольким условиям.
- Фикс мелких багов
- Исправлена проблема кодировки на некоторых версиях php
- Исправление работы парсера при работе в демо-режиме
- Исправление мелких багов
- Скорректирована работа парсера из под агента
- Корректировка работы прелоадера - Исправление мелких багов
- Добавлен функционал парсинга каталогов - Исправление мелких багов
- Исправление мелких багов
- Добавлена возможность копирования парсеров - На странице парсера реализован аджакс парсинг и прелоадер - Удаление тегов в титлах, мета-описании и ключевиках - Добавлены доп. поля в фильтр и сортировку списка парсеров
Исправлены мелкие баги
|
Внимание! Обязательно к прочтению! Все программные решения Сотбит устанавливаются только на продукты «1С-Битрикс» с активной лицензией. Проверить статус можно в панели управления вашего сайта, в разделе «Обновления» или на сайте. Обновления и поддержка для платных решений действуют в течение 1 года с момента активации лицензионного ключа. По истечении срока поддержки вы можете в любой момент купить новую версию по цене 50% от стоимости решения. До этого времени ваше решение будет работать в прежнем режиме. Техподдержка НЕ ОКАЗЫВАЕТСЯ в следующих случаях:
|
Хороший, рабочий, парсер
Пользуемся уже несколько лет, всё работает стабильно. Недавно сайт-донор включил жёсткую защиту. Вместе с сотрудниками Сотбит Максимом и Дмитрием приложили не мало усилий, чтобы решить проблему. Получилось наладить стабильную работу с помощью прокси. Ребята молодцы - оказывали всестороннюю поддержку. В общем всё хорошо, продолжаем сотрудничество.
Многократно упрощает и автоматизирует загрузку товаров
Благодарю Сотбит за разработку модуля Парсер контента и за качественную техподдержку!
Не всё идеально, но большинство задач которые ставятся перед модулем он решает.
Будет круто, если Сотбит сделает более подробную видео инструкцию на примере разных сайтов. На примере нашего проекта, встречаются сайты где не понятно как заполнить Парсер. Старая инструкция с этим не справляется, её рекомендую обновить)
Спасибо техподдержки помогает!
Экономия тысячи часов работы
Мы окупили данный модуль за один день!
У нас была не простая задача, нужно забрать с двух сайтов товары со всем контентом, название, фото, описание, ещё и стоимость увеличить.
150к.ед наименований как минимум, представьте сколько это будет делать человек?) парсер забрал все товары, которые нам нужны за 3 дня, и сейчас обновляет их в нужное нам время.
Настроить идеально получилось не сразу, пару дней пришлось помучить техподдержку, отдельное спасибо Нине Розумец!
Спасибо за данное решение, вы экономите время, деньги и нервы!
Парсер
Отличное решение. Не теряем время на обновление товаров. Теперь это занимает секунды и позволило расширить ассортимент. В настройке нормально. Сначала, в первый раз, настроить не программисту сложновато. Инструкции, к сожалению, тоже сложные. Костные. Не понятно на кого рассчитаны. Нажмите сюда, если не получится, то нажмите сюда. Логика работы по инструкции не понятно. Зато есть обалденная служба поддержки, которая все агрехи сводит к нулю. Поэтому программа - супер, программа - офигенные помощник. Служба тех.поддержки вне конкуренции, отзывчивые и профессионалы. Рекомендую купить.
Отличное решение
Хорошее решение которое экономит время при заполнение сайта информацией. Спасибо техподдержке которая помогла настроить данный модуль. Рекомендую всем.
Полезное решение
Отличное решение, просто необходимость)
По настройке парсера - для меня много сложностей, поддержка отвечает достаточно быстро!
Было-бы здорово, если по запросу поддержка настраивала парсер сама (к примеру какой-то лимит в месяц)
А так всё здорово, рекомендую)!
То что надо!
Вся работа которую проделываю с парсером это огромная прибавка к скорости, без него работа по часам увеличилась бы в разы. Очень благодарен разработчикам что сделали данную прогу, и особо радует что техподдержка отвечает на сообщения и помогает с настройками. Однозначно рекомендую к приобретению, особенно если каталоги 5000+ товаров, то без раздумывания даже.
Хорошее и полезное решение!
Незаменимая вещь для владельцев интернет-магазинов, новостных порталов и тех проектов, где есть динамический контент.
Рекомендую!
Отдельные слова благодарности технической поддержке: спасибо вам за терпение и вашу помощь!
Хорошее решение по оптимизации ресурсов!
Хотел бы поделиться своим мнением на счет этого модуля.
Отличное решение, за которое поставлю 5 баллов. Модуль справляется со всеми основными задачами. Конечно не знаю, как на счет "нескольких тысяч товаров за час", но в среднем, 1 товар за 5-10 сек он забирает (при условии загрузки 3-5 дополнительных картинок). Так что примерно 500-1000 товаров он сможет спарсить на ура:)
При условии, что парсятся картинки и все свойства, существенно оптимизирует затраты на контент-менеджера. В случае работы с модулем, 1 контентщик в день может лить по несколько тыс товаров, что значительно выше, чем при ручной заливке или импорте.
Отдельно хочу поблагодарить весь коллектив компании и сотрудника тех.поддержки Нину. Помогла почти на 100% настроить парсер с нуля, но в итоге - сайт, который настраивали, ставит защиту от парсинга. В итоге, также (с нуля) помогли настроить другой сайт, где всё заработало!
Минусы:
1. Найти качественный сайт-донор довольно сложно. Нужно, чтобы "совпали все звёзды и карты". Картинки без вотемарков, унифицированные коды-артикулы и т.д. Но это не минус решения, а в целом - минус всех парсеров.
2. Решение сложно настраивать. Без ТП разобраться невероятно сложно (при условии, что я понимаю базовые принципы работы html, веб-серверов и php, но этого может быть недостаточно. Требуется более глубокое понимание работы со стилями и кодом сайта).
Что бы я предложил сделать?
Я бы предложил составить хорошую инструкцию. С кейсами. В примере есть 1 видеоинструкция, но важно понимать, что в мире сотни сайтов с разными вариациями кода. В итоге, без практического опыта настройки модуля, нам не удалось разобраться.
Конечно, тех.поддержка любезно поможет с настройкой парсера (по этому модуль заслуживает 5 звезд), но полагаю, если бы была инструкция с рассмотрением 10-ки разных примеров, то вероятность найти "свой" сайт была бы существенно выше. Ну а там уже, методом "подставления", любой человек, мало-мальски разбирающийся в администрировании сайтов, смог бы разобраться.
Но это сугубо мое мнение.