Заказать обратный звонок
Написать письмо
+7 (495) 278-08-54 Москва
+7 (812) 670-07-40 Санкт-Петербург

Новости

Глобальное обновление модуля «Парсер контента» до версии 4.0.0 - теперь парсим каталоги!

Станислав Шашалевич

04 февраля 2014

Глобальное обновление модуля «Парсер контента» до версии 4.0.0 - теперь парсим каталоги!

Компания «Сотбит» анонсирует глобальное обновление модуля «Парсер контента» до версии 4.0.0. Теперь модуль умеет парсить не только rss каналы и новостные страницы, но и каталоги.

Еще в 2013 году была поставлена задача по увеличению функциональных возможностей модуля «Парсер контента», чтобы пользователь в одном модуле получил сочетание всех видов парсинга, что позволит ему облегчить работу по наполнению сайта контентом.

Перво-наперво было решено реализовать функционал парсинга каталога товаров. Ведь не зря 1С-Битрикс уже занимает львиную долю всех интернет-магазинов России, так еще они заявляют о своих намерениях стать лучшей e-commerce системой в мире. И мы им в этом поможем и примем непосредственное участие. Начало уже положено!  К тому же, компания «Сотбит» специализируется как раз на решениях для интернет-магазинов. Поэтому не реализовать парсинг товаров в ближайшее время было бы глупостью и большой ошибкой.

Работа началась еще в конце 2013 и продолжилась уже в новом 2014 году. Ниже будут приведены трудности, с которыми мы столкнулись в процессе разработки.

1.       Проработка визуальной части и логики работы

Как оказалось, немало времени потребовалось именно на проработку визуальной части и самой логики работы. Ведь именно от этой части зависит: как простота работы с парсером, так и его стабильность и надежность.

2.       Пошаговый режим работы

Выяснилось, что если на странице много товаров, то парсер просто мог положить сервак. Нас это явно не устраивало. Поэтому пришлось ввести не просто постраничную пошаговость, но еще и потоварную.

3.       Отладка и тестирование

Пришлось проверить и протестировать десятки выгрузок с различных сайтов, чтобы проверить работоспособность парсера. На это тоже ушла немалая часть времени.

После всех этапов разработки и тестирования мы получили конечный качественный продукт, который будет развиваться и далее. Стоит также отметить, что парсинг каталога был полностью написан с нуля, использованы свои методы класса и  оптимизирована работа самого парсинга. В результате всего этого мы добились увеличения скорости парса.

Так что теперь парсинг может парсить:

- каталоги(цены, картинки, свойства)

- новости

- статьи

- rss ленты

 

Функциональные возможности парсера:

1.       Парсинг цен, картинок, свойств

2.       Возможность изменения уникализации товаров(по урлу и названию, по названию, по доп свойтсвам)

3.       Возможно обновления всех или пустых полей(Описания, картинки)

4.       Возможность конвертации цен в нужную валюту

5.       Возможность изменения цен в зависимости от условий

6.       Возможность подсоединения через прокси-сервера.

 

Предназначение и преимущества парсинга:

1. Загрузка партнерских каталогов со сторонних сайтов.
2. Перенос сайта с других платформ на платформу 1С-Битрикс.
3. Быстрое наполнение сайта контентом и соответственно быстрый запуск продаж.
4. Оперативность. Для новостных порталов счет идет на минуты, вы получите секунды. Новостник отследит и запостит свежую новость не менее, чем за час. «Парсер контента» сделает это за секунды.
5. Многопоточность. Качать контент с сотен сайтов одновременно в режиме реального времени?! Не проблема. «Пасрер контента» позволяет создавать неограниченное число потоков.
6. Привлечение посетителей. Свежая и актуальная информация привлечет и удержит посетителей на вашем сайте, что повысит его прибыльность.
7. Экономия на контент-менеджере. Основную работу сделает парсер. Заставьте контент-менеджера работать эффективно!
8. Быстрота. Заполнение 10000 позиций товара. Контент-менеджер справится с данной задачей за 3 месяца, «Парсер контента» - за 3 часа!!!

Что планируется реализовать в будущем:

1.       XML парсинг. Скоро парсер научится парсить и xml выдачу сайтов в различном формате.

2.       Парс-паук. На данный момент необходимо указать непосредственно раздел с товарами, чтобы парсинг шел успешно. Мы планируем разработать паука, который сам будет искать товары по всему каталогу.

3.       Парсинг товаров по определенному фильтру. Например, указываете ключевые названия, и парсер находит, и парсит только нужные товары.

4.       Автоматическое создание настроенного парса для ЯндексМаркета, Амазона и подобных ресурсов.

5.       Усовершенствование логирования. Сейчас логирование осуществляется в простом формате записи в текстовый файл. Планируется, чтобы все выгружаемые товары и логи по ним выгружались в отдельную таблицу. Далее уже с этой таблицей можно будет легко работать, находить и обновлять нужные товары.

6.       Отправка уникального текста в Яндекс.

Модуль «Парсер контента» вышел на новый виток развития и будет продолжать радовать своих клиентов и дальше. А компания «Сотбит» сделает все для этого.

Остались вопросы по статье?

Оставьте свой контакт и наш менеджер вас проконсультирует.



Решения
Сотбит: Оригами – интернет-магазин
29 900 руб.
1 Отзыв
Сотбит: B2BShop – оптовый магазин с b2b кабинетом
199 900 руб.
1 Отзыв
Сотбит: MissShop – магазин женской одежды
89 900 руб.
3 Отзыва
Сотбит: MisterShop – магазин мужской одежды
89 900 руб.
1 Отзыв
Сотбит: Парсер контента – сайты, excel, xml, yml, csv, rss
19 990 руб.
81 Отзыв
Сотбит: SEO умного фильтра – мета-теги, заголовки, карта сайта
14 990 руб.
109 Отзывов
Сотбит: SEO умного поиска – мета-теги, заголовки, карта сайта
14 990 руб.
3 Отзыва
Сотбит: Интеграция с CRM Битрикс24
29 990 руб.
5 Отзывов
Сотбит: Мультирегиональность
11 990 руб.
21 Отзыв
Сотбит: Маркетинговые рассылки - персонализация сообщений
9 990 руб.
8 Отзывов
Сотбит: Комплексные отзывы, комментарии, вопросы
9 990 руб.
2 Отзыва
Сотбит: 1С инструменты - расширение стандартного обмена
8 490 руб.
7 Отзывов
Сотбит: Ценовой маркетинг. A/B тестирование цен
7 490 руб.
2 Отзыва
Сотбит: Контентное API Яндекс.Маркет – загрузка товаров, характеристик и обновление цен
19 990 руб.
6 Отзывов
Сотбит: Мой Бухгалтер – для частных бухгалтеров и бухгалтерских компаний
9 990 руб.
1 Отзыв
Сотбит: БыстроРемонт – ремонт квартир под ключ
9 990 руб.
Сотбит: Почта России/EMS - расчет и отслеживание
7 990 руб.
4 Отзыва
Сотбит: Похожие товары - как инструмент увеличения среднего чека
2 990 руб.
2 Отзыва
Сотбит: Вакансии HeadHunter
6 990 руб.
Сотбит: Быстрая загрузка картинок в визуальном редакторе
2 990 руб.
1 Отзыв
Сотбит: Мотивируем на регистрацию - повышаем продажи
2 490 руб.
Расчет DPD доставки
Бесплатно
3 Отзыва
Канонические ссылки (canonical)
1 000 руб.
2 Отзыва
Сотбит: B2B кабинет
99 900 руб.
Импорт из Excel. Загрузка каталога товаров 1С-Битрикс (admin)
5 000 руб.
11 Отзывов
Стоимость доставки по зонам (admin)
8 000 руб.
1 Отзыв
Сотбит: Микроразметка Schema.org. Увеличение кликабельности в поисковых системах
4 990 руб.
Сотбит: Перекрестные продажи – похожие товары, коллекции, аксессуары
4 990 руб.
тестовый (admin)
100 руб.
Редирект битрикс (301 редирект переадресация)
1 500 руб.
Антирутин
3 900 руб.
Почта России + EMS
2 000 руб.
Сотбит: OpenGraph. Увеличение кликабельности постов в соц. сетях
4 990 руб.
Настраиваемый Ajax Preloader
Бесплатно
4 Отзыва
Сотбит: Лидогенератор CRM Битрикс24
19 990 руб.
Сотбит: Проверка контрагента
2 990 руб.
Сотбит: CRM инструменты
4 990 руб.
Сотбит: Умный личный кабинет
14 990 руб.
Сотбит: Счет на почту в PDF
2 990 руб.
1 Отзыв
Сотбит: Интеграция с Контур.Эльба
9 990 руб.
Сотбит: Расширенная регистрация и авторизация
6 990 руб.
С этим товаром просматривают
Бесплатно
Сейчас покупают
Бесплатно
Этот товар был заказан
Бесплатно
Товар сейчас просматривают
Бесплатно
Удобный mp3 player
Бесплатно
Подписка на группы vkontakte и facebook
Бесплатно
1 Отзыв
Умные хлебные крошки
Бесплатно
Заказ по телефону
Бесплатно
Аспро: Оптимус - интернет-магазин
24 900 руб.
26 Отзывов
Еще решения


Забери свой подарок!

Заполни форму и получи подарок на 2990 рублей

Необходимо дать согласие на обработку персональных данных

Сотбит
Веб интегратор занимается разработкой сайтов на 1С-Битрикс, разработкой типовых решений, входит в ТОП-10 разработчиков для Маркетплейса 1С-Битрикс.
192029
Россия
Ленинградская область
Санкт-Петербург
м. «Петроградская», пр-т Медиков, д. 3-5, лит. А, оф. 211
+7 (812) 670-07-40
sale@sotbit.ru
,
Обратная связь