Посоветуйте пожалуйста парсер

Jack_Sparrow · 02.11.20

Здравствуйте, уважаемые друзья, коллеги.

Подскажите пожалуйста программу (парсер) для товаров.

Пользовался очень долго время парсером от сотбит, но понял что это УГ.

bambras · 02.11.20

Много лет юзаю content downloader http://sbfactory.ru/?p=600
Можно по идее на торрентах найти хакнутую версию, но он и так стоит недорого, что то типа 3 000 рублей, а обновления порой важные есть

Jack_Sparrow · 02.11.20

bambras написал(а):
Много лет юзаю content downloader http://sbfactory.ru/?p=600
Можно по идее на торрентах найти хакнутую версию, но он и так стоит недорого, что то типа 3 000 рублей, а обновления порой важные есть

Спасибо большое) В освоении парсер как вообще ?

Ну парсит нормально под битрикс ?

CoolBick · 02.11.20

Он парсит все что угодно)

Jack_Sparrow · 03.11.20

Хорошо буду осваивать) Просто этот Сотбит парсер вообще не всю информацию берет и медленно работает. Подходит только под легкие задачи.

bambras · 03.11.20

Jack_Sparrow написал(а):
Спасибо большое) В освоении парсер как вообще ?

Ну парсит нормально под битрикс ?

в освоении сначала придется чуть помучаться, но только первые 1-2 раза, пока не поймешь, как парсить характеристики товаров, торговые предложения для битрикса и прочую муть, опять же - есть немало видосов на ютубе, где все достаточно приемлемо разжевано, как что забивать, если что, обратись, я скину образы парсинга сайтов, тот же Петрович или Изолюкс (ну т.е. десятки тысяч товаров) - парсится примерно за 1-2 суток
есть подмены айпишников, чтобы избежать бана по айпи, есть форум, где можно спрашивать глупые и не очень вопросы
в общем штука крутая, рекомендую

prefectproduction · 05.11.20

Подскажите чем можно парсить сайт, где у сайта авторизация + капча? желательно автоматизировать - чтобы остатки постоянно были актуальные на моем сайте (тянул с сайта поставщика)

CoolBick · 06.11.20

prefectproduction написал(а):
Подскажите чем можно парсить сайт, где у сайта авторизация + капча? желательно автоматизировать - чтобы остатки постоянно были актуальные на моем сайте (тянул с сайта поставщика)

Выше парсер который писали такое умеет. Если он является вашим поставщиком может у него есть спец выгрузка или api чтобы напрямую забирать?

prefectproduction · 06.11.20

CoolBick написал(а):
Выше парсер который писали такое умеет. Если он является вашим поставщиком может у него есть спец выгрузка или api чтобы напрямую забирать?

какой именно? сотбит не умеет. А по поводу поставщика - там с ним не получается договориться об изменениях предоставлении выгрузки

kalkm · 07.11.20

Jack_Sparrow написал(а):
Спасибо большое) В освоении парсер как вообще ?

Ну парсит нормально под битрикс ?

Берите content downloader и не думайте! Только лиц! Это просто высший пилотаж! Пользуюсь более 5 лет, обновы постоянные, Сергей автор программы очень отзывчивый человек. Есть форум.

в Битрикс парсит изумительно, каждый день по расписанию в винде запускается, парсит товары конкурентов, далее в Битрикс на фтп выгружает, я по крон забираю файл импортом и рассчитываю цены отпускные на основе цен конкурентов. Это песня! Я раньше и не знал как я без него жил.
Не пытайтесь искать нулл версию, она топорная и не Рабочая. Только лиц. Деньги небольшие а возможности просто бомба.

так же есть модуль для опенкарт simplepars. Тоже брал лиц. Парсю им мелочь, но он много чего не может. Например не смог авторизоваться в сайте поставщика, автор пока не исправил, но у меня скорее из ряда вон выходящий сайт.

tehnoblog · 08.11.20

kalkm написал(а):
Берите content downloader и не думайте! Только лиц! Это просто высший пилотаж! Пользуюсь более 5 лет, обновы постоянные, Сергей автор программы очень отзывчивый человек. Есть форум.

в Битрикс парсит изумительно, каждый день по расписанию в винде запускается, парсит товары конкурентов, далее в Битрикс на фтп выгружает, я по крон забираю файл импортом и рассчитываю цены отпускные на основе цен конкурентов. Это песня! Я раньше и не знал как я без него жил.
Не пытайтесь искать нулл версию, она топорная и не Рабочая. Только лиц. Деньги небольшие а возможности просто бомба.

так же есть модуль для опенкарт simplepars. Тоже брал лиц. Парсю им мелочь, но он много чего не может. Например не смог авторизоваться в сайте поставщика, автор пока не исправил, но у меня скорее из ряда вон выходящий сайт.

Скиньте ссылку

kalkm · 08.11.20

tehnoblog написал(а):
Скиньте ссылку

https://g.zeos.in/?q=Content downloader официальный сайт

Jack_Sparrow · 23.11.20

kalkm написал(а):
https://g.zeos.in/?q=Content downloader официальный сайт

Приобрел парсер который вы советовали) Не пойму как связать торговые предложения с товаром)

Банальные вещи понял как делать.

Jack_Sparrow · 23.11.20

bambras написал(а):
в освоении сначала придется чуть помучаться, но только первые 1-2 раза, пока не поймешь, как парсить характеристики товаров, торговые предложения для битрикса и прочую муть, опять же - есть немало видосов на ютубе, где все достаточно приемлемо разжевано, как что забивать, если что, обратись, я скину образы парсинга сайтов, тот же Петрович или Изолюкс (ну т.е. десятки тысяч товаров) - парсится примерно за 1-2 суток
есть подмены айпишников, чтобы избежать бана по айпи, есть форум, где можно спрашивать глупые и не очень вопросы
в общем штука крутая, рекомендую

Скинь образы пожалуйста, мне просто глянуть. Устал голову ломать как под битрикс заточить его. Вопрос стоит связи с торговыми предложениями.

kalkm · 23.11.20

Jack_Sparrow написал(а):
Скинь образы пожалуйста, мне просто глянуть. Устал голову ломать как под битрикс заточить его. Вопрос стоит связи с торговыми предложениями.

Я не могу понять что у Вас не получается? Пример сайта давайте, я накидаю проект и покажу что и как. Вам именно торговые предложения надо вгонять в БУС?
Я всегда парсю так:

Товар имя/цена склад 1/осаток склад 1/ цена склад 2/ остаток склад 2 и тд....

То есть строка товара в файле одна. А предложения потом импорт/эксорт эксель через множественные свойства загружаю.

то есть строка имеет вид: (CSV, TXT)
товар имя;122руб(склад1);123руб(склад2);124руб(склад3);22(остаток1);25(остаток2);29(остаток3)

bambras · 23.11.20

Jack_Sparrow написал(а):
Скинь образы пожалуйста, мне просто глянуть. Устал голову ломать как под битрикс заточить его. Вопрос стоит связи с торговыми предложениями.

примеры:
https://yadi.sk/d/YamGYDxPd-XW6Q

https://yadi.sk/d/F43VhJZMbJYUFw

https://yadi.sk/d/j0mYXTg4HUMkEg

bambras · 23.11.20

в эту хрень надо врубиться, спарсь сам 1-2-3 сайта, с торговыми предложениями и прочим, потом все будет на автомате

Jack_Sparrow · 23.11.20

kalkm написал(а):
Я не могу понять что у Вас не получается? Пример сайта давайте, я накидаю проект и покажу что и как. Вам именно торговые предложения надо вгонять в БУС?
Я всегда парсю так:

Товар имя/цена склад 1/осаток склад 1/ цена склад 2/ остаток склад 2 и тд....

То есть строка товара в файле одна. А предложения потом импорт/эксорт эксель через множественные свойства загружаю.

то есть строка имеет вид: (CSV, TXT)
товар имя;122руб(склад1);123руб(склад2);124руб(склад3);22(остаток1);25(остаток2);29(остаток3)

Jack_Sparrow написал(а):
Скинь образы пожалуйста, мне просто глянуть. Устал голову ломать как под битрикс заточить его. Вопрос стоит связи с торговыми предложениями.

Допустим https://mnogosna.ru/tipy-matrasov/kruglye-matrasy/

https://yadi.sk/d/294VfBNVI_xtRg - файл который я настроил

Не пойму как выгружать торговые предложения и связывать их при импорте на сайт битрикс.

bambras · 23.11.20

Джек Воробей, вопрос должен содержать половину ответа

Что именно не выходит?
Заранее, я делаю доп. скрытое пол, ссылка на товар, при парсирнге
1й парсер парсит фото картинки и характеристики
2й парсит торгвые предложени, одно поле остается статическим, т.е. ссылка на товар, я предпочитаю делать привязку по этому параметру, потому что просто минимальный шанс лажануться

Jack_Sparrow · 23.11.20

bambras написал(а):
Джек Воробей, вопрос должен содержать половину ответа
Что именно не выходит?
Заранее, я делаю доп. скрытое пол, ссылка на товар, при парсирнге
1й парсер парсит фото картинки и характеристики
2й парсит торгвые предложени, одно поле остается статическим, т.е. ссылка на товар, я предпочитаю делать привязку по этому параметру, потому что просто минимальный шанс лажануться

Спасибо, сейчас гляну файлы)) Осваиваю парсер просто, сорри за глупые вопросы. Неделю юзаю только)

Если кому не сложно, нужно настроить 2 парсера на разные сайты. Естественно не за спасибо! Пишите в личку

Посоветуйте пожалуйста парсер

Похожие темы