Настройка парсинга SimplePars v4.12_stable

[Konstantin14]

Добрый день, нужен исполнительпо по добавлению донора для парсинга.

Сайт для парсинга flosplanet.ru
OpenCart Version 3.0.3.8 (trs-3.0.2.0) шаблон Jornal

Стоит модуль; SimplePars v4.12_stable

сайт донера https://floraimport.ru/
С логином и паролем

Обновлене из категорий донера;

https://floraimport.ru/catalog/gorshechnye-rasteniya/
https://floraimport.ru/brands/baq-design.html

Товары этого этого поставщика есть на сайте. Добавление товаров с этого сайта не требуются
Подробные данные парсинга есть в эсель табличке - вышлю по требованию
 

[Konstantin14]

[specialforce22]

Ссылок на товар нет в принципе

Код: Выделить всё

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://floraimport.ru/catalog/gorshechnye-rasteniya/</loc>
<lastmod>2023-09-02T02:52:10+03:00</lastmod>
</url>
<url>
<loc>https://floraimport.ru/catalog/komnatnye-rasteniya/</loc>
<lastmod>2025-11-06T16:18:28+03:00</lastmod>
</url>
<url>
<loc>https://floraimport.ru/catalog/sredizemnomorskie-rasteniya/</loc>
<lastmod>2025-11-06T16:18:28+03:00</lastmod>
</url>

 

[Konstantin14]

Добрый вечер, а вы работали с модулем SimplePars v4.12_stable - там первый этап сбор ссылок на товары - вроде получалось собрать

[specialforce22]

Добрый вечер, а вы работали с модулем SimplePars v4.12_stable - там первый этап сбор ссылок на товары - вроде получалось собрать

Да, работаю с эти модулем очень плотно, мне каж-ся прошел с ним очень большую школу и разные подвыперты, поэтому интересно было посмотреть на Вшу задачу.
По-моему Ваш поставщик не про парсинг.
Обратите внимание, что у Вашего кебаба, он же - донер нет в sitemap никаких ссылок на товары

Код: Выделить всё

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://floraimport.ru/sitemap-sections.xml</loc>
<lastmod>2025-11-06T22:06:46+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://floraimport.ru/sitemap-iblock-1.xml</loc>
<lastmod>2025-11-06T22:06:46+03:00</lastmod>
</sitemap>
<sitemap>
<loc>https://floraimport.ru/sitemap-iblock-2.xml</loc>
<lastmod>2025-11-06T22:06:46+03:00</lastmod>
</sitemap>
</sitemapindex>

sitemap-iblock-1.xml и ид. - это всё каталоги

Чтобы убедиться в этом, я зачем-то провел, этот самый, первый этап, но он и собирает эти же самые каталоги, что в очереди ссылок, что в ссылках на товар ссылки ведут на списки из нескольких товаров - то есть на каталоги.
На 1 странице куча id товара, а именно 150 шт. и 26 пагинаций
При таких обстоятельствах не заставить делать обновления прасингом.
 

[Konstantin14]

Спасибо вам большое за подробную аналитику !!! Да уж новости не очень)

А если с другого их сайта (это же компания)

https://gardengrove.ru/ 

[specialforce22]

По-идее, этот сайт подходит для парсинга.
Например, страница товара https://gardengrove.ru/catalog/5agamak55.html
там есть артикул 5AGAMAK55, который индетифицирует товар

[Konstantin14]

Спасибо за аналитику! Если вы сможете по последнему сайту поставщика https://gardengrove.ru/ (их розничный магазин) настроить парсинг автоматический по тем характеристикам которые давал изначально (срок поставки, количество, цена) - то здорово! Тогда надо будет немного переписать ТЗ (с учетом специфики атрибутов) + добавление новых товаров. Подскажите смогли бы выполнить и если да ориентировочно оцень стоимость работ

[specialforce22]

Сделать можно.

Автоматически - это по крону?

Загрузить могу в любом виде, заменив что надо, на то, что надо - прибавив, убавив или изменив.

Загружает товар с каким-нибудь статусом "Предзаказ" или "Ожидание", в общем, какой у Вас статус задан в CMS, тот и устанавливается при парсинге. Так как сроки разные, то этот путь не айс, я так понимаю.

Текст "Поставка ожидается 12.01.26г." - всегда будет разный, значит, этот текст целесообразно загружать в поле jan ean mpn или isbn (Это вообще есть в Журнале!?)
Либо атрибут такой делать Срок поставки: ожидается 12.01.26г (Надо ли к этой поставке прибавлять +10-12 дней? Например, на выходе получить -  Срок поставки: ожидается 25.01.26?

Сейчас Вы в каком виде выводите?

Предлагаю бюджет 9000 руб. Деньги вечером, утром стулья, но гарантированный срок зафиксируем 3 дня.

Есть НО! 2 НО))

1. Сегодня интересно, потому, что есть окно;
2. Сегодня интересно вдвойне, потому что только завтра к вечеру ожидаю "ЗП" (я вообще директор, но сегодня таксую для души)

Если консенсус не срастается, значит, не договорились и могу просто еще на что-нибудь поотвечать



 

[Konstantin14]

Понял! Что касается автоматически - до конца не знаю функционал SimplePars v4.12_stable Модуля, да по крону - предполагал варианты. Либо формировать CVS файл - далее загружать через сторонний установленный модуль CSV Price Pro import/export (т.к. через него идёт обнуление остатков по крону каждый день) либо напрямую из модуля обновлять атрибуты (опять таки не знаю до конца функционал)

Что касается атрибутов они все заведены на сайте на который нужен парсин flosplanet.ru и парсинг происходит со стороннего агрегатора и обновляются каждый день по крону в заданное время. В таблице атрибутов всё прописал (которая во втором сообщении после публикации). Там прописано какие данные парятся и откуда (какие целиком, какие частично)

Очень благодарен что уделили время, не готов к спешке, т.к. изначально ориентировался на другой сайт (проблема в том что в розничном сайте https://gardengrove.ru - не весь асортимент который заведён на моём сайте и доп значания заведены немного по другому.) Нужно время чтобы составить полноценное ТЗ с учётом добавления новых товаров.

 

[specialforce22]

Ок. Это и хорошо, что так получилось, а то мне уже усталость пришла после тренировки, боевитость  работать вечером подупала значительно, да и зряплата пришла по оптимистичному плану (закладывал худший план - завтра - обычно мало кто любит платить в пятницу или понедельник - я уже и не ждал))).
Так, что у нас все равно консенсус сам собой получился)))

Жаль, что первый сайт с сходу не парсится (нет страниц товаров, а страница товара должна быть одна, чтобы сличать-загружать-обновлять) потому что Simplepars - это супер-мощный инструмент и способен закрыть любую боль - это и парсер, SEO-оптимизатор и обновить всё, что нужно может автоматом.

Но, если подходить творчески, то, может - вот что я надумал, можно получить урл товара на оптовом сайте так https://floraimport.ru/search/?q=Abies+ ... na&s=Найти

Такая страница парсингом разбирается, Ваши все теги можно сопоставить:
 

Код: Выделить всё

    <div class="element" data-id="126442">
    	<div class="left">
        	<div class="image" id="i126442">
            						<a class="item fancybox" href="/upload/iblock/0c1/jn9kpe6inm6yepw14s7x30gicwcx2om0/acer_pal_butterfly_150_180_branched_5acbuvt40.png">
                    	<img class="lazy" data-original="/upload/resize_cache/iblock/0c1/jn9kpe6inm6yepw14s7x30gicwcx2om0/265_265_1/acer_pal_butterfly_150_180_branched_5acbuvt40.png" alt="Acer pal. 'butterfly' (150-180) branched" title="Acer pal. 'butterfly' (150-180) branched"/>
                    	<span class="material-icons icon">&#xE402;</span>
                    </a>
				                            </div>
            				<div class="article">арт: 5ACBUVT40</div>
			        </div>
        <div class="right">
        	<h2 title="Acer pal. 'butterfly' (150-180) branched">Acer pal. 'butterfly' (150-180) branched</h2>
            <div class="params">
            	                            	<div class="item latin" title="Acer Pal. 'butterfly' (150-180) ">Acer Pal. 'butterfly' (150-180) </div>
                                					<div class="item">
                    		
                                                        
							            					<a href="/brands/nieuwkoop-europe.html">Nieuwkoop Europe</a><span>Производитель:</span>
            				            
            
          			</div>
				                					<div class="item">43 см.<span>Диаметр горшка:</span></div>
																					<div class="item">165 см.<span>Высота растения:</span></div>
								            </div>
                                        			<div class="shop">
													<div class="item stock green">На складе в Нидерландах: 7 шт.<br/><b>Поставка в Россию ≈ 5-10 раб. дней</b></div>
								<div class="price">
						<span class="value blur note">0 000 руб.</span><span class="plink"><span class="material-icons" title="В корзину" onClick="location.href='/registration/';">&#xE8CC;</span></span>
					</div>
			</div>
       		        </div>
        <div class="clear"></div>
    </div>
    
      </div>
</div>
	
	    
<div class="eral_text">
 
<p>Данное кашпо может быть покрашено в любой цвет по «<b>каталогу цветов RAL</b>».</p>
<p><b>Обратите внимание!</b> Покраска в стоимость кашпо не включена и оплачивается отдельно. После покраски, кашпо может быть покрыто лаком, для придания ему глянцевой поверхности.</p>
<p>Стоимость покраски не фиксированная и зависит от объема работ. Подробнее о сроках покраски и стоимости услуг - вы можете узнать у своего менеджера!</p>
<p>При оформлении заказа, пожалуйста, в комментарии к заказу указывайте необходимый вам <b>код цвета</b> по «каталогу цветов RAL», а так же <b>тип поверхности</b>: глянцевая или матовая.</p>

Подумайте!

Если составить список урл в таком формате (нужно смотреть, может, функционалом  Симлепарса, либо ИИ-попрость составить список нужных комбинаций), то парсить можно Simpleparsom в одно окно и не понадобятся дополнительные модули и загрузчики.

Будут вопросы, спрашивайте, подскажу.


 

[Konstantin14]

Спасибо Вам Большое. Буду переваривать информацию)))

[Konstantin14]

Ок. Это и хорошо, что так получилось, а то мне уже усталость пришла после тренировки, боевитость  работать вечером подупала значительно, да и зряплата пришла по оптимистичному плану (закладывал худший план - завтра - обычно мало кто любит платить в пятницу или понедельник - я уже и не ждал))).
Так, что у нас все равно консенсус сам собой получился)))

Жаль, что первый сайт с сходу не парсится (нет страниц товаров, а страница товара должна быть одна, чтобы сличать-загружать-обновлять) потому что Simplepars - это супер-мощный инструмент и способен закрыть любую боль - это и парсер, SEO-оптимизатор и обновить всё, что нужно может автоматом.

Но, если подходить творчески, то, может - вот что я надумал, можно получить урл товара на оптовом сайте так https://floraimport.ru/search/?q=Abies+ ... na&s=Найти

Такая страница парсингом разбирается, Ваши все теги можно сопоставить:
 

Код: Выделить всё

    <div class=&quot;element&quot; data-id=&quot;126442&quot;>
    	<div class=&quot;left&quot;>
        	<div class=&quot;image&quot; id=&quot;i126442&quot;>
            						<a class=&quot;item fancybox&quot; href=&quot;/upload/iblock/0c1/jn9kpe6inm6yepw14s7x30gicwcx2om0/acer_pal_butterfly_150_180_branched_5acbuvt40.png&quot;>
                    	<img class=&quot;lazy&quot; data-original=&quot;/upload/resize_cache/iblock/0c1/jn9kpe6inm6yepw14s7x30gicwcx2om0/265_265_1/acer_pal_butterfly_150_180_branched_5acbuvt40.png&quot; alt=&quot;Acer pal. 'butterfly' (150-180) branched&quot; title=&quot;Acer pal. 'butterfly' (150-180) branched&quot;/>
                    	<span class=&quot;material-icons icon&quot;>&#xE402;</span>
                    </a>
				                            </div>
            				<div class=&quot;article&quot;>арт: 5ACBUVT40</div>
			        </div>
        <div class=&quot;right&quot;>
        	<h2 title=&quot;Acer pal. 'butterfly' (150-180) branched&quot;>Acer pal. 'butterfly' (150-180) branched</h2>
            <div class=&quot;params&quot;>
            	                            	<div class=&quot;item latin&quot; title=&quot;Acer Pal. 'butterfly' (150-180) &quot;>Acer Pal. 'butterfly' (150-180) </div>
                                					<div class=&quot;item&quot;>
                    		
                                                        
							            					<a href=&quot;/brands/nieuwkoop-europe.html&quot;>Nieuwkoop Europe</a><span>Производитель:</span>
            				            
            
          			</div>
				                					<div class=&quot;item&quot;>43 см.<span>Диаметр горшка:</span></div>
																					<div class=&quot;item&quot;>165 см.<span>Высота растения:</span></div>
								            </div>
                                        			<div class=&quot;shop&quot;>
													<div class=&quot;item stock green&quot;>На складе в Нидерландах: 7 шт.<br/><b>Поставка в Россию ≈ 5-10 раб. дней</b></div>
								<div class=&quot;price&quot;>
						<span class=&quot;value blur note&quot;>0 000 руб.</span><span class=&quot;plink&quot;><span class=&quot;material-icons&quot; title=&quot;В корзину&quot; onClick=&quot;location.href='/registration/';&quot;>&#xE8CC;</span></span>
					</div>
			</div>
       		        </div>
        <div class=&quot;clear&quot;></div>
    </div>
    
      </div>
</div>
	
	    
<div class=&quot;eral_text&quot;>
 
<p>Данное кашпо может быть покрашено в любой цвет по «<b>каталогу цветов RAL</b>».</p>
<p><b>Обратите внимание!</b> Покраска в стоимость кашпо не включена и оплачивается отдельно. После покраски, кашпо может быть покрыто лаком, для придания ему глянцевой поверхности.</p>
<p>Стоимость покраски не фиксированная и зависит от объема работ. Подробнее о сроках покраски и стоимости услуг - вы можете узнать у своего менеджера!</p>
<p>При оформлении заказа, пожалуйста, в комментарии к заказу указывайте необходимый вам <b>код цвета</b> по «каталогу цветов RAL», а так же <b>тип поверхности</b>: глянцевая или матовая.</p>

Подумайте!

Если составить список урл в таком формате (нужно смотреть, может, функционалом  Симлепарса, либо ИИ-попрость составить список нужных комбинаций), то парсить можно Simpleparsom в одно окно и не понадобятся дополнительные модули и загрузчики.

Будут вопросы, спрашивайте, подскажу.

Добрый день! Столкнулся с проблемой CRON. Стоит 2 задания "Парсинг в ИМ" на одно и тоже время. Одно полностью отрабатывает, второе только частично и останавливается. В ручном режиме никаких проблем 3 мин. на выполнение одного задания. Все настройки Крона в модуле корректные. Настройки крона на хостинге - есть некоторые сомнительные логи по данным Хостеров. Может сталкивались с такого рода моментами?)