добрый день. такой вопрос, так сказать ради интереса ) кто как считает, какая должна быть нормальная скорость загрузки и скорость обновления товара с прайса через загрузчик ?
1. На один товар - по сумме запросов - на апдейте до 0.1 2. Для обработки прайса, в зависимости от его типа (csv, xls, xml) одного товара - от 0.1 до 0.3) 3. если товаров много, то время не пропорцианально т.е. и 10 и 100 товаров будут за 0.1 а вот 100 за 0.2 Чтобы оценить загрузку Выполните запрос на карту сайта Это приблизительно время загрузки аналогичного прайаса
это в секундах или минутах ? хорошо, поставим вопрос более конкретно. сколько надо по хорошему для загрузки 15000, 80000, 400000 товара ?
родная карта при 15к на холодную будет генериться до 7сек для загрузки 15к товаров понадобится от 10сек от типа прайса и объема прайса, а кроме того от самого загрузчика Бесплатный импортэкспорт 15к отработает секунд за 20
Chukcha, если не сложно покажите мне бесплатный загрузчик который загрузит из ексел 15000 товара за 20 сек и получается что 400000 товара за 10 минут )
Я вам сказал беспалтный импортэкспорт Вы путает понятия и неверно интрпретируете У вас карт сайта на 400000 будет формироваться 10минут? я сильно сомневаюсь, но чтоб 400к обработать нужно просто время, и память на разбор прайса, , а для таких пррайсов нужен индивидлаьные подход Вот вам пример Мой формирователь ЧПУ для 400к отработал за полчаса, но там было сделано, что все прошло аккуратно, без падения, много лишних запросов с разбиением на страницы, но зато 100% выполнение Также и с прайслистами, подготовка, обработка, отложенные запросы, Чтобы не положить сервак
Считаю, что это самое важно. Не скорость работы.., а именно корректная работа при любом раскладке. Я готов подождать импорта лишний час, чем выделять под это дело мощный сервак.
а при чем тут формирователь ЧПУ и загрузка прайса ? я вроде конкретно спросил, кто сколько считает нормальным по времени загрузки прайса в 400000 товара ? соответственно это модель, артикул, название товара, описание, цена, количество ну и 2-3 атрибута. картинки не учитываем. вы мне говорите про карту сайта, при чем тут карта сайта и прайс лист ? вы можете ответить конкретно на конкретно поставленный вопрос - какое время загрузки вы считаете нормальным для вышеозвученых условий ? Vlad, мы не берем в учет супер пупер навороченный сервак, а принимаем в расчет среднестатический впс
Потому что вы интересуетесь временем выполнения скрипта Я говорю, что 400к за полчаса но безопасно, и не нагружая сервер Я говорю про карту, потмоу что карта - это один из самых нагруженных скриптов в опнекрате Потому что я даю оценочную характеристику, которую вы и просите Конкретно - хоть сутки но чтоб сервер не упал
вы никак не можете понять сути вопроса, суть не в том чтобы сервер не упал, меня совершенно не интересует время выполнения скрипта, меня интересует кто сколько считает нормальным по времени загрузку прайса при приведенных выше условиях. давайте еще более конкретно поставим вопрос, на среднестатическом впс 90000 загружаются за час, 400000 товара загружается около 5 часов, а 1800000 товаров за 27 часов. это долго или как ?
Вы никак понять не можете Он может загрузится за 30сек, если данные подготовлены для быстрой загрузки И может грузится 24 часа, если требуется обработка и ненагрузочные решения Или же 1 час, но при этом все ляжет
да при чем тут что то ляжет. не ложится нечего. забудьте про это. по вашему вы можете загрузить 1800000 товара за 30 сек ?
Не поверите- да Но сначала подготовлю запрос Отключу индексы Выполю скрпит Включу индексы у вас количество меняется на глазах 1800000 != 400000 , а время остается одинаковым ну давайте говорить о 2-х миллионах, о трех и все за 30сек. а 30 сек, это, в сновном, дефолтное ограничение на выполнеие скриптов
Даже если это не 30сек, а 60 - особой роли не сыграет Потому как Это не то время чтобы оценивать В мою бытность работы с ораклом Каждое утро аналитик приходил на работу, заходил в систему и через полчаса получал результат отчета За это время обрабатовалось до миллиарда записей, с жутким присоединениями таблиц. (до 20) Но все прелесть была в том, что это можно было сделать за 5 минут, но при этом больше никто не смог бы работать Поэтому я и говорю, что в первую очередь - уважай соседа, не нагружай сервер а уж потом думай о своем времени
да при чем тут дефолтное выполнение скрипта ? вы хотите сказать что при дефолтном выполнение скрипта в 30 нельзя загрузить 1800000 товаров ? давайте поговорим и 2 и 3 миллионах. загрузите вы их при дефолтном выполнение скрипта и чисто если вам дадут екселевский файл ? вы смотрите со стороны конечного пользователя, ведь пользователь не будет каждый раз проделывать все эти ваши подготовительные работы, ему прислали прайс ему надо его прогрузить, добавить новые товары, обновить старые.
Я говорю о том что скрипт обработки должен или укладываться в 30 сек, или работать в той среде или в то время, когда он не мешает соседу Реально это может быть и час, и два, и 24 даже вот простейший пример на 8ядрах с 32 гигами (ну.. софтинка то одноядерная) Екселевский файл с около 50к позиций грузится в опенофис три минуты, Это много или мало? А сохраняется он за 2 сек. Так и с вашими миллионами И мы на данном этапе говорим о php А если смотреть в сторону bigdata, а миллионы записей уже немного к этому подходят, то можно рассмотреть пайтон Который более предрасположен к парсингу больших данных И вот еще Если у вас в прайсе еще есть картинки, то учтите чтобы загрузить картинку, вам нужно сделать запрос, а это.. грубо говоря до 0.3 секунды на одну картинку
вы так и не поняли простоты вопроса ((( вас все несет в какие то профессиональные дебри. еще раз повторю, посмотрите на вещи со стороны конечного пользователя, магаз стоит на впс, больше никого нет. никаких профнавыков пользователь не имеет, его дело скормит прайс загрузчику и все. настройки сервера дефолтные. теперь внимание вопрос - может ли какой из известных вам продающих или бесплатных загрузчиков загрузить 1800000 товара за 15 минут ? за сколько по вашему известные вам загрузчики при таких условиях загрузят такое количество товара ?
Ок.. мне известен только мой парсер!!! 40к - около 4 часов с картинкаим Запустил и продолжал работать с сайтом А товары, как-то сами добавлялись, обновлялись , картинки качались, в соседнем потоке Это много или мало?
