я очень рад за вас что у вас свой парсер. только при чем тут парсинг и загрузка прайса ? и что за привычка отвечать вопросом на вопрос ? типа - грузовик проехал 100 км. за полтора часа, это быстро или как ? ответ. я на своей легковой проехал 100 км. за час десять. это быстро или как ? ну и если вы так кичитесь своим парсером, хотите эксперимент ? или опять только пустое сотрясания воздуха ? слова, слова (
Потому что парсер и прайс - суть одна Это просто источник данных Распарсить прайс xls, xml, csv и просто грабнуть сайт - суть одна. Поясняю про легковую Можно и за 50мин, можно можно и за 1,5 часа Я предпочту - 1,5 Не привычка вопросом на вопрос, а просто попытка выяснить у вас зачем вам нужно знать это?
не согласен. ну если уж так хочется знать то обьясню. есть товарищ, у него 10 поставщиков, прайсы в ексел, прайсы от 15 до 400к товара. общая сумма 1800000 товара. теперь самые вкусняшки, его хотелки. в прайсах запчасти, есть новые, есть б/у, есть отремонтированные. в колонках название запчасти, марка авто, модель авто, артикул. 1. надо обьеденить эти колонки и запихать в название, то есть к примеру амортизатор opel corsa в название запчасти должно быть - Амортизатор opel corsa (435673219) 2. opel corsa засунуть в атрибут 3. если модель соответствует (перечень моделей) то в атрибут тип авто надо написать грузовой, если (перечень моделей) - микроавтобус, остальные - легковая 4.есть колонки - место установки, сторона, к примеру для амортизатора - перед, левая, надо в атрибут место установки написать - передний левый 5. если в название - шина - есть колонки ширина, высота, диаметр, надо скомпоновать типоразмер, к примеру так 215/75 R17.5 6 если название - диск - есть колонки ширина, диаметр, вылет, PCD, отверстия, соответственно к примеру 6.5, 16, 55, 100, 5 формируем типоразмер 6.5 x 16 ET55 5х100 7. цена, есть колонка дата поступления, есть колонка, новая, б/у, отремонтированная, если б/у делаем надбавку 30%, если отремонтированная - 50%, если новая то надо учитывать дату поступления, если дата поступления больше 30 дней то надбавка 70%, но не более 10000 р., если дата поступления меньше 30 дней то надбавка 100% но не более 10000 р. вот такие хотелки. теперь хотелки по скорости. что бы все это грузилось не более 30 минут, так как в день надо обновлять раза 3. к сожалению максимум что мне удалось добиться это загрузки всего этого добра в 1800000 товаров за 3 часа. но это при условии разбивки больших прайсов на несколько, примерно по 50000 товара и запуска их всех в несколько потоков. конечно если будет супер пупер сервер можно разбить на кучу по 10000 товара тогда думаю может и уложится в 30 минут, но ему надо что бы все это работало на автомате по крону соответственно ни о каких разбивках речи быть не может. и как он мне сказал, ему предложили написать загрузчик за 20000 р. который будет грузить все это добро с его хотелками минут за 20, но он считает что 20000 это очень дорого. вот я и думаю, может я что упустил или чего не знаю, может сейчас уже есть технологии по которым можно грузить миллионы товаров за считанные минуты ? Chukcha, только не надо раздувать полемику типа, что если подготовить каждый прайс вот так и вот так да еще подготовить что то вот так, а это вот так, а то вообще выбросить, то можно загрузить и быстрее )) мы берем во внимание работу с загрузчиком конечного пользователя.
С чем? Во всех случаях вы работает с источником данных 3 часа для такой задачи - это норм Почему и не? Подготовить прайс к загрузке, проще, чем разбирая каждую строку и совершать транзакции Подготовить прайс означает - разделить парсер данных и загрузчик Клиент, или существующий парсер, делает это в одном потоке И возможно, 20к это нормальная цена такой работы
