Скорость синхронизации с 1С (Страница 1 из 2)

Здравствуйте! Я рекомендую загружать порциями, ветками категорий товаров.
Потом включите синхронизацию только изменений.

Так у Вас и товаров огромное количество. Многое и от сервера зависит и от настройки MySQL.
В данном случае еще и файл обмена большого размера обрабатывается.

1. Увеличьте время выполнения запроса в настройках модуля. У вас стоит maxExecTime = 7. 7 секунд на обработку это очень мало.

2. Попробуйте закомментировать строку с $this->setOffersRightSortnIfNeed() в \modules\exchange\model\task\afterimport\products.inc.php

1000 продуктов с 27 000 многомерных комплектаций примерно за 20 минут заливаем.

Для клиента с постоянной выгрузкой остатков 10 000 товаров писали отдельно обмен.

Сейчас тестируем обмен с вашими файлами на локальной машине. У нас без фото загружается 10 товаров в секунду:

[2018.01.23 19:29:28]         Импорт товара: Ополаскиватель для рта Колгейт Кора дуба и пихта 250мл Артикул:
[2018.01.23 19:29:28]         Импорт товара: Ополаскиватель для рта Колгейт Лечебные травы 250мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель СПЛАТ Биокальций 275мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель СПЛАТ Отбеливание Плюс 275мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума  Hair Love 200мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума 7 трав 200мл Артикул:00022298
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Fresh it Up 200мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Бесконечно длинные Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Крем уход с маслом Арганы 200мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Кристальный блеск 380мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Объем Пуш-Ап 200мл Артикул:
[2018.01.23 19:29:29]         Импорт товара: Ополаскиватель Шаума Сила Кератина 200мл Артикул:
[2018.01.23 19:29:30]         Импорт товара: Ополаскиватель Шаума Фито-Кофеин 200мл Артикул:
[2018.01.23 19:29:30]         Импорт товара: Ополаскиватель Шаума Фито-Укрепление 200мл Артикул:

Используется: PHP 7.1 x64 + opCache

Попробуйте отключить принудительный ресайз фотографий в разделе Веб-сайт -> Настройка модулей -> Блок фотографий -> "Изменять размер оригинальной фотографии при загрузке"

Проверьте, включен ли у вас opCache (ускорение до 2х раз)
Проверьте, включен ли у вас кэш в разделе Управление -> Настройка системы -> "Включить кэширование данных"
Попробуйте еще оптимизировать (выполнить OPTIMIZE TABLE .....) все таблицы в Mysql (через phpMyAdmin, например), чтобы исключить фактор, что Mysql тормозит. (однажды с таким сталкивались)

1. opCache https://yadi.sk/i/Ce1REjUb3RmTta
2. Включить кэширование данных - вкл
3. Оптимизировано
4. xdebug - нет такого параметра.

Вопрос при обмен данными через csv можно сюда не задавать?
Скорость тоже удручает, прогоняю 3 поля, название, краткое описание и описание, сверка данных по полю название.
34000 строк, продолжительность пока 12 часов.

Параметры сервера:

Удовольствием развернем на локальном сервере, но уже наверно после того как работы с товарной составляющей будут завершены.

Просто на одном сервере валяются 2 сайта readyscript и bitrix, у второго нет таких проблем с обменами данных.
1с одного и того же клиента, товары по количеству идентичны.

Выкладывайте обезличенные файлы с выгрузкой, устроим Import Challenge)

У меня самые стандартные конфиги OpenServer, без изменений:

[mysqld]
#skip-character-set-client-handshake
#skip-name-resolve
#sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
%log%general_log = 1
%log%general_log_file = "%dprogdir%\\userdata\\logs\\%mysql_driver%_queries.log"
back_log = 100
basedir = "%dprogdir%\\modules\\database\\%mysql_driver%"
bind-address = %ip%
bulk_insert_buffer_size = 2M
character-set-server=%sqlchr%
character-sets-dir    = "%dprogdir%\\modules\\database\\%mysql_driver%\\share\\charsets"
collation-server=%mysqlcharset%
connect_timeout = 5
datadir = "%dprogdir%\\userdata\\%mysql_driver%"
default-storage-engine=InnoDB
expire_logs_days = 2
ft_min_word_len=4
init-connect="SET NAMES %sqlchr%"
interactive_timeout=30
join_buffer_size = 1M
key_buffer_size = 25M
local-infile=0
log-error = "%dprogdir%\\userdata\\logs\\%mysql_driver%_error.log"
lower_case_table_names = 2
max_allowed_packet = 32M
max_connect_errors = 10
max_connections = 30
max_heap_table_size = 25M
max_tmp_tables = 25
myisam-recover-options=backup,force
myisam_max_sort_file_size = 256M
myisam_repair_threads = 1
pid_file = "%dprogdir%\\userdata\\temp\\mysql.pid"
port = %mysqlport%
query_cache_limit = 256K
query_cache_size=25M
read_buffer_size=2M
read_rnd_buffer_size=4M
server-id = 1
skip-external-locking
skip-innodb_adaptive_hash_index
sort_buffer_size = 1M
table_open_cache = 969
thread_cache_size = 4
tmp_table_size = 25M
tmpdir = "%dprogdir%\\userdata\\temp"
transaction-isolation = READ-COMMITTED
wait_timeout=60

#innodb_fast_shutdown
#innodb_file_per_table = 1
#innodb_force_recovery=1
#skip-innodb_doublewrite

#Use default
#innodb_additional_mem_pool_size = 1M
#innodb_buffer_pool_size = 20M
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_data_home_dir = "%dprogdir%\\userdata\\%mysql_driver%"
#innodb_flush_log_at_trx_commit = 2
#innodb_lock_wait_timeout = 30
#innodb_log_buffer_size = 1M
#innodb_log_file_size = 64M
#innodb_log_files_in_group = 2
#innodb_max_dirty_pages_pct = 90
#innodb_read_io_threads=4
#innodb_thread_concurrency=4
#innodb_write_io_threads=4

[mysqldump]
quick
max_allowed_packet = 16M

[myisamchk]
key_buffer_size = 50M
sort_buffer_size = 50M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
open-files-limit = 2048

Попробую описать ночные эксперементы.
Дано:
77000 товаров
979 (категорий, максимально 4 вложенность)
OpenVZ (3x2000 МГц/4 ГБ/100 ГБ SSD)
KVM (3x2000 МГц/6 ГБ/40 ГБ SSD)
Офисный сервер (4x1860 МГц/4 ГБ/200 ГБ HDD)
Ubuntu 16.4 / Centos 7
ISP Manager / VestaCP
Apache, Apache+Nginx, CGI
PHP 5,6/7
Все ставилось с ноля...
Очень много играл с настройками Mysql / Apache / Nginx

Что пытаюсь сделать:
Обновить информацию о 100 товарах через импорт CSV
Обновляю описание и бренд
Сопоставление по названию

В итоге у меня получилось оверМНОГО вариаций так сказать хостингов

Что имеет в итоге:
Почти на всех конфигурациях обновление происходило за 2 минуты.
Несколько раз удавалось сократить время до 1.5 минут, и это только в связках
KVM + Centos 7 + CGI (PHP 5,6)
OpenVZ + Ubuntu 16.4 + Apache+Nginx (PHP 7) при этом отключил почти все службы (типа exim, iptables)

Спасибо. Ваши настройки попробую применить.
Если была бы возможность сопоставлять по опмюисанным данным, мы бы это использовали.

Но судя по тому что обмен данными с 1с занял 32 часа, то это никак не решит проблемы.

Тут необходима большая оптимизация процессов, при этом не стоит привязываться к настройкам и мощностям клиентского оборудования. Потому что как таковых рекомендаций нет.

Только что проверил загрузку 50 000 товаров из csv файла (Расширенный импорт CSV). 1 час 25 минут заняло.
Сервер:
Процессор    2 X QEMU Virtual CPU version (cpu64-rhel6) 2593.748 MHz
Оперативная память 1419 / 2010 MiB
Размер дискового пространства    58.93 GiB HDD
Хостер FirstVds
Нагрузка на проц составила 51%, памяти - 70%
Вот сама база: https://cloud.mail.ru/public/DJyV/kJ8Kr9vxT
p.s. Колонку с описанием я убрал, побоялся, что могут быть разделители, а протестировать хотел быстрее.

p.p.s. Попробовал и с описанием. Примерно такой же результат.

Удалил товары в каталоге и залил заново.
Сегодня попробую обновить цены у товаров.