<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
	<title type="html"><![CDATA[Форум ReadyScript &mdash; Скорость синхронизации с 1С]]></title>
	<link rel="self" href="https://forum.readyscript.ru/feed/atom/topic/1472/" />
	<updated>2018-02-21T07:54:46Z</updated>
	<generator>PunBB</generator>
	<id>https://forum.readyscript.ru/topic/1472/skorost-sinkhronizatsii-s-1s/</id>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8610/#p8610" />
			<content type="html"><![CDATA[<p>Добрый день, результаты последних изменений превзошли все ожидания.<br />40000 позиций за 12 минут.<br />Ребята, вам больше спасибо.</p><p>Без каких либо изменений в ПО, и конфигураций. Простая оптимизация проведенная разработчиками.</p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-02-21T07:54:46Z</updated>
			<id>https://forum.readyscript.ru/post/8610/#p8610</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8555/#p8555" />
			<content type="html"><![CDATA[<div class="quotebox"><cite>Ярослав пишет:</cite><blockquote><p>Потом включите синхронизацию только <strong>изменений</strong></p></blockquote></div><p>Да и если выгружать только изменения, то все равно 1с грузит всю пачку товаров, в этом случае изменяется только число предложений.</p><p>В противно случае, настройки &quot;Что делать с товарами, отсутствующими в файле импорта&quot; - просто бы не работали.</p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-02-02T14:41:00Z</updated>
			<id>https://forum.readyscript.ru/post/8555/#p8555</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8552/#p8552" />
			<content type="html"><![CDATA[<div class="quotebox"><cite>Ярослав пишет:</cite><blockquote><p>Так товары по наименованию сравниваются? Не по идентификатору?</p></blockquote></div><p>А пробовали сами сравнивать либо по названию, либо по идентификатору.</p><p>У меня секунда в секунду - одинаковый результат.<br />Вот кстати файлы для наглядности <a href="https://yadi.sk/d/wXQpfWHn3S24BH">https://yadi.sk/d/wXQpfWHn3S24BH</a></p><p>Последнее обновление, которое вышло сегодня результата не дало.</p><p>Днем до обновления результат<br /></p><div class="quotebox"><blockquote><p>20 секунд на базе с 30к товаров</p></blockquote></div><p>После обновления<br /><strong>30 секунд на базе с 30к товаров (сопоставление как по xml_id так и по названию, выдает одинаковое время)</strong></p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-02-01T22:31:48Z</updated>
			<id>https://forum.readyscript.ru/post/8552/#p8552</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8550/#p8550" />
			<content type="html"><![CDATA[<p>Так товары по наименованию сравниваются? Не по идентификатору?</p>]]></content>
			<author>
				<name><![CDATA[Ярослав]]></name>
				<uri>https://forum.readyscript.ru/user/74/</uri>
			</author>
			<updated>2018-02-01T18:45:18Z</updated>
			<id>https://forum.readyscript.ru/post/8550/#p8550</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8548/#p8548" />
			<content type="html"><![CDATA[<p>Наврал<br /></p><div class="quotebox"><blockquote><p>Один из последний эксперементов отключил <strong>NGINX</strong><br />В итоге 100 товаров обновилось за <strong>20 секунд</strong>, в базе как и раньше 77000 товаров.</p></blockquote></div><p>Результаты пока такие<br />20 секунд на базе с 30к товаров<br />100 секунд на базе с 77к товаров</p><p><strong>Обновляю всего 100 товаров.</strong><br />Вкл/выкл. NGINX - никак не влияет. Из последнего на сервере все сосдние БД перевели из InnoDB в MyISAM</p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-02-01T12:21:48Z</updated>
			<id>https://forum.readyscript.ru/post/8548/#p8548</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8545/#p8545" />
			<content type="html"><![CDATA[<p>Интерактивный обмен<br />31.01.2018 23:21:56 Запуск выгрузки товаров<br />31.01.2018 23:23:54 Завершено формирование файлов выгрузки товаров<br />Выгружено товаров: 11 801<br />предложений: 8 059<br />картинок: 12 182<br />файлов: 0<br />31.01.2018 23:55:49 Товары успешно выгружены на сайт.</p><p>vps 1 ядро Intel(R) Xeon(R) CPU E3-1270 v6 @ 3.80GHz</p>]]></content>
			<author>
				<name><![CDATA[Владислав]]></name>
				<uri>https://forum.readyscript.ru/user/723/</uri>
			</author>
			<updated>2018-01-31T21:08:47Z</updated>
			<id>https://forum.readyscript.ru/post/8545/#p8545</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8526/#p8526" />
			<content type="html"><![CDATA[<p>Удалил товары в каталоге и залил заново. <br />Сегодня попробую обновить цены у товаров.</p>]]></content>
			<author>
				<name><![CDATA[Ярослав]]></name>
				<uri>https://forum.readyscript.ru/user/74/</uri>
			</author>
			<updated>2018-01-29T15:56:07Z</updated>
			<id>https://forum.readyscript.ru/post/8526/#p8526</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8524/#p8524" />
			<content type="html"><![CDATA[<p>Загрузка на чистую систему или обновление имеющейся базы?</p><div class="quotebox"><cite>Ярослав пишет:</cite><blockquote><p>Только что проверил загрузку 50 000 товаров из csv файла (Расширенный импорт CSV). 1 час 25 минут заняло.<br />Сервер:<br />Процессор&nbsp; &nbsp; 2 X QEMU Virtual CPU version (cpu64-rhel6) 2593.748 MHz<br />Оперативная память 1419 / 2010 MiB<br />Размер дискового пространства&nbsp; &nbsp; 58.93 GiB HDD <br />Хостер FirstVds<br />Нагрузка на проц составила 51%, памяти - 70%<br />Вот сама база: <a href="https://cloud.mail.ru/public/DJyV/kJ8Kr9vxT">https://cloud.mail.ru/public/DJyV/kJ8Kr9vxT</a><br />p.s. Колонку с описанием я убрал, побоялся, что могут быть разделители, а протестировать хотел быстрее.</p><p>p.p.s. Попробовал и с описанием. Примерно такой же результат.</p></blockquote></div><br /><p>Если бы это было возможно, сделал бы.</p><div class="quotebox"><blockquote><p>&lt;Ид&gt;1de57a01-15d9-11dc-80e5-00179ac22fbb&lt;/Ид&gt;</p></blockquote></div>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-01-29T11:08:35Z</updated>
			<id>https://forum.readyscript.ru/post/8524/#p8524</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8517/#p8517" />
			<content type="html"><![CDATA[<p>Только что проверил загрузку 50 000 товаров из csv файла (Расширенный импорт CSV). 1 час 25 минут заняло.<br />Сервер:<br />Процессор&nbsp; &nbsp; 2 X QEMU Virtual CPU version (cpu64-rhel6) 2593.748 MHz<br />Оперативная память 1419 / 2010 MiB<br />Размер дискового пространства&nbsp; &nbsp; 58.93 GiB HDD <br />Хостер FirstVds<br />Нагрузка на проц составила 51%, памяти - 70%<br />Вот сама база: <a href="https://cloud.mail.ru/public/DJyV/kJ8Kr9vxT">https://cloud.mail.ru/public/DJyV/kJ8Kr9vxT</a><br />p.s. Колонку с описанием я убрал, побоялся, что могут быть разделители, а протестировать хотел быстрее.</p><p>p.p.s. Попробовал и с описанием. Примерно такой же результат.</p>]]></content>
			<author>
				<name><![CDATA[Ярослав]]></name>
				<uri>https://forum.readyscript.ru/user/74/</uri>
			</author>
			<updated>2018-01-28T10:04:16Z</updated>
			<id>https://forum.readyscript.ru/post/8517/#p8517</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8516/#p8516" />
			<content type="html"><![CDATA[<p>У Вас же идет обмен с 1с, значит идентификатор 1с XML_id используется, поэтому выгрузите товары в CSV с XML_ID и обмен должен пойти бодрее:<br /></p><div class="codebox"><pre><code>&lt;Ид&gt;1de57a01-15d9-11dc-80e5-00179ac22fbb&lt;/Ид&gt;</code></pre></div>]]></content>
			<author>
				<name><![CDATA[Ярослав]]></name>
				<uri>https://forum.readyscript.ru/user/74/</uri>
			</author>
			<updated>2018-01-27T21:49:05Z</updated>
			<id>https://forum.readyscript.ru/post/8516/#p8516</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8515/#p8515" />
			<content type="html"><![CDATA[<p>Спасибо. Ваши настройки попробую применить.<br />Если была бы возможность сопоставлять по опмюисанным данным, мы бы это использовали.</p><p>Но судя по тому что обмен данными с 1с занял 32 часа, то это никак не решит проблемы.</p><p>Тут необходима большая оптимизация процессов, при этом не стоит привязываться к настройкам и мощностям клиентского оборудования. Потому что как таковых рекомендаций нет.</p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-01-27T14:46:10Z</updated>
			<id>https://forum.readyscript.ru/post/8515/#p8515</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8513/#p8513" />
			<content type="html"><![CDATA[<p>Я следовал вот этим рекомендациям и скорость загрузки взлетала ощутимо. Конфиг с рабочего сервера.<br /></p><div class="codebox"><pre><code>key_buffer_size         = 128M#256M  # размер буфера, используемого для блоков индексов (рекомендуется 25% от ОЗУ) является общим для всех потоков
max_allowed_packet        = 16M #
#max_connections         = 50 # 50 — это мало для высоконагруженных проектов(как и VPS для таких проектов — это недостаточно) даже в данном случае можно смело повысит до 70, если поставить 100 — съест более 90% памяти, а у нас еще там апач стоит с java и прочие радости для сервера или же уменьшаем(постути жертвуем) выделение памяти под буферы и ставим max_connections сколько требуется
thread_cache_size       = 51 # число открытых потоков в кэше для обслуживания новых соединений (лучше больше)
table_open_cache        = 634 # Количество открытых таблиц для всех потоков (зависит от кол-во таблиц, лучше ставить больше)
tmp_table_size             = 128M # максимальный размер памяти для временных таблиц (устанавливается эксперементальным путём, желательно выше 32М)
max_heap_table_size     = 128M # максимальный допустимый размер временной таблицы (устанавливается эксперементальным путём, желательно выше 32М)
thread_concurrency      = 4 # 2количество одновременных процессов, обрабатывающих конкурентные запросы к mysql. Рекомендуется установить  значение, равное количеству процессов или ядер сервера, умноженное на два.
join_buffer_size        = 2M # индивидуальный параметр, вполне может хватить и 1М или меньше
open_files_limit        = 2048 # лучше больше
innodb_buffer_pool_size = 400M # зависит скорее от необходимости, надо мониторить и ставить больше чем потребляется по факту
wait_timeout            = 30 # сколько времени сервер ждет в секундах прежде чем закрыть соединение
interactive_timeout     = 60
sort_buffer_size        = 4M # поток, которому необходимо произвести сортировку, выделяет буфер данного размера (можно больше с оглядкой на расход памяти)
read_buffer_size        = 1M # рекомендуется в 4-е раза больше, чем sort_buffer_size
query_cache_limit        = 8M # по умолчанию – 1Мб, результаты, превышающие это значение, не кэшируются, слишком большое значение смысла не имеет
query_cache_size        = 128M#64 128M # сколько памяти выделить для внутреннего кэша запросов mysql, вычисляется опытным путем, по фактическому потреблению, но опять же мы ограничены 2Гб в данном конкретном случае (рекомендуется указывать 20% — 10% от ОЗУ)
 </code></pre></div><p>Сопоставление по названию и не должно быть быстрым, это не же поиск по индексу.<br />У товара индекс alias и xml_id, у товарного предложения xml_id. Попробуйте по ним сделать сопоставление.</p>]]></content>
			<author>
				<name><![CDATA[Ярослав]]></name>
				<uri>https://forum.readyscript.ru/user/74/</uri>
			</author>
			<updated>2018-01-27T11:55:09Z</updated>
			<id>https://forum.readyscript.ru/post/8513/#p8513</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8510/#p8510" />
			<content type="html"><![CDATA[<p>Попробую описать ночные эксперементы.<br /><strong>Дано:</strong><br />77000 товаров<br />979 (категорий, максимально 4 вложенность)<br />OpenVZ (3x2000 МГц/4 ГБ/100 ГБ SSD)<br />KVM (3x2000 МГц/6 ГБ/40 ГБ SSD)<br />Офисный сервер (4x1860 МГц/4 ГБ/200 ГБ HDD)<br />Ubuntu 16.4 / Centos 7<br />ISP Manager / VestaCP<br />Apache, Apache+Nginx, CGI<br />PHP 5,6/7<br />Все ставилось с ноля...<br />Очень много играл с настройками Mysql / Apache / Nginx</p><br /><p><strong>Что пытаюсь сделать:</strong><br />Обновить информацию о <strong>100 товарах</strong> через импорт CSV<br />Обновляю описание и бренд<br />Сопоставление по названию</p><p>В итоге у меня получилось оверМНОГО вариаций так сказать хостингов</p><p><strong>Что имеет в итоге:</strong><br />Почти на всех конфигурациях обновление происходило за 2 минуты.<br />Несколько раз удавалось сократить время до 1.5 минут, и это только в связках<br />KVM + Centos 7 + CGI (PHP 5,6)<br />OpenVZ + Ubuntu 16.4 + Apache+Nginx (PHP 7) при этом отключил почти все службы (типа exim, iptables)</p>]]></content>
			<author>
				<name><![CDATA[Бутаков]]></name>
				<uri>https://forum.readyscript.ru/user/66/</uri>
			</author>
			<updated>2018-01-26T03:41:43Z</updated>
			<id>https://forum.readyscript.ru/post/8510/#p8510</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8509/#p8509" />
			<content type="html"><![CDATA[<div class="quotebox"><blockquote><p>На сколько быстро, по вашим предположениям, должен проходить импорт csv?</p></blockquote></div><p>Каких-то ГОСТ&#039;ов - нет, чем быстрее тем лучше. Но точно больше 0,7 товаров в секунду.<br />Просим ссылку на CSV файл.</p>]]></content>
			<author>
				<name><![CDATA[admin]]></name>
				<uri>https://forum.readyscript.ru/user/2/</uri>
			</author>
			<updated>2018-01-25T21:55:54Z</updated>
			<id>https://forum.readyscript.ru/post/8509/#p8509</id>
		</entry>
		<entry>
			<title type="html"><![CDATA[Re: Скорость синхронизации с 1С]]></title>
			<link rel="alternate" href="https://forum.readyscript.ru/post/8508/#p8508" />
			<content type="html"><![CDATA[<p>У меня самые стандартные конфиги OpenServer, без изменений:<br /></p><div class="codebox"><pre><code>[mysqld]
#skip-character-set-client-handshake
#skip-name-resolve
#sql-mode=&quot;STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION&quot;
%log%general_log = 1
%log%general_log_file = &quot;%dprogdir%\\userdata\\logs\\%mysql_driver%_queries.log&quot;
back_log = 100
basedir = &quot;%dprogdir%\\modules\\database\\%mysql_driver%&quot;
bind-address = %ip%
bulk_insert_buffer_size = 2M
character-set-server=%sqlchr%
character-sets-dir    = &quot;%dprogdir%\\modules\\database\\%mysql_driver%\\share\\charsets&quot;
collation-server=%mysqlcharset%
connect_timeout = 5
datadir = &quot;%dprogdir%\\userdata\\%mysql_driver%&quot;
default-storage-engine=InnoDB
expire_logs_days = 2
ft_min_word_len=4
init-connect=&quot;SET NAMES %sqlchr%&quot;
interactive_timeout=30
join_buffer_size = 1M
key_buffer_size = 25M
local-infile=0
log-error = &quot;%dprogdir%\\userdata\\logs\\%mysql_driver%_error.log&quot;
lower_case_table_names = 2
max_allowed_packet = 32M
max_connect_errors = 10
max_connections = 30
max_heap_table_size = 25M
max_tmp_tables = 25
myisam-recover-options=backup,force
myisam_max_sort_file_size = 256M
myisam_repair_threads = 1
pid_file = &quot;%dprogdir%\\userdata\\temp\\mysql.pid&quot;
port = %mysqlport%
query_cache_limit = 256K
query_cache_size=25M
read_buffer_size=2M
read_rnd_buffer_size=4M
server-id = 1
skip-external-locking
skip-innodb_adaptive_hash_index
sort_buffer_size = 1M
table_open_cache = 969
thread_cache_size = 4
tmp_table_size = 25M
tmpdir = &quot;%dprogdir%\\userdata\\temp&quot;
transaction-isolation = READ-COMMITTED
wait_timeout=60

#innodb_fast_shutdown
#innodb_file_per_table = 1
#innodb_force_recovery=1
#skip-innodb_doublewrite

#Use default
#innodb_additional_mem_pool_size = 1M
#innodb_buffer_pool_size = 20M
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_data_home_dir = &quot;%dprogdir%\\userdata\\%mysql_driver%&quot;
#innodb_flush_log_at_trx_commit = 2
#innodb_lock_wait_timeout = 30
#innodb_log_buffer_size = 1M
#innodb_log_file_size = 64M
#innodb_log_files_in_group = 2
#innodb_max_dirty_pages_pct = 90
#innodb_read_io_threads=4
#innodb_thread_concurrency=4
#innodb_write_io_threads=4

[mysqldump]
quick
max_allowed_packet = 16M

[myisamchk]
key_buffer_size = 50M
sort_buffer_size = 50M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
open-files-limit = 2048</code></pre></div>]]></content>
			<author>
				<name><![CDATA[admin]]></name>
				<uri>https://forum.readyscript.ru/user/2/</uri>
			</author>
			<updated>2018-01-25T21:50:48Z</updated>
			<id>https://forum.readyscript.ru/post/8508/#p8508</id>
		</entry>
</feed>
