Ускорить узел Дополнение

0 голосов
[email protected] в категории Как сделать...
Подскажите, как можно ускорить процесс:

С помощью узла «Дополнение» к 55 млн. строчек разных товаров добавляется 32 поля с измерениями.

Данный процесс занимает 19 минут.

Ответ: 1 шт.

0 голосов
vitaliy.tatarskih

1. Поскольку в Loginom используются отложенные (или ленивые) вычисления, то в эти 19 мин. могут входить эти отложенные вычисления. Т.е. прежде чем производить операцию слияния в узле Дополнение, все необходимые значения в используемых наборах данных должны быть вычислены. Сама суть отложенных вычислений как раз и состоит в том, что вычисления не производятся до тех пор, пока их результаты действительно не потребуются. Таким образом, то что узлы, выполняемые до узла Дополнения, стали "зелеными" еще не означает, что они уже выполнили все необходимые вычисления. Особенно эффект отложенных операций будет ощущаться, если ключевые поля соединяемых наборов формируются сложными вычислениями.
2. Потенциально на скорость выполнения операции слияния/дополнения может влиять тип данных, который используется в ключевых полях. Для типа данных Целый в ключевых полях операция слияния должна выполняться быстрее, чем для типа данных Строковый.
3. Необходимо убедиться в том, что оперативной памяти ПК хватает на выполнение операции, иначе будет использоваться SWAP (это дополнительная память, размещаемая на логическом разделе жесткого диска физического носителя, которая может быть использована в случае исчерпания гарантированного объема оперативной памяти), что приведет к существенному замедлению выполнения операции.
4. Очевидно - увеличение вычислительной мощности ПК.

...