как ввести список значений для поиска

как ввести в строку "значение" список значений по которым хочу сделать фильтр?
В прошлых версий при вставке из буфера последовательности значений отделенных запятой автоматически парсилось и каждое значение попадало в список отдельно. В последней версии 7.4.1 в результате вставки из буфера появляется длинная строка значений вместе с запятыми, как было скопировано из источника. Приходится поштучно добавлять каждое значение для фильтра, что не удобно.

Ответы:

Добрый день.
Подскажите, пожалуйста: 
1. Какой тип данных вы используете?
2. Какое вы указываете условие фильтрации?
3. На какой версии Loginom "последовательности значений отделенных запятой автоматически парсилось"?

Можно ли сценарий Логинома вытаскивать в виде кода SQL?

Ответы:

Так не получится. Дело в том, что функционал Loginom выходит далеко за рамки того, что в принцип может сделать SQL. Ведь SQL - это средство манипулирования данным в смысле работы с множествами: слияние, фильтрация, группировка и прочее, а в Loginom есть огромное количество других методов обработки. И это только про обработку. А помимо обработки есть еще много всего, например, по интеграции. Как реализовать в SQL интеграцию в каким-нибудь веб-сервисом, выгрузку в наш формат файла, публикацию MCP сервиса и прочее в этом духе? Для этого надо средствами SQL реализовать всё, что есть в Loginom. Я не представляю в принципе как это сделать, особенно с учетом ограничений SQL. Конечно, при работе с базами данных он силен, лучше него ничего нет, ну так он для этого и создавался. По остальным направлениям он слаб. Это не в упрек ему, просто остальные вещи выходят за рамки его функционала.

Смена модулей местами

Ответы:

К сожалению, на данный момент модули нельзя менять местами. Сейчас по умолчанию при открытии пакета открывается первый модуль из списка. Ваше пожелание передано разработчикам.

Проверка значения в предыдущей строке. Аналог LAG()

Добрый день! Нужно для каждой текущей ячейки (строки) посмотреть значение в такой же колонке, но в ПРЕДЫДУЩЕЙ строке. Если оно удовлетворяет условию (например, равно X или больше Y), то текущую ячейку заполнить одним значением, если нет -другим.

В SQL есть LAG(), но как это сделать в Loginom, пока не понятно. Буду признателен за любые идеи!

Ответы:

Воспользуйтесь следующим выражением для того, чтобы получить требуемый результат: IF(RowNum()=0,'первая строка', IF (Data ('Kolonka_A__iskhodnye_',RowNum())=Data ('Kolonka_A__iskhodnye_',RowNum()-1),'Повтор', 'ОК') )

Преобразование таблицы

Добрый день.
Помогите пожалуйста.
Таблицу вида 

нужно преобразовать в формат 

Точность в вещественных числах

Ответы:

Добрый день!

Уточните, пожалуйста, Вы смотрите результат через Предпросмотр?

Если это так, то стоит учитывать, что в Предпросмотре вещественные числа (с плавающей точкой) отображаются с двумя знаками после десятичного разделителя.

Подробнее про точность вещественных чисел можно прочесть в документации — https://help.loginom.ru/userguide/data/datatype.html
 

Для того чтобы увидеть нужное количество десятичных знаков после запятой, необходимо настроить визуализатор «Таблица». Это не влияет на точность самих данных, а только на их представление. Шаги настройки:

1. открыть окно настройки формата отображения данных,
2. снять галочку с "Особый формат",
3. в поле "Число десятичных знаков" указать нужное количество знаков после запятой.

Пример на скриншоте ниже

Для выполнения операций над вещественными числами  используйте функциюRound()в калькуляторе, чтобы явно округлить результат до нужного количества знаков после запятой перед дальнейшими операциями. Это наиболее надежный способ для контроля точности в расчетах.

в чем ошибка

Ответы:

Добрый день. Сложно ответить сходу, что пошло не так. Ошибка появилась после изменений чего: настроек цикла, подмодели, входных данных? Напишите на help@loginom.ru укажите подробнее, как была получена ошибка.

timeout при запросе

Ответы:

Добрый день.

Подскажите, а какая у вас версия Loginom? - https://help.loginom.ru/userguide/interface/version.html

изменение ссылок

Ответы:

Здравствуйте! 

Чтобы переименовать пакет, подключенный по ссылке, и сохранить все узлы и связи в исходном пакете, выполните следующие шаги:

1. Необходимо открыть пакет, подключенный по ссылке, и пакет, который на него ссылается.
2. Перейти в пакет подключенный по ссылке и на главном меню Пакетывыбрать "Сохранить как.."
3. После этого указываете нужное Вам имя пакета и сохраняете его.

Изменение автоматически должно примениться в пакете, который на него ссылается. После этого вы можете удалить старый пакет с неправильным именем. 

Найти разницу по полю список

Ответы:

Здравствуйте. Напишите, пожалуйста, нам на почту help@loginom.ru.

в кубе итого неверное

Добрый день. В кубе все значения фактов - суммы. Итоговая сумма считается неверно - почему? Должно быть 4006808004347,65

Ответы:

Добрый день!

Проблема может быть связана с точностью значений в фактах. В кубе могут использоваться числа, у которых фактическое количество знаков после запятой больше, чем отображается визуально. В результате при суммировании таких значений итоговая сумма может отличаться от ожидаемой, поскольку в расчётах участвуют все знаки после запятой, а не только два отображаемых.

Чтобы получить корректный итог, рекомендуется в узле Калькуляторпредварительно привести значения к нужной точности и оставить только 2 знака после запятой с помощью функции Round(Поле, 2). Описание функции приведено в документации Loginom: https://help.loginom.ru/userguide/processors/func/calc-func/mathematical.html#round

Веб-сервисы с аутентификацией

Ответы:

Публикация веб-сервисов осуществляется в интеграторе (Loginom Integrator). Если установка на Windows, то Integrator работает с IIS (по умолчанию установщиком в IIS создается приложение lgi), если установка на linux, то Integrator работает с Apache. Что это означает:
- Клиент посылает запрос к сервису. Этот запрос сначала попадает в веб-сервер (IIS или Apache).
- затем веб-сервер (IIS или Apache) проксирует запрос в Integrator, который в свою очередь пересылает его в Loginom Server. Ответ сервиса клиенту идет в обратном порядке.

Сам Integrator не может осуществлять авторизацию (в простейшем случае запросы от клиента можно посылать непосредственно в Integrator, минуя IIS (или Apache)). Веб-сервер (IIS или Apache) в данном случае выступает в качестве прокси между клиентом и Integrator. Именно в нем можно настраивать различного рода авторизацию, шифрование (сертификаты),фильтрацию запросов (и логирование если надо). В качестве прокси http-запросов могут выступать и другие инструменты, например, Nginx.
Если обобщить, то ответ на ваш вопрос следующий - авторизация настраивается на стороне прокси силами админов и специалистов по безопасности.

группировка текстовых полей

Ответы:

Здравствуйте, Елена!
Прикрепляю ссылку на "Функции агрегации данных"компонента "Группировка":
https://help.loginom.ru/userguide/processors/func/aggregation-functions.html

"Что значит max и min для текстовых полей?"- сравнение слов (строк) происходит посимвольно слева направо по принципу словаря, но вместо букв используются числовые коды символов (ASCII/Unicode). Таким образом, если выбран max, то будет выбрано слово(строка) с наибольшей суммой(из чисел кодов символа). С min ситуация наоборот.

Список полей и соответствующих им меток

Ответы:

Такая возможность существует для выходных портов узла. При помощи компонента https://github.com/loginom/loginom-silver-kit/blob/master/docs/columns-list.md можно сформировать список полей выходного набора, подав его на вход этого компонента. Выберите нужный вам релиз библиотеки с этим компонентом под вашу версию loginom: https://github.com/loginom/loginom-silver-kit/releases . Список полей во входном порту к сожалению получить/выгрузить автоматизированным путем пока нет возможности. Обходной путь - подать скриншот списка полей входного порта в AI для извлечения текста. Напишите в тех.поддержку с обращением о добавлении нужного вам функционала, на основание его будет создана задача в отдел разработки.

Также обратите внимание на компоненты для парсинга сценария в библиотеке Python Kits.

Сохранение форматирования числовых полей при выгрузке отчета в эксель

Ответы:

Здравствуйте. Выполнить разделение разрядов в Loginom можно с помощью настройки Формата - https://help.loginom.ru/userguide/visualization/table/format.html.
В настройках формата необходимо выбрать столбец и задать особый формат (например - ###,###,###,###,###,0).
После выгрузки отчета в Excel заданное форматирование сохраняется.

Условное форматирование строк в табличном отчете

Ответы:

Здравствуйте.
В визуализаторах отсутствует функционалраскрашивания ячеек на основе условий.
 

Оповещения на почту или в мессенджер о неудачном выполнении задач

Ответы:

В версии 7.3 можно учитывать статусы выполнения.

Если речь идет о логировании внутри сценария и требуется логировать успешность/неуспешность выполнения его отдельных этапов/подмоделей, то это можно сделать с помощью узла цикл с включенной опцией "Игнорировать ошибки". Например, у вас в сценарии есть подмодель, которую надо контролировать. Вы настраиваете цикл на эту подмодель, задаете количество итераций = 1 и выставляете флаг "Игнорировать ошибки". Теперь в сценарии вместо этой подмодели будет выполняться настроенный на нее цикл, который на выходе будет содержать дополнительный порт "Статус выполнения итераций". В этом порту будет выводиться информация об успешности/неуспешности выполнения заданной в подмодели логики, в том числе описание ошибки, если она будет возникать. Используя эту информацию и последующий узел "Условие" вы можете продолжить выполнение сценария по определенной ветке: при успешном выполнении контролируемого этапа (подмодели) далее выполняется одна ветка, при неуспешном - другая, в которой, например, осуществляется отправка сообщения (или другое необходимое логирование или действие).

Как спрятать token или пароль внутри пакета?

Ответы:

Вы можете выделить логику обращения к сервису в производный компонентв отдельном пакете, который затем шифруется. Зашифрованный пакет можно подключить по ссылкев рабочем сценарии и использовать созданный в нем производный компонент через выполнение узла. Выполнение узла скрывает содержимое компонента, а шифрование пакета не позволяет открыть его на просмотр и редактирование. Таким образом вы предоставляете пользователю свой разработанный функционал как "черный ящик", который может принимать на вход (входные порты) определенные при проектировании компонента входные параметры и выдает на выходе (в выходных портах) результат своей работы. Токены и пароли при этом остаются скрытыми внутри  "черного ящика".

Можно использовать стандартный подход, не заморачиваясь с производными компонентами и шифрованием: если переменные для паролей/токенов пустые, то они берутся из файла (например yaml), который должен лежать там, где пакет.

Update поля в таблице в БД

Ответы:

Здесь возможны несколько вариантов. 1. В самой базе: В узле "SQL скрипт" (с версии 7.3.0 https://help.loginom.ru/userguide/processors/integration/sql-script.html или узле Импорт в БД версии ниже 7.3. https://help.loginom.ru/userguide/integration/import/database.html) написать нужный SQL запрос. 2. В Loginom: получаете Импортом из БД нужную таблицу, в узле "Калькулятор" создаете новое поле и через функцию IF заполняете поле нужными данными. Узлом "Параметры полей" убираете первоначальное поле, оставляя вместо него свежесформированное в Калькуляторе и дав ему имя первоначального поля и через узел Экспорт в БД https://help.loginom.ru/userguide/integration/export/database.html заново загружаете таблицу в БД. При этом вы выбираете "Тип экспорта" наиболее вам подходящий.

Пусто и null при чтении xlsx файлов

Ответы:

Здравствуйте, Андрей!

Кратка суть:
""(пустая строка) - это значение. Это полноценный объект(строка), которая существует, но его длина равна нулю. 
null- это отсутствие какого-либо значения или объекта. Это указание, что переменная ни на что не ссылается.

В узле Калькулятор, функция IsNull()есть проверка на null.
В узле Фильтр нет функций и поэтому нужно отдельно писать условия для отбора пустых значений(null/"").

Есть еще момент:
Если Вы заполняете xlsx файл сторонними программами, то возможно в ячейках пишутся спец. символы
 

Пользователи довольно часто путают пустую строку с null. Действительно, для людей не знакомых с тем, как работают базы данных отличия могут показаться странными. На сайте есть статья, где подробно расписаны особенности работы с null - https://loginom.ru/blog/null-loginom.

Можно ли прочитать формулы в файле xlsx

Ответы:

Здравствуйте. Такого функционала нет.

Как сохранять порядок полей при автосинхронизации?

Ответы:

Здравствуйте, рекомендуем вам выставить необходимый порядок полей на выходном порте узла. Затем для того чтобы порядок полей не менялся, необходимо отключить автосинхронизацию полей в порте, нажать сохранить

Также можете добавить компонент Сортировкаили Параметры полейпосле узла импорта и перед дальнейшей обработкой.

Сохранение переноса строки последним символом при работе с Excel файлами

Ответы:

Проверили данную функцию. Судя по проведенным тестам, при использовании строкового типа данных перенос строки в качестве последнего символа ячейкисохраняется, однако сам Excel этого не видит.
Информация была передана в отдел разработки.

Как сделать прогноз на основе обученной модели

Ответы:

Для построения прогноза с помощью модели логистической регрессии в Loginom не обязательно использовать Python, тем более что вы уже обучили модель с помощью узла Логистическая регрессия, если я правильно вас понял.

Далее для того, чтобы построить прогноз, вам необходимо использовать компонент Выполнение узла, который необходимо настроить на узел с вашей обученной моделью логистической регрессии. На входной порт выполнения узла подать новые данные, на которых хотите прогнозировать.

Также прикладываю ссылку на демопример по построению прогноза с помощью логистической регрессии, где это всё описано - https://examples.loginom.ru/log-regression

Разрыв строки в качестве разделителя строк

Ответы:

Разбить строку на несколько столбцов в Loginom можно, например, с помощью компонента Разделитель строк библиотеки Silver kit. О том, как установить и использовать библиотеку, можете прочесть по ссылке - https://marketplace.loginom.ru/libraries/loginom-silver-kit

Разрыв строки можно получить, например, с помощью калькулятора функцией Chr(10) для использования его в качестве разделителя.

Передать файл через Post-запрос

Ответы:

Здравствуйте! Прошу написать подробнее кейс использования и откуда должен браться файл.

Слияние данных

Добрый день, просьба помочь.

Нужно сверить два файла, в которых показатели для сверки будут сумма и количество повторений. К первой таблице левым соединением присоединяем вторую таблицу, но при слиянии теряются/размножаются данные.

Нужно выполнить поиск, чтобы: 1. Данные первой таблицы не размножались и итоговая сумма оставалась как на выходе из блока Параметров. 2. Те данные второй таблицы, которые не смогли присоединится к первой таблице. не нашлись, вывести в отдельную таблицу.

Заранее спасибо. 

Как прикрепить скрипт для примера к вопросу?

Ответы:

Здравствуйте, напишите, пожалуйста, нам на help@loginom.ru. Приложите пожалуйста пакет.

Post запрос с параметрами в запросе

Ответы:

Здравствуйте, Андрей! Данная возможность будет реализована в версии 7.3.0 Какая у Вас версия и редакция Loginom на данный момент?

Замена пропусков предыдущим значением

Ответы:

Здравствуйте!
Есть способ решить вашу задачу с помощью компонента Калькулятора, используя функцию Data().

https://help.loginom.ru/userguide/processors/func/calc-func/other.html

Экспорт xlsx

Ответы:

Здравствуйте.
Требуется задать формат файла в мастере настроек компонента "Excel файл".
Подробнее вы можете узнать в нашей справке: https://help.loginom.ru/userguide/integration/export/excel.html#imagesiconscommondata-sourcesfile-excel-exportdefaultsvg-eksport-v-excel-fayl.

Почему отображается только 200 строк?

Ответы:

Здравствуйте! Уточните, пожалуйста, о какой выгрузке идет речь? Если есть возможность то приложите скриншоты.

Интеграция с Контур.Диадок по API

Добрый день! Хотим подключиться к Контур.Диадок по API. Для начала нам нужно получить авторизационный токен. Для этого мы

1. Создали подключение, указали в нем URL-сервиса: https://diadoc-api.kontur.ru, метод: POST, content-type запроса: application/json, аутентификация: Имя пользователя и пароль (здесь указали свои данные от кабинета Контур.Диадок)

2. В сценарий добавили ссылку на подключение и REST-запрос. И вот здесь не понимаем , как заполнить данные, чтобы получить ответ с токеном

информация с сайта Контур.Диадок https://developer.kontur.ru/doc/diadoc-api/http/obsolete/Authenticate.html#auth-login

где-то нужно указать в качестве параметра запроса type = password

и еще вот такую конструкцию:

{ "login" : "login", "password" : "pass" }

Ответы:

Здравствуйте! Попробуйте в созданном подключении указать: content-type запроса: text/plain, допустимый Content-Type ответа: */* Добавить в сценарий узел Переменные в таблицу, указав JSON { "login" : "login", "password" : "pass" } 
Передайте данные из Переменные в таблицу в REST-запрос. В Настройке запроса в Поле с телом сообщения передать переменную, которую указали в узле Переменные в таблицу.

информация с сайта Контур.Диадок https://developer.kontur.ru/doc/diadoc-api/http/obsolete/Authenticate.html#auth-login

где-то нужно указать в качестве параметра запроса type = password

и еще вот такую конструкцию:

{ "login" : "login", "password" : "pass"}

АВС-анализ по периоду

Ответы:

Здравствуйте. АВС анализ вы можете сделать, с помощью библиотеки Loginom Silver Kit - https://github.com/loginom/loginom-silver-kit?tab=readme-ov-file.

не могу установить Silver Kit

Ответы:

Добрый день!
Вы можете скачать библиотеку по ссылке - GitHub - loginom/loginom-silver-kit: Loginom Silver Kit . Там же указано как установить библиотеку. Она доступна для версий  Loginom не ниже 7.2.4. Нужно зайти в Releases, открыть Assets и скачать архив.

Про работу с библиотекой Loginom Silver Kit можно подробнее узнать "Вебинаре. Библиотека Loginom Silver Kit: полезные компоненты для аналитика" https://loginom.ru/blog/https/loginomru/silver-kit-webinar 
так же есть серия роликов по Loginom "Loginom для начинающих" https://loginom.ru/platform/quick-start, где так же есть ролик про работу с библиотекой Loginom Silver Kit.

На GitHub хранится история версий всех релизов под все ранние версии Loginom.

Выходной узел в неактивной ветви условия

Добрый день! Как обойти ограничение выхода на следующую итерацию из ветвей цикла? Цикл работает по подмодели, внутри которой есть Узел Условие. Условие следующее: если сумма по столбцу более или равно 1 , то выгрузи файл xlsx и выйди в цикл, если меньше 1, то файл txt и выйди в цикл.

Сейчас ошибка "Подмодель: Узел "Выходной узел" находится в неактивной ветви условия"

Ответы:

Скрины:

Здравствуйте.

Ошибка возникает из-за того, что внутри какой-то из подмоделей есть узел «Условие», и цепочка узлов в неактивной ветви условия подключена прямо к выходу подмодели.

Нужно добавить в этой подмодели узел «Объединение» и с помощью него объединить все ветви условия. Затем удалить связи неактивных ветвей условия с выходом подмодели и подключить к выходу подмодели узел «Объединение».

Обращение к файлам по циклу

Ответы:

Напишите нам на help@loginom.ru - там мы сможем ответить подробнее и с примером сценария

Импорт библиотеки python

Мне необходимо импортировать в рамках узла python библиотеку openpyxl

Однако при попытке, получаю ошибку: 

ModuleNotFoundError: No module named 'openpyxl'

Ответы:

Добрый день! Пришлите, пожалуйста, вывод команд:

pip list или python -m pip list или py -m pip list

Чтобы убедиться, что у вас установлена библиотека openpyxl.

time out узла rest api

Ответы:

Вам необходимо в настройках подключения установить таймаут обмена данными часа на 2 (это 7200000 мс). Таймаут обмена данными (мс)" - этот параметр означает не Таймаут получения всего ответа или Таймаут отправки всего запроса, а Таймаут обмена одной порции данных, т.е. Таймаут обмена данными. Если весь ответ большой, то HTTP-сервер его может отдавать частями. Если в процессе получения ответа что-то "заело" или получение данных даже не начинается и прошло более чем "Таймаут обмена данными (мс)", то процесс приема данных останавливается. Т.е. если получение данных идет, то этот таймаут не должен сработать. Подробнее см. в статье: https://help.loginom.ru/userguide/integration/connections/list/rest-service.html

Как выполнить экспорт в excel с форматирование?

Ответы:

Здравствуйте, вам требуется добавить визуализатор  на узел с данными, которые вы хотите экспортировать.

В визуализаторе настроить нужное форматирование.

Затем нажать на кнопку "Экспорт"(показана на скрине), и выбрать экспорт в XLS.

Узел "Слияние"

Ответы:

Елена, попробуйте решить задачу с помощью узла «Калькулятор». Вот как это сделать:

1. В узле «Слияние» отметьте галочкой «Добавлять присоединяемые ключевые поля».
2. В узле «Калькулятор» после «Слияния» добавьте функцию NVL() - подробнее о ней описано тут - https://help.loginom.ru/userguide/processors/func/calc-func/logic.html#nvl

Узел Замена

Ответы:

Первый вопрос:насколько я понимаю, вы хотите изменить метку поля в выходном порту с «название заменен» на «название». Для этого после вкладки «Замена» перейдите на вкладку «Настройка соответствия между столбцами». В правой части нажмите кнопку «Редактировать» (F2) и переименуйте метку так, как вам удобно. В итоге метка поля в выходном порту будет соответствовать вашим требованиям. Обратите внимание, что имя поля изменить таким способом не получится.

Второй вопрос: есть способ упростить вашу работу. Зажмите клавишу Ctrl и выделите все поля, которые хотите исключить. Затем, используя горячую клавишу F2 или щелкнув правой кнопкой мыши, откройте меню «Групповое редактирование». В этом меню вы найдете чек-бокс «Исключить». Активировав его, вы исключите все выбранные поля. Еще один способ, если вам требуется исключить почти все поля, вместе с зажатым Ctrl нажмите еще и A (англ.) — это позволит выделить все поля, далее проделайте те же действия с меню «Групповое редактирование» и после — уберите поля, которые требуется оставить.

Эта информация также доступна в справке: https://help.loginom.ru/userguide/processors/transformation/fields-features.html

Последовательное выполнение нескольких сценариев

Ответы:

Добрый день.

В Loginom можно реализовать последовательное выполнение нескольких сценариев через "управляющий сценарий". 

Управляющий сценарий может быть реализовать одним из следующих способов:

1. В управляющем сценарии последовательно запускаются узлы "выполнение узла", ссылающиеся на подмоделив других сценариях. 

Если в цепочке узлов "выполнение узла" на каком-то шаге возникнет ошибка, то выполнение управляющего сценария завершится ошибкой на этом этапе и последующие выполняться не будут.

2. Пакеты, реализующие логику обработки данных, публикуются в виде веб-сервисов, а в управляющем сценарии выполняется последовательный вызов веб-сервисов. Для публикации пакетов необходим Loginom Integrator. 

Первый вариант прост в реализации, при втором способе оптимально используются ресурсы сервера, т.к. после каждого вызова и выполнения пакета в цепочке управляющего сценария будет освобождаться оперативная память. Этот вариант предпочтительнее, если в сценариях обрабатываются большие объемы данных. 

В каждом из этих вариантов при необходимости можно реализовать обработку ситуаций неуспешного выполнения отдельных узлов.

В Loginom 7.3. запланирована реализация автоматического запуска задания в Планировщикепосле завершения другого задания.

удаление всех таблиц в схеме базы данных postgres

Добрый день

Редакция: Enterprise

Версия: 7.2.8

Необходимо реализовать шаг по удалению всех таблиц в конкретной схеме в базе данных postgres. Для этого использую следующий SQL код : 

DO

$$

DECLARE

    r RECORD;

BEGIN

    FOR r IN (SELECT tablename FROM pg_tables WHERE schemaname = 'test') LOOP

        EXECUTE 'DROP TABLE IF EXISTS test.' || quote_ident(r.tablename) || ' CASCADE';

    END LOOP;

END;

$$

подскажите, можно ли реализовать подобный шаг в Loginom ? так как компоненты База данных (Импорт / Экспорт) полагаю для этих целей не подходят

Ответы:

Данный шаг возможно реализовать в Loginom. Для этого можно использовать компонент «База данных (импорт)». После блока DO необходимо добавить финальный SELECT, чтобы удовлетворить требование узла импорта из Базы данных: «SQL-запрос должен возвращать строки».
Например:

DO $$
DECLARE
    r RECORD;
BEGIN
    FOR r IN (SELECT tablename FROM pg_tables WHERE schemaname = 'test') LOOP
        EXECUTE 'DROP TABLE IF EXISTS test.' quote_ident(r.tablename) ' CASCADE';
    END LOOP;
END;
$$;
SELECT 1;
 

В Loginom 7.3.0 планируется добавление компонента SQL - скрипт, который сможет выполнять SQL-запросы, не возвращающие курсоры.

Нейросеть (классификация) для кредитного скоринга

Добрый вечер!

Начинаю работу по реализации кредитного скоринга на нейросети.

Сразу столкнулся с рядом вопросов, на которые не могу найти однозначные ответы:

1. Нужно ли первичные данные сгруппировывать по классам (конечные классы)? Опытным путем выяснено, что без квантования доля предсказанных дефолтов минимальна (если вообще есть). Но обучение нейросети всегда представлялось как возможность использовать "сырые данные" без их предварительного квантования и ручного исключения незначимых признаков.

2. Сильная просадка качества модели на тестовой выборке.

Оценка качества реализована через матрицу ошибок.

Разделение на обуч./тестовую выборки: узел сэмплинг и соотношение 70/30; 80/20.

После обучения тестовая выборка подается на продублированный обученный узел "Нейросеть (классификация)" (искомое поле "дефолт" - пустое).

Игра со слоями и количеством нейронов фактически не влияет на тестовые предсказания.

Регуляризация также не дает результатов.

Максимальная ошибка идет именно на предсказании редкого события (дефолт) (разница между обучением и тестом 3/4 раза).

Исходная выборка предобработана.

Куда смотреть?

Спасибо!

Ответы:

Здравствуйте! Однозначно ответить на текущий вопрос трудно, т. к. всё зависит от того, какие имеются исходные данные. Однако есть общие рекомендации. Предварительная обработка данных является одним из основных шагов в машинном обучении, и Нейросеть (классификация) здесь не является исключением. Какие при этом использовать методы и инструменты, зависит от исходных данных. От того, как вы подготовите данные, напрямую будут зависеть полученные результаты. В Loginom при использовании моделей машинного обучения разбиение на обучающую и тестовую выборку — это часть алгоритма работы узла. В вашем случае для разбиения данных на обучающее и тестовое множество необходимо указать соответствующие параметры в настройках узла Нейросеть (классификация). Также рекомендуется задать один из вариантов валидации (см. документацию) — https://help.loginom.ru/userguide/processors/datamining/neural-network-classification.html. Если изменение параметров нейросети в настройках узла не влияет на конечный результат, то, возможно, имеется недостаточно большой исходный набор данных. Для лучшего понимания работы нашего компонента, его работы, особенностей и дополнительных возможностей предлагаем изучить справку — https://help.loginom.ru/userguide/processors/datamining/neural-network-classification.html. Для решения задач кредитного скоринга вам могут пригодиться библиотеки с готовыми компонентами по работе с кредитным скорингом (карточки помечены как «Credit Scoring») — https://marketplace.loginom.ru/libraries/ Также рекомендуем посетить наш сайт Loginom Skills — https://skills.loginom.ru/ где имеются курсы по скорингу.

Здравствуйте.

1. Биннинг (оптимальное квантование) для моделей типа "черный ящик" не обязательно, но у вас неизбежно встанет вопрос о том, как обрабатывать пропуски. Биннинг эту проблему решает.
2. Делить на обучающее и тестовое нужно обязательно со стратификацией по выходному полю.
3. Оценивать качество нужно через ROC-AUC или Gini.Поэтому нейросети нужны здесь специальные, которые прогнозируют вероятность события, а не само событие.
4. Попробуйте какую-нибудь нейросеть из Python, а лучше градиентный бустинг.

Каким узлом в Loginom реализовать временную задержку (timeout)?

Ответы:

Временную задержку можно реализовать узлом JavaScript.
Вот примеры кода:

1. Это решение работает, но этот код плох тем, что пока он выполняется, узел невозможно остановить никаким образом.

import { InputVariables } from "builtIn/Data";

const ms = InputVariables.Items.sleep_time.Value; // Время в ms

Atomics.wait(new Int32Array(new SharedArrayBuffer(4)), 0, 0, ms);

2. Предпочтительное решение:

import { InputVariables } from "builtIn/Data";

const ms = InputVariables.Items.sleep_time.Value; // Время в ms

setTimeout(() => {}, ms);


В обоих решениях переменная узла sleep_time принимает в качестве параметра время задержки в миллисекундах.

Дублирование при выполнении сценария с наличием цикла

Ответы:

Вам необходимо, чтобы в вычислениях, идущих после цикла, участвовали выходные данные только с узла цикл (а не с узла подмодель, на которую настроен цикл). Так как при нажатии на кнопку «Выполнить все» выполняется и цикл и подмодель, на которую он настроен, таким образом могут появиться продублированные данные.

Если проблема сохранится, то напишите на help@loginom.ru, прикрепив скриншоты.

Порядок столбцов при множественном импорте xlsx

Добрый день.

Есть набор файлов xlsx (1000 шт.) с одинаковым набором столбцов (50 шт.), в каждом файле порядок следования столбцов разный.

Например:

• в файле 1 столбцы в таком порядке - A, B, C, D
• в файле 2 столбцы в таком порядке - С, B, A, D
• в файле 3 столбцы в таком порядке - D, B, C, A
• и т.д.

Импортировать сразу все файлы с помощью узла "Импорт/Excel файл" не возможно, т.к. Loginom идентифицирует столбцы при импорте по их позиции, а не по названию столбца в исходном файле xlsx.

Разумеется данную задачу решить ручным перетаскиванием столбцов в 1000 файлов решить не возможно, в связи с этим, подскажите пожалуйста может быть есть какой-то способ решить задачу объединения данных из файлов с одинаковым набором столбцов, но с разным порядком их следования????

P.S. Иначе вся прелесть использования Loginom для построения процессов ETL сводится на нет.

Ответы:

Исходя из информации, что вы предоставили, стоит попробовать импортировать данные из xlsx файлов с помощью подключения через ODBC-драйвер.

Алгоритм при этом может быть следующим:
В Loginom необходимо настроить подключение к Excel файлу как к базе данных, см. документацию — https://help.loginom.ru/userguide/integration/connections/list/excel.html.
В сценарий необходимо добавить это подключение как узел (с портом управляющих переменных), а не ссылкой — способ 2 на скриншоте 1. В порт управляющих переменных подключения необходимо передать переменную с путём к Excel-файлу (в настройках узла строка подключения задаётся с помощью переменной). Для этого вам потребуется сформировать список из ваших файлов, которые требуется объединить. Достаточно сформировать список, например, в текстовом документе и импортировать его в сценарий Loginom, либо, используя нашу бесплатную библиотеку компонентов FileAPI Kit — https://marketplace.loginom.ru/libraries/loginom-fileapi-kit, сформировать список с помощью компонента «Список объектов», в котором указать в переменных путь к папке, где располагаются нужные файлы. (Если в папке лежат не только файлы Excel, с помощью компонента «Фильтр» отфильтруйте по расширению xlsx.) Список Excel-файлов необходимо передавать в подключение к MS Excel по одному в качестве переменной. Для этого можно воспользоваться компонентом «Таблица в переменные». Затем добавьте компонент импорта «База данных» — здесь выбирайте требуемые столбцы, можно просто проставить галочки у названий нужных столбцов либо сформировать SQL-запрос. Также важно, чтобы наименования листов были одинаковыми, если будут разные, то их можно передавать в настройки узла в качестве переменной способом, аналогичным для списка Excel-файлов. На данном этапе будет импортироваться только один файл. Для импорта большого количества файлов необходимо логику, описанную ранее, «прогнать» в цикле. Для этого узлы «Таблица в переменные, MS Excel и База данных» сворачиваем в подмодель и на эту подмодель настраиваем узел «Цикл»: вид цикла — групповая обработка, вид групповой обработки — разбиение по уникальным значениям поля с путями к файлам Excel. Соответственно, на вход узла «Цикл» передаётся список файлов. Внутри цикла в каждой итерации будет выполняться импорт одного файла из списка, результаты объединяются по именам полей.

Пример подключения как узла:

Ниже показан пример сценария:


Внутри подмодели "Импорт": 

Для установки последней версии нужно ли сначала удалить предыдущую?

Ответы:

Если это редакция Community (некоммерческая) то нет, просто проводим стандартное обновление. Если одна из коммерческих - смотрим на редакцию. Ставим ту же редакцию - простое обновление, ставим новую редакцию (купили более высокую лицензию) - удаляем старую редакцию и разворачиваем новую.

Как через регулярное выражение убрать часть строки между разделителями

Ответы:

Добрый день! С помощью компонента Калькулятор, используя функцию RegExMatchedSubExp можно решить вашу задачу. Выражение будет выглядеть следующим образом: RegExMatchedSubExp("\\(.*)\.", path, 1), важно, чтобы в имени файла не было точек. 

Подробнее с регулярными выражениями ознакомиться в 

https://help.loginom.ru/userguide/processors/func/calc-func/string.html#regexmatchedexp .

Расчет покрытия в Loginom

Добрый день.
Есть задача рассчитать обеспеченность предприятия по определенной номенклатуре.
На вход есть 4 колонки:
артикул - дата потребности - остатки на первый день расчета - потребность
Подскажите, каким способом будет оптимально воспользоваться для расчета (для первого дня формула "Остаток текущего дня - потребность текущего дня", для всех остальных: "Остаток предыдущего дня - потребность текущего дня) 

Ответы:

Вам нужно составить выражение в Калькуляторе используя функции IF и Data https://help.loginom.ru/userguide/processors/func/calc-func/logic.html. Причем можно не просто считать остаток (как выделено красным) а проверять условие X-Y=>0 и просто ставить в колонку Покрытие 1 или 0 Вот вам код для калькулятора: 1. IF (rownum()=0, data("X",rownum()), data("Xr",rownum()-1)-data("Y",rownum()-1)) - создаем новый столбец Xr(X рассчетное) 2. IF (Xr-Y>=0, 1,0) - считаем покрытие 3. На выходном порту калькулятора можно убрать поле X (с одним значением 150) и оставляем Xr (X расчетное), которое можно переименовать в X для дальнейшей работы