Также в дополнении, если rest-сервис позволяет, то необходимо грузить данные пачками. Т.е. использовать так называемую пагинацию.
Имеются следующие плюсы:
1. Устойчивость к сбоям и обрывам сети (т.к. каждый "маленький" запрос будет выполняться быстро, следовательно меньшая вероятность не получить ответ).
2. Возможность задействовать параллелизм, если это позволяет сервис. В Loginom для этого можно использовать Цикл с параллельной обработкой - https://help.loginom.ru/userguide/processors/control/loop.html.
3. Более эффективно использовать ресурсы (в том числе оперативную память). Нет необходимости резервировать оперативную память для приема большого объёма ответа. Данные, которые приходят пачками, можно также и обрабатывать, и выгружать пачками в цикле. В данном случае используется свойство цикла освобождения памяти, выделенной на каждую итерацию.
Между пунктами 2 и 3 вы можете выявить оптимальное для вас решение. Необходимо найти баланс (какой объём пачек данных, какое количество потоков при параллельной обработке).