Подключение к SFTP и веб-скрейпинг

+1 голос
Андрей. в категории Как сделать...
Добрый день.

Подскажите,  как можно реализовать сбор данных с SFTP-сервера и веб-скрейпинг (к примеру с https://www.nalog.gov.ru/opendata/ )?

Ответ: 1 шт.

0 голосов
Илья Рудаков

Так как Loginom не может напрямую работать с FTP, то мы можем предложить обходной путь. Есть несколько программ которые позволяют ассоциировать FTP ресурс с локальным диском. Все дальнейшие действия покажем на примере программы FtpUse.

  1. Скачайте и установите программу FtpUse (https://www.ferrobackup.com/map-ftp-as-disk.html).
  2. После запуска программы, открываете командную строку от имени администратора и набираете следующую строку: ftpuse E: адрес FTP ресурса пароль /USER:имя юзера /HIDE где:
  • Е - имя вашего будущего диска (может быть любая буква латинского алфавита, главное, что-бы не совпадала с именами дисков, которые у вас уже есть)
  • адрес FTP ресурса - адрес типа ftp.primer.ru
  • пароль - пароль доступа (если есть)
  • HIDE - позволяет продолжать работать соединению после закрытия консоли.
  1. После этого из Loginom обращаетесь к ресурсам FTP как к обычным папкам/файлам лежащим на диске.
  2. Если работа идет в серверной версии, то необходимо создать символьную ссылку на созданный диск. Инструкция по созданию символьной ссылке тут: https://qa.loginom.ru/341/dobavit-simvolnuyu-ssylku-papku-raspolozhennuyu-obshhem

Пример строки подключения:

  • ftpuse E: ftp.primer.ru sto /USER:forvard /HIDE - с паролем и именем юзера
  • ftpuse E: ftp.sklad.gov.ru /HIDE - без пароля и имени юзера

Обратите внимание, перед "/" обязательно должен стоять пробел.

...