Управление работой процессоров в Apache NiFi (вкладка Settings)

В Apache NiFi есть возможность изменения настроек процессоров. Параметры задаются на первой вкладке диалогового окна настройки процессора «Settings».

Вкладка «Settings» содержит ряд параметров для настройки процессора.

Имя процессора (Name) Имя процессора по умолчанию совпадает с типом процессора. То есть, если мы добавили процессор GetFile, то по умолчанию он так и будет называться — GetFile. Но если таких процессоров будет несколько (например, если в DataFlow потребуется получать файлы из разных источников), то использовать одно и то же имя будет не очень удобно. Изменив имя каждого процессора (например, добавив путь к папке) можно его унифицировать.

Флаг включения (Enabled) Настройка отображает текущее состояние процессора. Установленный флаг обозначает, что процессор включен. Снятие флага отключит процессор и его нельзя будет запустить. Отключение процессора используется в случаях, когда запускается группа процессоров и один или несколько процессоров в этой группе запускать не нужно.

Id Уникальный идентификатор процессора. Присваивается автоматически, задать вручную его нельзя.

Type Тип и его версия типа процессора.

Bundle Упрощенно — библиотека в которой реализован данный тип процессора.

Penalty Duration Длительность «штрафной санкции». В процессе обработки данных может произойти событие, указывающее, что данные не могут быть обработаны в текущий момент, но будут обработаны позже. Например, если используется вызов к удаленной службе и передается какой то файл, а в удаленной службе уже есть файл с таким именем. В таких случаях отправка будет продолжена через период времени указанный в данной настройке. По умолчанию — 30 секунд.

Yield Duration Длительность «уступки». В случае, если процессор не может продолжить обработку данных, то он останавливает работу на время, указанное в этом поле. Например, если используется вызов удаленной службы, а удаленная служба не отвечает. По умолчанию — 1 секунда.

Разница между двумя этими настройками в том, что «штрафная санкция» действует когда процессор не может продолжить обработку по «вине» данных. «Уступка» действует, когда процессор не может продолжить обработку не зависимо от данных. По сути вторая настройка представляет из себя таймаут работы процессора.

Bulletin Level Уровень логгирования. По умолчанию установлен «WARN». Означает, что будут логгироваться все сообщения с уровнем «Предупреждение» (warning) и выше. В зависимости от требуемой детализации можно указать различные уровни логгирования.

Automatically Terminate Relationships Указывает какие потоки (успешные или нет) будут завершены в этом процессоре, а какие пойдут дальше по схеме. Можно настроить процессор таким образом, чтобы все успешные потоки заканчивались в текущем процессоре, а неуспешные шли дальше. Пример практического применения таких настроек приведен в статье:
Распределение потоков в DataFlow по результатам выполнения операций (Success, Failure)

При копировании материалов ссылка на сайт обязательна. Вопросы, замечания, предложения и комментарии к статьям можно направлять на адрес: info@datanetworks.ru