NIFI-在合并记录之前堆积的流文件文件、NIFI

2023-09-04 01:40:18 作者:Moonlight(月光)

我在通过合并记录传递流文件时遇到问题。

这是流程(点击图片链接):

从流获取记录帮助文档

Flow Queue

我已经尝试了配置设置的大多数排列,但似乎无论我做什么都无法将flow文件从队列中取出:

MergeRecord Configuration

有人知道阻止此合并记录传递流文件的原因吗?流文件当前似乎是文本文件,它们需要是JSON才能正确分组合并记录吗?

推荐答案

合并在表名上关联,这意味着它只会合并表名属性值相同的流文件。

但是,您总共只有10个回收站-这意味着如果有10个流文件与表1、2、3、4、5、6、7、8、9、10一起进入,则表示已达到最大回收站,因此在回收站释放之前,任何包含表11、12、13、14等的FlowFiles都不会被合并。他们只会坐在队列里等待。

此外,您的合并配置也仅设置为最小1和最大1000,这意味着在合并这些文件并释放bin之前,您需要具有TableName=Table1的1000条记录。

5000个FlowFiles组成3MB,我将假设每个FlowFiles没有太多记录,因此您不会填满1000个记录并释放任何回收箱。

因此,请仔细检查您的TableName属性是否按照预期进行了设置,并考虑修改用于控制合并的设置。您可以将最大记录数从1000降低到更快触发,也可以添加最大大小,或者添加最长时间来对其进行时间限制。