Http监控方式

使用这种监控方式，只需要在启动flume的时候在启动参数上面加上监控配置，例如这样：

bin/flume-ng agent --conf conf --conf-file conf/flume_conf.properties --name collect -Dflume.monitoring.type=http -Dflume.monitoring.port=1234

其中-Dflume.monitoring.type=http表示使用http方式来监控，后面的-Dflume.monitoring.port=1234表示我们需要启动的监控服务的端口号为1234，这个端口号可以自己随意配置。然后启动flume之后，通过http://ip:1234/metrics就可以得到flume的一个json格式的监控数据。

监控指标

SOURCE

SOURCE作为flume的数据源组件，所有收集日志的第一个到达的地方，它的监控信息非常重要。通过监控我们能够得到的监控数据有这些：
– OpenConnectionCount（打开的连接数）
– Type（组件类型）
– AppendBatchAcceptedCount（追加到channel中的批数量）
– AppendBatchReceivedCount（source端刚刚追加的批数量）
– EventAcceptedCount（成功放入channel的event数量）
– AppendReceivedCount（source追加目前收到的数量）
– StartTime（组件开始时间）
– StopTime（组件停止时间）
– EventReceivedCount（source端成功收到的event数量）
– AppendAcceptedCount（放入channel的event数量）等。

CHANNEL

• CHANNEL是flume的一个通道组件，对数据有一个缓存的作用。通过监控我们能够得到的数据：
• EventPutSuccessCount（成功放入channel的event数量）
• ChannelFillPercentage（通道使用比例）
• Type（组件类型）
• EventPutAttemptCount（尝试放入将event放入channel的次数）
• ChannelSize（目前在channel中的event数量）
• StartTime（组件开始时间）
• StopTime（组件停止时间）
• EventTakeSuccessCount（从channel中成功取走的event数量）
• ChannelCapacity（通道容量）
• EventTakeAttemptCount（尝试从channel中取走event的次数）等。

SINK

SINK是数据即将离开flume的最后一个组件，它从channel中取走数据，然后发送到缓存系统或者持久化数据库。通过监控我们能得到数据：

• BatchCompleteCount(完成的批数量)
• ConnectionFailedCount（连接失败数）
• EventDrainAttemptCount（尝试提交的event数量）
• ConnectionCreatedCount（创建连接数）
• Type（组件类型）
• BatchEmptyCount（批量取空的数量）
• ConnectionClosedCount（关闭连接数量）
• EventDrainSuccessCount（成功发送event的数量）
• StartTime（组件开始时间）
• StopTime（组件停止时间）
• BatchUnderflowCount（正处于批量处理的batch数）等。

转载请注明：印迹. » Flume监控哪些组件、能够得到组件的哪些信息？