最新消息:请随时分享你的乐趣!

Flume监控哪些组件、能够得到组件的哪些信息?

技术博客 磊子 1131浏览 0评论
目录
[隐藏]

Http监控方式

使用这种监控方式,只需要在启动flume的时候在启动参数上面加上监控配置,例如这样:

bin/flume-ng agent --conf conf --conf-file conf/flume_conf.properties --name collect -Dflume.monitoring.type=http -Dflume.monitoring.port=1234

其中-Dflume.monitoring.type=http表示使用http方式来监控,后面的-Dflume.monitoring.port=1234表示我们需要启动的监控服务的端口号为1234,这个端口号可以自己随意配置。然后启动flume之后,通过http://ip:1234/metrics就可以得到flume的一个json格式的监控数据。

监控指标

SOURCE

SOURCE作为flume的数据源组件,所有收集日志的第一个到达的地方,它的监控信息非常重要。通过监控我们能够得到的监控数据有这些:
– OpenConnectionCount(打开的连接数)
– Type(组件类型)
– AppendBatchAcceptedCount(追加到channel中的批数量)
– AppendBatchReceivedCount(source端刚刚追加的批数量)
– EventAcceptedCount(成功放入channel的event数量)
– AppendReceivedCount(source追加目前收到的数量)
– StartTime(组件开始时间)
– StopTime(组件停止时间)
– EventReceivedCount(source端成功收到的event数量)
– AppendAcceptedCount(放入channel的event数量)等。

CHANNEL

  • CHANNEL是flume的一个通道组件,对数据有一个缓存的作用。通过监控我们能够得到的数据:
  • EventPutSuccessCount(成功放入channel的event数量)
  • ChannelFillPercentage(通道使用比例)
  • Type(组件类型)
  • EventPutAttemptCount(尝试放入将event放入channel的次数)
  • ChannelSize(目前在channel中的event数量)
  • StartTime(组件开始时间)
  • StopTime(组件停止时间)
  • EventTakeSuccessCount(从channel中成功取走的event数量)
  • ChannelCapacity(通道容量)
  • EventTakeAttemptCount(尝试从channel中取走event的次数)等。

SINK

SINK是数据即将离开flume的最后一个组件,它从channel中取走数据,然后发送到缓存系统或者持久化数据库。通过监控我们能得到数据:

  • BatchCompleteCount(完成的批数量)
  • ConnectionFailedCount(连接失败数)
  • EventDrainAttemptCount(尝试提交的event数量)
  • ConnectionCreatedCount(创建连接数)
  • Type(组件类型)
  • BatchEmptyCount(批量取空的数量)
  • ConnectionClosedCount(关闭连接数量)
  • EventDrainSuccessCount(成功发送event的数量)
  • StartTime(组件开始时间)
  • StopTime(组件停止时间)
  • BatchUnderflowCount(正处于批量处理的batch数)等。

转载请注明:印迹. » Flume监控哪些组件、能够得到组件的哪些信息?

发表我的评论
取消评论

表情