go语言logstash Go语言面试题

filebeat采集日志到kafka配置及使用

1、由于我的预期目标是将filebeat收集的日志发送到kafka，所以配置output就选择了kafka。读者可根据自己的使用场景，配置output。例子中的配置将对/var/log目录下所有以.log结尾的文件进行采集。

网站建设哪家好，找创新互联建站！专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了新华免费建站欢迎大家使用！

2、filebeat监听两个不同文件，配置了不同的topic。其中topic：%{[type]} ，topic值为input中配置的document_type。kafka中收集到日志如下格式：只有message中才为写入到，其余字段为filebeat携带的元数据。

3、使用filebeat收集日志，先转发到beat端的logstash1，然后logstash1转发到kafka，然后再由logstash2从kafka读取写到elasticsearch。

4、为了手动配置Filebeat(代替用模块)，你可以在filebeat.yml中的filebeat.inputs区域下指定一个inputs列表。 列表时一个YMAL数组，并且你可以指定多个inputs，相同input类型也可以指定多个。

5、2) 配置kibana yml配置文件严格控制缩进，如果配置顶格，那么应用到全局，如果存在缩进，则只应用到此缩进层级。

6、Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件(tail file)，并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。

ELK应用之Filebeat

1、force_close_files： Filebeat会在没有到达close_older之前一直保持文件的handle，如果在这个时间窗内删除文件会有问题，所以可以把force_close_files设置为true，只要filebeat检测到文件名字发生变化，就会关掉这个handle。

2、Filebeat 会持续保持着句柄，以便以便它可以近乎实时地读取新的日志行。如果 Filebeat 正在收集大量文件，则打开的文件数可能会成为问题。在大多数环境中，活动更新的文件数较少。

3、Filebeat 配置，输出到 console：Filebeat 配置，输出到 Kafka：我们开启 Filebeat 的 6060 端口，并使用 python 脚本进行指标采集。

4、Beats 和 fluentd 有一个共同的特点，就是轻量级，没有 Logstash 功能全面。但如果比较注重日志收集性能，Beats 里面的 Filebeat 和 fluentd 这两个工具会更有优势。

5、filebeat是一个轻量级的日志采集器，部署简单占用内存小。

6、elk 简介 elk的安装 我们采用的 docker 镜像安装。由于sebp/elk中logstash的input的方式默认是filebeat，首先们需要进入elk容器中修改input方式。logstash默认会将etc/logstash/conf.d/中的配置文件进行整合然后启动。