Fluentd+Elasticsearch收集django日志

12/07/2017

简介

  • Fluentd是一个开源的日志收集器
  • Elasticsearch是一个基于restfulAPI的全文检索开源搜索引擎

本文使用fluntd与django对接,然后再将日志转发到elasticsearch,平台为centos7

Django部分

利用fluentd为用户开发的fluent-logger的插件,可以轻松的将日志收集起来,在开始之前需要安装一下这个模块python3 -m pip install fluent-logger

修改django的settings

fluentd配置

fluentd需要配置一个source做日志的接收端,然后还需要安装一个输出日志到elasticsearch的插件td-agent-gem install fluent-plugin-elasticsearch

配置完成后启动服务器td-agent

elasticsearch

elasticsearch不需要过多的配置可以直接启动,./elasticsearch, 启动成功后netstat -tlnp能够看到一个9200的端口开放就代表启动成功,等fluentd往elasticsearch开始写日志的时候,不出意外能够看到类似这么一条消息[fluentd-django/xxxxxxxxxxxxx] create_mapping [fluentd]

相关网址

fluentd

fluent-logger-python

elasticsearch