ELK日志系统和grafana监控指标数据显示

ELK是elasticsearch、kibana、logstas组合的简称,是一套强大的日志处理系统, grafana是一款golang开发的数据显示软件,支持多种数据源,UI漂亮,支持报警

软件下载&安装

es下载地址 https://www.elastic.co/downloads/elasticsearch

kibana https://www.elastic.co/downloads/kibana

logstash https://www.elastic.co/downloads/logstash

filebeat https://www.elastic.co/downloads/beats

grafana https://grafana.com/grafana/download

安装比较简单,直接安装官方说明装就可以了。

配置

filebeat 主要用来收集数据,配置如下

filebeat.prospectors:
- input_type: log
paths:
- /var/www/log/status/monitor.log # 要扫描的文件 类似tail -f,也支持多行的配置见:Multiline
fields:
index: monitor #一个自定义配置方便在logstash根据这个字段创建索引
name: "10.10"
output.logstash:
hosts: ["192.168.10.80:5044"] logstash的服务地址

logstash 配置,接收beat提交的数据并做格式化处理再提交给ES存储

input { beats {port => "5044"}} #默认配置
filter {
grok {
match => [
"message",'%{IPORHOST:remote_ip}:%{NUMBER:remote_port} - %{DATA:user_name} ',
"message",'time="%{DATA:action_time}" level=%{DATA:level}',
] #正则来提取字段
remove_field => ["message"] #删除原始字段,默认一整行的数据都在这个字段里面
}
date {match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z","UNIX" ] target => "@timestamp"}#解析时间字段
geoip {source => "ip"} #使用geo解析IP得到地理位置信息
mutate {convert => { "request_time" => "float" }} #强制某个字段按数字写入ES
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
index => "logstash-%{[fields][index]}-%{+YYYY.MM.dd}" #前面提到的index配置在这边根据这个自动创建索引
document_type => "%{input_type}"
}
}
启动命令 bin/logstash -f first-pipeline.conf --config.reload.automatic #config.reload.automatic 在修改first-pipeline.conf配置文件后自动重新加载配置文件

kibana 访问安装地址的:5601 端口会打开kibana的WEB界面

登录后打开 kibana ---> Management ---> Index Patterns ---> 左上角 Add New
---> 新界面上logstash-* 修改成 logstash-[前面配置的index]-*
Time-field name 选择 @timestamp 再点Create 再点左侧的Discover就能看到数据了

注意点

按上面的配置 ES创建的索引除了时间字段 GEO的相关字段其他的都是默认的字符的默认是有analyzed的

如果要对字符做精确的搜索比如 “10.80” 这种机器名,这种默认字段是不行的,带有特殊符号的都搜索不到

如果只是有数字字段要处理,用上面mutate的方法强制转换也就能解决不需要用模板处理

这时候需要提交一个新的template给es(logstash在启动的时候默认会给ES创建一个名为logstash的template)

curl -XGET http://localhost:9200/*template/logstash 可以用这个命令查看模板信息 执行这个命令后可以看到默认的order=>0,根据ES的模板规则,有多个匹配的模板时候从小到大执行合并 创建一个mytemp.json 内容如下
{ "order": 10, "version": 50010, "template": "logstash-*", "mappings":
{ "_default*": { "properties": { "bytes":{"include_in_all": false,"type": "long"}, "beat":{ "properties":{ "hostname":{"type":"string","index": "not_analyzed"} } } } } } } }
执行命令 curl -XPUT http://localhost:9200/_template/mytemp -d '@/usr/local/logstash-5.0.0/mytemp.json'
后面如果要加字段继续执行这个命令就可以了,不过有点要注意,已经存在的数据的字段格式是不会变了, 只对新的数据有效果,如果是处理文本字段的,要删除索引后重新写入的数据才有效果

grafana

golang开发的 解压直接就可以运行,在数据源里面配置ES

Elasticsearch details 这个地方 先选择Pattern 选择Daily按天索引的意思 因为前面ES是选择的按天创建索引,这边一致
然后 [logstash-改成前面对应设置的index-]YYYY.MM.DD 版本选择5.X 点save按钮,如果绿色就对了

上一张官方的截图

资源

官网 https://www.elastic.co/products

在线测试正则表达式地址 http://grokdebug.herokuapp.com/

grafana 官方demo http://play.grafana.org/dashboard/db/grafana-play-home

发表评论

电子邮件地址不会被公开。 必填项已用*标注