Logstash修改@timestamp时间为日志的产生时间


背景在Logstash读取nginx日志的消息简要如下,可以看到这里的@timestamp和time中的时间戳不一致,那么我们可以修改@timestamp指定为time。{ "@timestamp" => 2022-07-21T07:12:40.806Z, "url" => "/index.php?m=message&amp

删除 Elasticsearch 中指定日期前的数据


之前已搭建一个ELK+Filebeat 的集群,并收集了 Nginx 的日志信息。在 Elasticsearch 中索引的名字是:nginx-access-log-*,后面的*代表的是日期。假如,需要删除7天前的数据,可以执行通过以下方法:curl -u elastic:****** -H'Content-Type: application/json' -d'{ &qu

ELK集群设置账号密码认证


前提在几篇中搭建的 ELK+Filebeat 集群中,版本都是7.16.1,其中ElasticSearch 有两个节点。默认都是无密码登录,所有人都可以登录操作,安全考虑可以设置密码认证。6.2或更早版本需要安装X-PACK,新版本已包含在发行版中,所以可以直接在 ELK 上进行配置。1. Elas

Elasticsearch 单节点改集群,以及查看集群信息


前提:本文主要是将原来Elasticsearch 单节点改成两个节点组成的集群,以及查看集群信息。原来的node-1(192.168.1.240),准备部署的node-2(192.168.1.231)组成一个集群。Elasticsearch的 docker-compose.yml 内容如下:version: '3'services: elasticsearch:

Elasticsearch的RESTful API


接上一篇搭建文章中,nginx.conf 定义的log格式是: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer&qu

ELK+Filebeat 部署安装


ELK+Filebeat介绍ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logstash的数据收集功能,比较轻量级)。市面上也被成为Elastic Stack。Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转