CentOS 7 ELK 6.6.0 介绍和JDK1.8安装(一)

概念

ELK 是什么

ELK 是 elastic 公司旗下三款产品 ElasticSearch 、Logstash 、Kibana 的首字母组合。

ElasticSearch 是一个基于 Lucene 构建的开源,分布式,RESTful 搜索引擎。

Logstash 传输和处理你的日志、事务或其他数据。

Kibana 将 Elasticsearch 的数据分析并渲染为可视化的报表。

为什么使用 ELK ?

对于有一定规模的公司来说,通常会很多个应用,并部署在大量的服务器上。运维和开发人员常常需要通过查看日志来定位问题。如果应用是集群化部署,试想如果登录一台台服务器去查看日志,是多么费时费力。

而通过 ELK 这套解决方案,可以同时实现日志收集、日志搜索和日志分析的功能。

ELK 架构

说明

以上是 ELK 技术栈的一个架构图。从图中可以清楚的看到数据流向。

Beats 是单一用途的数据传输平台,它可以将多台机器的数据发送到 Logstash 或 ElasticSearch。但 Beats 并不是不可或缺的一环,所以本文中暂不介绍。

Logstash 是一个动态数据收集管道。支持以 TCP/UDP/HTTP 多种方式收集数据(也可以接受 Beats 传输来的数据),并对数据做进一步丰富或提取字段处理。

ElasticSearch 是一个基于 JSON 的分布式的搜索和分析引擎。作为 ELK 的核心,它集中存储数据。

Kibana 是 ELK 的用户界面。它将收集的数据进行可视化展示(各种报表、图形化数据),并提供配置、管理 ELK 的界面。


整体架构主要分为 4 个模块,分别提供不同的功能

Filebeat:轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebeat就是新版的 Logstash-fowarder,也会是 ELK Stack 在 Agent 的第一选择。

Kafka: 数据缓冲队列。作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

Logstash :数据收集处理引擎。支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储以供后续使用。

Elasticsearch :分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。

Kibana :可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

----------------------------------------------------------------------------------------------------------------------------------------

  1. 实战环境

    192.168.222.128 部署Kibana、ES

    192.168.222.129 部署Logstash  

(1)系统环境:CentOS 7、关闭Iptables  、关闭Selinux

  (2)软件环境: JDK1.8 


2.安装JDK 1.8    Elasticsearch、Logstash依赖于java环境)

(1)yum  安装JDK 1.8 (不建议)

 yum install java-1.8.0-openjdk -y

(2)二进制包安装

[root@localhost ~]# cd /usr/local/src/
[root@localhost src]# ls
jdk-8u201-linux-x64.tar.gz
[root@localhost src]# tar xf jdk-8u201-linux-x64.tar.gz 
[root@localhost src]# mv jdk1.8.0_201   /usr/local/

   配置JAVA 环境变量 (/etc/profile)

export JAVA_HOME=/usr/local/jdk1.8.0_201/
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
[root@localhost src]# source /etc/profile

   image.png

验证环境变量

[root@localhost src]# java -version

image.png

附件:

ELK  官网和下载地址:https://www.elastic.co/cn/downloads/

作者头像
南宫俊逸创始人

君子好学,自强不息~

上一篇:5iSNS 内容付费系统 V1.0.4
下一篇:CentOS 7 Kibana-6.6.0 二进制安装和启动 (二)

发表评论