查看“ELK搭建”的源代码

== ELK搭建 ==

'''安装相关工具'''
安装xshell上传下载工具<br>
yum -y install lrzsz   # lrzsz安装命令<br>
rz	# 上传命令<br>
sz	# 下载<br>

'''安装zip、unzip解压缩工具'''<br>
yum install zip unzip# 安装命令<br>
压缩和解压文件<br>

'''安装Python2的pip模块'''<br>
（Elastalert 0.1.39版本以下需要安装Python2）<br>
① yum install python-devel<br>
② yum -y install epel-release <br>
③ yum -y install python-pip<br>
pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。<br>
目前如果你在python.org下载最新版本的安装包，则是已经自带了该工具。<br>
Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。<br>
pip 官网：https://pypi.org/project/pip/<br>
或者<br>
① 下载压缩包：https://pypi.org/project/pip/#files<br>
② 上传到服务器解压：tar -zvxf pip-19.1.1.tar.gz<br>
③ 进入解压出来的目录：cd pip-19.1.1<br>
④ 安装：python setup.py install<br>
⑤ 测试 java -version<br>

pip版本升级：pip install --upgrade pip<br>
pip安装软件：pip install 包名 或者 python3 -m pip install 包名<br>
<br>
安装Python3（且不影响python2）<br>
（Elastalert 0.2版本以下的不需要Python3）<br>
① 安装依赖<br>
yum -y groupinstall "Development tools"<br>
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel<br>
(3.7以上需要libffi-devel)<br>
	② 下载Python3源码压缩包https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz<br>
	③ 上传解压：tar zxvf Python-3.7.4.tgz<br>
	④ 编译安装：<br>
cd Python-3.7.4<br>
./configure --prefix=/usr/local/python3 （编译之后的文件存放处，可根据喜好设置）<br>
make && make install<br>
	⑤ 创建软连接<br>
ln -s /usr/local/python3/bin/python3 /usr/bin/python3<br>
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3<br>
	⑥ 测试 java -version<br>
 
pip版本升级：pip3 install --upgrade pip<br>
pip安装软件：pip3 install 包名 或者 python3 -m pip install 包名<br>



'''安装Elasticsearch'''

环境准备：<br>
修改文件限制 vim /etc/security/limits.conf<br>
#增加的内容<br>
* soft nofile 262144<br>
* hard nofile 262144<br>
* soft nproc 262144<br>
* hard nproc 262144<br>
#锁内存<br>
* soft memlock unlimited <br>
* hard memlock unlimited<br>

备注：* 代表Linux所有用户名称<br>
保存、退出、重新登录才可生效<br>

调整虚拟内存&最大并发连接 vim /etc/sysctl.conf<br>

#增加的内容<br>
vm.max_map_count=262144<br>
fs.file-max=262144<br>

用root账号执行“sysctl -p” <br>

① 下载解压elasticsearch<br>
② 编辑配置文件：vim config/elasticsearch.yml<br>
cluster.name: es-zegopay<br>
node.name: es-1.1<br>
path.data: /elk/es/data<br>
path.logs: /elk/es/logs<br>
bootstrap.memory_lock: true<br>
network.host: 192.168.1.1<br>
http.port: 9200<br>


配置项说明：<br>

项	         说明<br>
cluster.name	集群名<br>
node.name	节点名<br>
path.data	数据保存目录<br>
path.logs	日志保存目录<br>
network.host	节点host/ip<br>
http.port	HTTP访问端口<br>
bootstrap.memory_lock	锁定内存（要相应更改/etc/security/limits.conf文件）<br>
discovery.seed_hosts	集群中种子节点的初始列表，启动时使用这个列表进行探测<br>
cluster.initial_master_nodes	集群初始化的主节点列表<br>

③ 开放端口：<br>
firewall-cmd --zone=public --add-port=9200/tcp --permanent<br>
firewall-cmd --zone=public --add-port=9300/tcp --permanent<br>
firewall-cmd --reload<br>

④ 创建ELK专用用户（Elasticsearch不能用root用户启动）：useradd elk<br>
#创建ELK APP目录<br>
mkdir /usr/local/elk<br>
#创建ELK 数据目录<br>
mkdir /elk<br>
#创建Elasticsearch主目录<br>
mkdir /elk/es<br>
#创建Elasticsearch数据目录<br>
mkdir /elk/es/data<br>
#创建Elasticsearch日志目录<br>
mkdir /elk/es/logs<br>

#移动Elasticsearch到/usr/local/elk目录下<br>
mv elasticsearch /usr/local/elk<br>

#更改目录Owner<br>
chown -R elk:elk /usr/local/elk<br>
chown -R elk:elk /elk<br>

⑤ 切换账号：su elk<br>

⑥ 运行bin文件夹里的elasticsearch<br>

最后在浏览器输入ip+9200：<br>
[[文件:2020-08-12 212126.png]]

安装Kibana<br>
英文文档：https://www.elastic.co/guide/en/kibana/7.0/index.html<br>
中文文档：https://www.elastic.co/guide/cn/kibana/current/index.html<br>

	① 下载解压kibana-7.2.0-linux-x86_64.tar.gz可参考安装Java的步骤<br>
<br>
	② 编辑配置文件：vim config/kibana.yml<br>
server.port: 5601<br>
server.host: "192.168.1.1"<br>
server.name: "Zegopay-Kibana"<br>
elasticsearch.hosts: ["http://192.168.1.1:9200"]<br>
pid.file: /usr/local/elk/kibana/config/kibana.pid<br>
i18n.locale: "zh-CN"<br>

③ 开放端口：<br>
firewall-cmd --zone=public --add-port=5601/tcp --permanent<br>
firewall-cmd --reload<br>

	④ 运行bin文件夹里的kibana<br>
<br>
	⑤ 添加自定义系统服务：vim /usr/lib/systemd/system/kibana.service<br>
复制粘贴以下内容并保存退出：<br>
[Unit]<br>
Description=The kibana-server Process Manager<br>
After=syslog.target network.target<br>
<br>
[Service]<br>
Type=simple <br>
User=elk<br>
Group=elk<br>
PIDFile=/usr/local/elk/kibana/config/kibana.pid<br>
ExecStart=/usr/local/elk/kibana/bin/kibana<br>
Restart=on-failure<br>
<br>
[Install]<br>
WantedBy=multi-user.target<br>
<br>

安装Logstash<br>
① 切换账号：su elk<br>
#创建Logstash主目录<br>
mkdir /elk/logstash<br>
#创建Logstash数据目录<br>
mkdir /elk/logstash/data<br>
#创建Logstash日志目录<br>
mkdir /elk/logstash/logs<br>
<br>
（以下步骤可用elk账号，也可以切换回root账号进行操作）<br>
② 下载解压logstash-7.2.0.tar.gz可参考安装Java的步骤<br>
③ 编辑配置文件：vim config/logstash.yml<br>
node.name: logstash-1.1<br>
path.data: /elk/logstash/data<br>
log.level: info<br>
path.logs: /elk/logstash/logs<br>
<br>