程序员社区

全文搜索引擎Elasticsearch

Elasticsearch简介

Elasticsearch是一个基于Apache Lucene(TM)的开源、分布式、RESTful接口的全文搜索引擎。Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,Elasticsearch通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
Github地址:https://github.com/elastic/elasticsearch
官方网站:https://www.elastic.co/products/elasticsearch
英文文档:https://www.elastic.co/guide/en/elasticsearch/reference/index.html
中文社区:https://elasticsearch.cn/

Elasticsearch特点:

1.速度快:可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。
2.可拓展性强:Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,Elasticsearch能够横向扩展至数以百计的服务器存储以及处理PB级的数据。
3.弹性,高度可用:Elasticsearch检测到故障,以确保集群和数据安全可用。通过跨集群复制,辅助集群可以作为热备份运行。
4.灵活性:适用于多种数据类型

Elasticsearch下载与安装

下载地址:https://www.elastic.co/downloads/elasticsearch
根据自己的操作系统进行选择

全文搜索引擎Elasticsearch插图
image.png

下载完解压即可
bin目录中双击elasticsearch.bat即可

全文搜索引擎Elasticsearch插图1
image.png

Elasticsearch启动监听两个端口,9300和9200
9300端口是使用tcp客户端连接使用的端口
9200端口是通过http协议连接Elasticsearch使用的端口
读取的配置文件是config目录下的elasticsearch.yml

全文搜索引擎Elasticsearch插图2
image.png

建议注册成系统服务,执行命令elasticsearch-service.bat install

配置文件目录config

全文搜索引擎Elasticsearch插图3
image.png

elasticsearch.yml 主配置文件
jvm.options jvm参数配置文件
log4j2.properties 日志配置文件

主配置文件elasticsearch.yml内容
# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
#cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
#node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
#network.host: 192.168.0.1
#
# Set a custom port for HTTP:
#
#http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when new node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.zen.ping.unicast.hosts: ["host1", "host2"]
#
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
#
#discovery.zen.minimum_master_nodes: 
#
# For more information, consult the zen discovery module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true
Cluster设置集群的

cluster.name集群的名称,用于区分不同的集群,系统默认为elasitcsearch

Node主要是设置节点

node.name节点名称
node.attr.rack指定节点的部落属性,这是一个比集群更大的范围
node.master是否允许作为主节点,默认值为true
node.data是否存储数据,即存储索引片段,默认值为true

Paths关于数据和日志的存放路径的,这两个设置十分重要,因为比如要进行版本升级,如果程序与数据分离,将非常容易实现。程序的崩溃也不影响数据。

path.data数据存储位置
path.logs日志文件的路径
path.work临时文件位置
path.plugins插件安装位置

Memory内存设置

bootstrap.memory_lock启动后是否锁定内存,提高Elasticsearch的性能

Network有关网络的设置,比如RESTful接口,包括curl、浏览器、Kibana等HTTP连接过来的,都是通过这里设置

network.host设置绑定的ip地址,可以是ipv4ipv6的,默认本地回环
http.port设置对外服务的http端口,默认为9200

Discovery设置集群的节点之间的连接的

discovery.zen.ping.unicast.hosts设置集群内节点的主机
discovery.zen.minimum_master_nodes设置一个集群中主节点的数量该值可在2-4之间
discovery.zen.ping.timeout设置ping其他节点时的超时时间
discovery.zen.ping.multicast.enabled禁止当前节点发现多个集群节点,默认值为true

Gateway网关,支持多种类型的Gateway,有本地文件系统(默认),分布式文件系统,Hadoop的HDFS和amazon的s3云存储服务。

gateway.recover_after_nodes设置集群中N个节点启动时进行数据恢复,默认为1
gateway.recover_after_time设置初始化恢复过程的超时时间
gateway.expected_nodes设置该集群中可存在的节点上限
gateway.type网关允许在所有集群重启后持有集群状态,集群状态的变更都会被保存下来,当第一次启用集群时,可以从网关中读取到状态,默认网关类型(也是推荐的)是local

Various其他

action.destructive_requires_name 在删除索引时,是否需要明确指定名称,该值为false时,将可以通过正则或_all进行索引 删除
node.max_local_storage_nodes在一个系统上禁用启动多个节点

详细可以参考官方说明:https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html

启动完在浏览器中输入http://localhost:9200/

全文搜索引擎Elasticsearch插图4
image.png

看到Elasticsearch的版本信息即启动成功

Elasticsearch的可视化界面

插件模式:推荐安装Elasticsearch的head插件

前提:安装好Node.js和配置好Npm,可以参考:https://www.jianshu.com/p/96f2f01a4f3e
插件前端代码的Github地址:https://github.com/mobz/elasticsearch-head
1.把代码从Github拉到本地
2.用npm对elasticsearch-head进行打包:npm install
3.安装grunt包:npm install –g grunt–cli

全文搜索引擎Elasticsearch插图5
image.png

如果发现grunt不是内部命令的,在环境变量path中加入node_global文件夹的路径

全文搜索引擎Elasticsearch插图6
image.png

4.在Elasticsearch配置文件elasticsearch.yml中加入

http.cors.enabled: true
http.cors.allow-origin: "*"

5.用grunt命令启动elasticsearch-head插件:grunt server

全文搜索引擎Elasticsearch插图7
image.png

在浏览器访问http://localhost:9100/
全文搜索引擎Elasticsearch插图8
image.png

注:如果显示没连接可以点击连接

官方工具:Elasticsearch常用可视化管理工具kibana

简介:

Kibana是一个为Elasticsearch平台分析和可视化的开源平台

特点:

1.通过 Kibana,能够对 Elasticsearch 中的数据进行可视化并在 Elastic Stack 进行操作
2.一张图片胜过千万行日志,Kibana 能够自由地选择如何呈现数据。Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。不仅如此,还可以使用 Vega 语法来设计独属于自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。
3.将地理数据融入任何地图,利用 Elastic Maps Service 来实现地理空间数据的可视化,或者发挥创意,在地图上实现自定义位置数据的可视化。
4.时间序列,借助精选的时序性 UI,对 Elasticsearch 中的数据执行高级时间序列分析。也可以利用功能强大、简单易学的表达式来描述查询、转换和可视化图形
4.数据分析:凭借搜索引擎的相关性功能,结合 Graph 关联分析,揭示 Elasticsearch 数据中极其常见的关系
5.异常情况分析:借助非监督型 Machine Learning 功能来检测隐藏在 Elasticsearch 数据中的异常情况并探索那些对它们有显著影响的属性。
6.通过 Canvas,发挥无限创意: Canvas 能够基于实时数据发挥无限创意,而且此功能还支持 SQL

Github地址:https://github.com/elastic/kibana
官方网站:https://www.elastic.co/products/kibana
官方文档:https://www.elastic.co/guide/en/kibana/current/index.html

下载地址:https://www.elastic.co/downloads/kibana
根据自己的操作系统进行选择

全文搜索引擎Elasticsearch插图9
image.png

下载完解压,到bin目录双击kibana.bat启动kibana

全文搜索引擎Elasticsearch插图10
image.png

监听端口为5601,在浏览器中访问http://localhost:5601

全文搜索引擎Elasticsearch插图11
image.png

进行集群健康检查

需要使用 _cat API,在Kibana控制台中运行命令 GET /_cat/health?v

全文搜索引擎Elasticsearch插图12
image.png

可以看到名为 elasticsearch 的集群已经处于绿色状态。
每当我们查询集群健康情况时,接口可能会返回greenyellowred状态
green意味着一切良好(集群所有的功能都正常)。
yellow意味着所有的数据都是可用的,但是一些复制分片可能没有正确分发(集群的所有功能还是正常的)
red意味着因为某些原因导致有些数据不能使用。注意,即使集群状态是red,它仍然可以运行一部分的功能

赞(0) 打赏
未经允许不得转载:IDEA激活码 » 全文搜索引擎Elasticsearch

相关推荐

  • 暂无文章

一个分享Java & Python知识的社区