9.3.1 基本概念

  • Index索引

    • Type类型

    • Document文档

  • Node节点

    • shard分片

文档(Document)

  • Elasticsearch是面向文档的,文档时所有可搜索数据的最小单位

    • 日志文件中的日志项

    • 一本电影的具体信息/一张唱片的详细信息

    • MP3播放器里的一首歌/一篇PDF文档中的具体内容

  • 文档会被序列化成JSON格式,保存在Elasticsearch中

    • JSON对象由字段组成

    • 每个字段都有对应的字段类型(字符串/数值/布尔/日期/二进制/范围类型)

  • 每个文档都有一个Unique ID

    • 你可以自己制定ID

    • 或者通过Elasticsearch自动生成

JSON文档

  • 一篇文档包含了一系列的字段,类似数据库表中一条记录

  • JSON文档,格式灵活,不需要预先定义格式

    • 字段的类型可以指定或通过Elasticsearch自动推算

    • 支持数组/支持嵌套

文档的元数据

  • 元数据,用于标注文档的相关信息

    • _index : 文档所属的索引名

    • _type:文档所属的类型名

    • _id:文档唯一id

    • _source:文档的原始JSON数据

    • _all:整合所有字段内容到该字段,已被废除

    • _version:文档的版本信息

    • _score:相关性打分

索引(Index)

  • 索引时文档的容器,是一类文档的结合

    • Index体现了逻辑空间的概念:每个索引都有自己的Mapping定义,用于定义包含的文档的字段名和字段类型

    • shard体现了物理空间的概念:索引中的数据分散在Shard上

  • 索引的Mapping与Settings

    • Mapping定义文档字段的类型

    • Setting定义不同的数据分布

索引的不通语意

  • 名词:一个Elasticsearch集群中,可以创建很多个不同的索引

  • 动词:保存一个文档到Elasticsearch的过程也叫索引(Indexing)

    • ES中,创建一个倒排索引的过程

  • 在日常中的名词的含义:一个B树索引,一个倒排索引

Type

  • 在7.0之前,一个Index可以设置多个Types

  • 6.0开始,Type已经被Deprecated。7.0开始,一个索引只能创建一个Type - "_doc"

与关系型数据库的类比

区别:

  • Elasticsearch - Schemaless / 相关性(算分)/ 高性能全文检索

  • RDMS - 事务性 / Join

分布式相关概念

可用性和扩展性

  • 高可用性

    • 服务可用性 - 允许有节点停止服务

    • 数据可用性 - 部分节点丢失,不会丢失数据

  • 可扩展性

    • 请求量提升 / 数据的不断增长 (将数据分布到所有节点上)

Elasticsearch的分布式

  • Elasticsearch的分布式架构的好处

    • 存储的水平扩容

    • 提高系统的可用性,部分节点停止服务,整个集群的服务不受影响

  • Elasticsearch的分布式架构

    • 不同的集群通过不同的名字来区分,默认名字"Elasticsearch"

    • 通过配置文件修改,或者在命令行中 -E cluster.name=geektime 进行设定

    • 一个集群可以有一个或者多个节点

节点(Node)

  • 节点是一个Elasticsearch的实例

    • 本质上就是一个JAVA进程

    • 一台机器上可以运行多个Elasticsearch进程,但是生产环境一般建议一台机器上只运行一个Elasticsearch实例

  • 每一个节点都有名字,通过配置文件配置,或者启动时候指定 -E node.m=name=node1

  • 每一个节点在启动之后,会分配一个UID,保存在data目录下

Master-eligible nodes 和 Masternode

  • 每个节点启动后,默认就是一个Master eligible节点

    • 可以设置node.master:false禁止

  • Master-eligible节点可以参见选主流程,成为Master节点

  • 当一个节点启动时候,它会将自己选举成Master节点

  • 每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息

    • 集群状态(Cluster State),维护了一个集群中,必要的信息

      • 所有的节点信息

      • 所有的索引和其相关的Mapping与Setting信息

      • 分片的路由信息

    • 任意节点都能修改信息会导致数据的不一致性

Data node & Coordinating Node

  • Data Node

    • 可以保存数据的节点,叫做Data Node。负责保存分片数据,在数据扩展上起到了至关重要的作用

  • Coordinating Node

    • 负责接受Client的请求,将请求发到合适的节点,最终把结果汇集到一起

    • 每个节点默认都起到了Coordinating Node的职责

其他的节点类型

  • Hot & Warm Node

    • 不通硬件配置的Data Node,用来实现Hot & Warm架构,降低集群部署的成本

  • Machine Learning Node

    • 负责跑机器学习的Job,用来做异常检测

  • Tribe Node

    • (5.3 开始使用Cross Cluster Search)Tribe Node连接到不同的Elasticsearch集群,并且支持将这些集群当成一个单独的集群处理

配置节点类型

  • 开发环境中一个节点可以承担多种角色

  • 生产环境中,应该设置单一的角色的节点(dedicated node)

分片(Shard)

  • 主分片,用以解决数据水平扩展的问题。通过主分片,可以将数据分布到集群内的所有节点之上

    • 一个分片是一个运行的Lucene的实例

    • 主分片数在索引创建时指定,后续不允许修改,出发Reindex

  • 副本,用以解决数据高可用的问题。分布是主分片的拷贝

    • 副本分片数,可以动态调整

    • 增加副本数,还可以在一定程度上提高服务的可用性(读取的吞吐)

示例:一个三个节点的集群中,blogs索引的分片分布情况

分片的设定

  • 对于生产环境中分片的设定,需要提前做好容量规划

    • 分片数设置过小

      • 导致后续无法增加节点实现水平扩展

      • 单个分片的数据量太大,导致数据重新分配耗时

    • 分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding的问题

      • 影响搜索结果的相关性打分,影响统计结果的准确性

      • 单个节点上过多的分片,会导致资源浪费,同时也会影响性能

查看集群的健康状况

  • Green - 主分片与副本都正常分配

  • Yellow - 主分片全部正常分配,有副本分片未能正常分配

  • Red - 有主分片未能分配

    • 例如,当服务器的磁盘容量超过85%时,去创建了一个新的索引

Last updated