wiki
  • Introduction
  • Ansible
    • 1 初识Ansible
    • 2 Ansible Inventory 配置详解
    • 3 Ansible Ad-hoc 命令集
    • 3 Ansible lineinfile 模块详解
    • 4 Ansible Playbook
      • 4.1 Playbook的结构及handler用法
      • 4.2 Playbook循环语句
      • 4.3 Playbook条件语句
      • 4.4 Playbook高级用法
      • 4.5 Playbook之tags
      • 4.6 巧用Roles
      • 4.7 文件管理模块及Jinja2过滤器
      • 4.8 yaml 语法
    • 5 Ansible变量
      • 5.1 自定义变量
      • 5.2 Fact变量
      • 5.3 魔法变量
      • 5.4 使用lookup生成变量
      • 5.5 使用vault配置加密
    • 6 Ansible使用优化
  • Linux
    • linux简介
    • 文件管理
      • 查看文件类型
      • 查看文件详细属性
      • 创建、复制、移动、删除
      • 查看文件内容
      • 打包、压缩
    • 文件权限
      • 基本权限UGO
    • 计划任务
    • 用户管理
    • 进程管理
    • 管道及I/O重定向
    • 软件包管理
    • 网络管理
    • 日志logrotate
    • /etc/security/limits.conf 详解与配置
    • 常用知识
  • Shell
    • 第一部分 初见shell
      • 1. 为什么使用shell编程
      • 2. 和Sha-Bang(#!)一起出发
        • 2.1 调用一个脚本
        • 2.2 牛刀小试
    • 第二部分 shell基础
      • 3. 特殊字符
      • 4. 变量与参数
        • 4.1 变量替换
        • 4.2 变量赋值
        • 4.3 Bash弱类型变量
        • 4.4 特殊变量类型
      • 5. 引用
        • 5.1 引用变量
        • 5.2 转义
      • 6. 退出与退出状态
      • 7. 测试
        • 7.1 测试结构
        • 7.2 文件测试操作
        • 7.3 其他比较操作
        • 7.4 嵌套 if/then 条件测试
        • 7.5 牛刀小试
      • 8. 运算符相关话题
        • 8.1 运算符
        • 8.2 数字常量
        • 8.3 双圆括号结构
        • 8.4 运算符优先级
    • 第三部分 shell进阶
      • 9. 换个角度看变量
        • 9.1 内部变量
        • 9.2 变量类型标注：declare 与 typeset
          • 9.2.1 declare 的另类用法
        • 9.3 $RANDOM：生成随机数
      • 10. 变量处理
        • 10.1 字符串处理
          • 10.1.1 使用 awk 处理字符串
          • 10.1.2 参考资料
        • 10.2 参数替换
      • 11. 循环与分支
        • 11.1 循环
        • 11.2 嵌套循环
        • 11.3 循环控制
        • 11.4 测试与分支
      • 12. 命令替换
      • 13. 算术扩展
    • 第四部分 命令
    • 第五部分 高级话题
      • 18.正则表达式
        • 18.1正则表达式简介
        • 18.2文件名替换
        • 18.3 正则表达式对照表
      • 19. 嵌入文档
      • 20. I/O 重定向
        • 20.1 使用 exec
        • 20.2 重定向代码块
        • 20.3 应用程序
      • 21. 子shell
      • 22. 限制模式的Shell
      • 23. 进程替换
      • 24. 函数
        • 24.1 复杂函数和函数复杂性
        • 24.2 局部变量
        • 24.3 不适用局部变量的递归
      • 25. 别名
      • 26. 列表结构
      • 27. 数组
      • 30. 网络编程
      • 33. 选项
      • 34. 陷阱
      • 36. 其他
        • 36.5 有颜色的脚本
        • 36.11 ssh远程操作
    • 第六部分 Google Shell 风格指南
    • 第七部分 实例
  • 3 Python
    • 3.1 简介
    • 3.2 数据类型
    • python subprocess模块的使用
    • python解析nginx配置文件
    • python调用jenkinsAPI批量拷贝视图job
    • python调用zabbixAPI批量添加web监控
    • python监控activemq集群
  • 4 Golang
    • 4.1 程序结构
    • 4.2 数据类型
      • 4.2.1 基础数据类型
      • 4.2.2 复合数据类型
    • 4.3 函数
  • Docker
    • Docker文章推荐
    • Docker Harbor
    • Docker Harbor HA
    • 快速搭建rabbitmq高可用集群
  • Nginx
    • 1.初识Nginx
    • 2.nginx架构基础
    • 3.nginx配置文件详解
      • 3.1 nginx全局块和events块配置
      • 3.2 nginxHTTP块配置
      • 3.3 nginxSERVER块配置
      • 3.4 nginxLOCATION块配置
      • 3.5 nginx常用模块
    • 4.内核参数优化
    • 5.状态码
    • 6.nginx的常见问题
      • Nginx出现403 forbidden的三种原因
  • 8 Tomcat
    • 8.1 tomcat简介
    • 生产环境中的tomcat配置
    • tomcat假死现象
    • Tomcat 错误代号及状态码
    • tomcat注意事项
  • 9 Elasticsearch
    • 9.1 概述
      • 9.1.1 Elasticsearch 简介及其发展历史
      • 9.1.2 Elastic Stack 家族成员及其应用场景
    • 9.2 安装上手
      • 9.2.1 Elasticsearch的安装和简单配置
      • 9.2.2 Kibana的安装和界面快速浏览
      • 9.2.3 在Docker容器中运行Elasticsearch，Kibana和Cerebro
    • 9.3 Elasticsearch入门
      • 9.3.1 基本概念
      • 9.3.2 文档的基本操作CRUP与批量操作
      • 9.3.3 倒排索引入门
      • 9.3.4 通过分析器进行分词
      • 9.3.5 Search API概览
      • 9.3.6 URI Search详解
      • 9.3.7 Request Body和Query DSL简介
  • 10 Zabbix
    • 10.1 zabbix4.4新功能
    • 10.2 zabbix借助ansible安装
    • 10.3 zabbix添加报警媒介
    • 10.4 MySQL监控模块
    • 10.5 Redis监控模块
    • 10.6 常见问题
    • 10.7 用zabbix api批量添加web监控
    • 10.8 activemq监控
    • 10.9 zookeeper集群监控
    • 10.10 Todolist
  • 11 消息中间件
    • 11.1 activemq集群
    • 11.2 rabbitmq
  • 12 常见集群的搭建
    • 12.1 keepalived和heartbeat对比
    • 12.2 zookeeper集群
    • 12.3 fastdfs
    • 12.4 rocketmq集群的搭建
  • 13 常见服务的搭建
    • none
    • 13.2 jdk
    • 13.3 python3.6
    • 13.4 新建博客方法
    • 13.5 confluence
  • 14 Markdown
    • 14.1 让Markdown写作更简单Typora完全使用指南
  • 16 Mysql
    • 16.1 MySQL基本操作
    • 16.2 列表类型和数据完整性
    • 16.3 数据库设计与查询语句
    • 16.4 视图、事务、索引、函数
    • 16.5 MySQL存储引擎
    • 16.6 用户权限和访问控制
    • 16.7 备份恢复
    • 16.8 AB复制
    • 16.9 主主和keepalived
    • 16.10 读写分离和Amoeba
    • 16.11 MySQL逻辑架构
    • 16.12 MySQL锁等待
    • 16.13 MySQL常见问题
    • 16.14 MySQL bin-log日志清理
  • 17 Redis
    • 17.1 安装
    • 17.2 配置
    • 17.3 服务器端和客户端命令
    • 17.4 数据库操作
      • 17.4.1 string类型
      • 17.4.2 键命令
      • 17.4.3 hash类型
      • 17.4.4 list类型
      • 17.4.5 set类型
      • 17.4.6 zset类型
    • 17.5 centos7安装redis-5.0.0主从
    • 17.6 redis5.0.4集群搭建步骤
    • 17.7 centos7安装升级ruby
    • 17.8 redis-dump方式导入导出数据
    • redis面试题
  • 18 HTML
    • 18.1 html入门
  • 19 CSS
    • 19.1 列表、div、span
    • 19.2 整体感知、常见属性、选择器
    • 19.3 css性质、盒模型、标准文档流、浮动
    • 19.4 行高和字号、超链接美化、background
    • 19.5 相对定位、绝对定位、固定定位、z-index
  • 20 jenkins
    • 20.1 jenkins的安装配置
    • 20.2 Jenkins Job迁移
    • Jenkins常见问题
    • Jenkins关闭和重启的实现方式
    • 使用Jenkins Pipeline自动化构建发布
  • 21 vim
    • vim设置参数以方便YAML语句录入
    • vim常用命令
  • 22 网络
    • TCP协议三次握手四次挥手
    • ip地址
  • 23 未分类
    • DEV SIT UAT PET SIM PRD PROD常见环境英文缩写含义
    • 调优
    • 编程语言的分类
    • curl方式执行shell脚本时如何传参
    • 中文技术文档写作规范
    • PrometheusAlert
  • 24 常见问题
    • centos时区
    • curl https报错
    • du-df磁盘使用不一致
    • linux下增加交换分区
    • mysql最大连接数
  • 25 openldap
    • Centos7 搭建openldap
    • phpldapadmin操作指导
  • 26 gitlab
    • gitlab备份迁移升级&集成openldap
  • 27 监控体系
    • 聊头监控体系
    • grafana问题
  • git
    • git的基本使用
    • Commit message 和 Change log 编写指南
Powered by GitBook
On this page
  • 文档（Document）
  • JSON文档
  • 文档的元数据
  • 索引（Index）
  • 索引的不通语意
  • Type
  • 与关系型数据库的类比
  • 分布式相关概念
  • 可用性和扩展性
  • Elasticsearch的分布式
  • 节点（Node）
  • Master-eligible nodes 和 Masternode
  • Data node & Coordinating Node
  • 其他的节点类型
  • 配置节点类型
  • 分片（Shard）
  • 分片的设定
  • 查看集群的健康状况

Was this helpful?

  1. 9 Elasticsearch
  2. 9.3 Elasticsearch入门

9.3.1 基本概念

Previous9.3 Elasticsearch入门Next9.3.2 文档的基本操作CRUP与批量操作

Last updated 5 years ago

Was this helpful?

  • Index索引

    • Type类型

    • Document文档

  • Node节点

    • shard分片

文档（Document）

  • Elasticsearch是面向文档的，文档时所有可搜索数据的最小单位

    • 日志文件中的日志项

    • 一本电影的具体信息/一张唱片的详细信息

    • MP3播放器里的一首歌/一篇PDF文档中的具体内容

  • 文档会被序列化成JSON格式，保存在Elasticsearch中

    • JSON对象由字段组成

    • 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）

  • 每个文档都有一个Unique ID

    • 你可以自己制定ID

    • 或者通过Elasticsearch自动生成

JSON文档

  • 一篇文档包含了一系列的字段，类似数据库表中一条记录

  • JSON文档，格式灵活，不需要预先定义格式

    • 字段的类型可以指定或通过Elasticsearch自动推算

    • 支持数组/支持嵌套

文档的元数据

  • 元数据，用于标注文档的相关信息

    • _index : 文档所属的索引名

    • _type：文档所属的类型名

    • _id：文档唯一id

    • _source：文档的原始JSON数据

    • _all：整合所有字段内容到该字段，已被废除

    • _version：文档的版本信息

    • _score：相关性打分

索引（Index）

  • 索引时文档的容器，是一类文档的结合

    • Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型

    • shard体现了物理空间的概念：索引中的数据分散在Shard上

  • 索引的Mapping与Settings

    • Mapping定义文档字段的类型

    • Setting定义不同的数据分布

索引的不通语意

  • 名词：一个Elasticsearch集群中，可以创建很多个不同的索引

  • 动词：保存一个文档到Elasticsearch的过程也叫索引（Indexing）

    • ES中，创建一个倒排索引的过程

  • 在日常中的名词的含义：一个B树索引，一个倒排索引

Type

  • 在7.0之前，一个Index可以设置多个Types

  • 6.0开始，Type已经被Deprecated。7.0开始，一个索引只能创建一个Type - "_doc"

与关系型数据库的类比

区别：

  • Elasticsearch - Schemaless / 相关性（算分）/ 高性能全文检索

  • RDMS - 事务性 / Join

分布式相关概念

可用性和扩展性

  • 高可用性

    • 服务可用性 - 允许有节点停止服务

    • 数据可用性 - 部分节点丢失，不会丢失数据

  • 可扩展性

    • 请求量提升 / 数据的不断增长 （将数据分布到所有节点上）

Elasticsearch的分布式

  • Elasticsearch的分布式架构的好处

    • 存储的水平扩容

    • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响

  • Elasticsearch的分布式架构

    • 不同的集群通过不同的名字来区分，默认名字"Elasticsearch"

    • 通过配置文件修改，或者在命令行中 -E cluster.name=geektime 进行设定

    • 一个集群可以有一个或者多个节点

节点（Node）

  • 节点是一个Elasticsearch的实例

    • 本质上就是一个JAVA进程

    • 一台机器上可以运行多个Elasticsearch进程，但是生产环境一般建议一台机器上只运行一个Elasticsearch实例

  • 每一个节点都有名字，通过配置文件配置，或者启动时候指定 -E node.m=name=node1

  • 每一个节点在启动之后，会分配一个UID，保存在data目录下

Master-eligible nodes 和 Masternode

  • 每个节点启动后，默认就是一个Master eligible节点

    • 可以设置node.master：false禁止

  • Master-eligible节点可以参见选主流程，成为Master节点

  • 当一个节点启动时候，它会将自己选举成Master节点

  • 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息

    • 集群状态（Cluster State），维护了一个集群中，必要的信息

      • 所有的节点信息

      • 所有的索引和其相关的Mapping与Setting信息

      • 分片的路由信息

    • 任意节点都能修改信息会导致数据的不一致性

Data node & Coordinating Node

  • Data Node

    • 可以保存数据的节点，叫做Data Node。负责保存分片数据，在数据扩展上起到了至关重要的作用

  • Coordinating Node

    • 负责接受Client的请求，将请求发到合适的节点，最终把结果汇集到一起

    • 每个节点默认都起到了Coordinating Node的职责

其他的节点类型

  • Hot & Warm Node

    • 不通硬件配置的Data Node，用来实现Hot & Warm架构，降低集群部署的成本

  • Machine Learning Node

    • 负责跑机器学习的Job，用来做异常检测

  • Tribe Node

    • （5.3 开始使用Cross Cluster Search）Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

配置节点类型

  • 开发环境中一个节点可以承担多种角色

  • 生产环境中，应该设置单一的角色的节点（dedicated node）

分片（Shard）

  • 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上

    • 一个分片是一个运行的Lucene的实例

    • 主分片数在索引创建时指定，后续不允许修改，出发Reindex

  • 副本，用以解决数据高可用的问题。分布是主分片的拷贝

    • 副本分片数，可以动态调整

    • 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

示例：一个三个节点的集群中，blogs索引的分片分布情况

分片的设定

  • 对于生产环境中分片的设定，需要提前做好容量规划

    • 分片数设置过小

      • 导致后续无法增加节点实现水平扩展

      • 单个分片的数据量太大，导致数据重新分配耗时

    • 分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题

      • 影响搜索结果的相关性打分，影响统计结果的准确性

      • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

查看集群的健康状况

  • Green - 主分片与副本都正常分配

  • Yellow - 主分片全部正常分配，有副本分片未能正常分配

  • Red - 有主分片未能分配

    • 例如，当服务器的磁盘容量超过85%时，去创建了一个新的索引

1567998428921