一、名词解释

1)索引

在7.X版本前类似于关系型数据库中的数据库概念,8.X版本后删除了type概念,索引类似于关系型数据库中的表

2)文档

相当于关系型数据库中的一条数据,最小单元

3)节点

每一个节点就是一个ES实例(一个java进程),一个节点 != 一台服务器

4)集群

多个节点组成分布式系统,ES原生分布式,已启动一个ES进程,再启动一个进程,这个进程会自动发现集群并进入,前提条件是所有节点配置一套集群信息

5)分片

一个索引包含一个多个分片,7.0之前默认五个主分片,每个主分片一个副本,在7.0之后默认一个主分片,副本可以在索引创建之后修改数量,但是主分片的数量一旦确定不可修改。

每个分片都是一个Lucene实例,有完成的创建索引和处理请求的能力

ES会自动在节点上做分片均衡,每个主分片和其副本分片不能同时存在于同一个节点上

MysqlES
dataBase数据库index索引库
table表type类型(8.X版本删除此概念)
row行 记录document文档
column列field字段

二、索引CRUD

1)创建索引

PUT /indexName?pretty

2)查询操作

# 查询索引信息GET _cat/indices?v# 查询所有数据GET /indexName/_search# 查询第一条数据GET /indecName/_doc/1

3)删除操作

# 删除索引DELETE /indexName?pretty#删除数据DELETE /indexName/_doc/id

4)插入数据

#插入数据 指定idPUT /indexName/_doc/id{Json数据}# 示例PUT /product/_doc/1{"name":"手机","price":"1399","desc":["美观","小巧"]}

5)修改数据

1. 同插入数据,全量替换

2. 指定字段更新(两种格式均可)

POST /indexName/_doc/1 _update{"doc":{ "fieldName":"" }}POST /indexName/_update/id{"doc":{ "fieldName":"" }}

三、Mapping映射

定义文档及其包含字段的存储和索引信息,类似“表结构”概念

包含属性:字段名称、类型、字段使用的分词器、是否评分、是否创建索引等

1)查看mapping

GET /indexName/_mappings

2) ES数据类型

常见数据类型

1. 数字类型

long integer short byte double float half_float scaled_floatunsigned_long

2. keywords

keyword:适用于索引结构化的字段,只能精确值搜索,可以用于过滤、排序、聚合

constant_keyword:始终包含相同值的关键字字段

wildcard: 可针对类似grep的通配符查询优化日志行等类似的关键字值

3. 时间类型 Dates :包括 date和date_nanos

4. alias 定义别名

5. binary 二进制

6. range 区间类型integer_range、float_range、long_range、double_range、date_range

7. text 类型

设置text类型以后,字段内容会被分析,在生成倒排索引(默认)以前,字符串会被分析器分成一个一个词项,text类型的字段不用于排序,很少用于聚合

对象关系类型

1. object : 用于单个JSON对象

2. nested: 用于JSON对象数组

3. flattened: 允许将整个JSON对象索引为单个字段

结构化类型

1. geo-point:纬度/经度积分

​2.geo-shape:用于多边形等复杂形状

3. point:笛卡尔坐标点

4. shape:笛卡尔任意几何图形

特殊类型(常用)

1.IP地址:ip 用于IPv4和IPv6地址

2. completion提供自动完成建议

数组 array

在Elasticsearch中,数组不需要专用的字段数据类型。默认情况下,任何字段都可以包含零个或多个值,但是,数组中的所有值都必须具有相同的数据类型

3)映射类型

动态 自动映射

整数long
浮点数float
true | falseboolean
日期date
数组与数组中的第一个有效值同
对象object
字符串若不是数字和日期类型,将被映射为text和keyword两个类型
PUT /product_mapping/_doc/1{"name": "手机","desc": "插入数据 直接自动映射","count": 100,"price": 1999.9,"date": "2022-12-7","isdel": true,"tags": ["xiaoqiao","fashion"]}

静态 手动映射

# 案例PUT /product{"mappings": {"properties": {"date": {"type": "text"},"desc": {"type": "text","analyzer": "english"},"name": {"type": "text","index": "false"},"price": {"type": "long"},"tags": {"type": "text","index": "true"},"parts": {"type": "object"},"partlist": {"type": "nested"}}}}

常用映射参数

1. index: 是否对当前字段创建倒排索引,默认为true,若为false,该字段不会通过索引被搜索到,但是仍会在source元数据中展示

2.analyzer:指定分析器(character filter、tokenizer、Token filters)

3. doc_values:为了提升排序和聚合效率,默认true,如果确定不需要对字段进行排序或聚合,也不需要通过脚本访问字段值,则可以禁用doc值以节省磁盘空间(不支持text和annotated_text)

4.eager_global_ordinals:用于聚合的字段上,优化聚合性能

5.enable:是否创建倒排索引,可以对字段操作,也可以对索引操作

 PUT my_index {"mappings": { "enabled": false}}

6.fielddata:查询时内存数据结构,在首次用当前字段聚合、排序或者在脚本中使用时,需要字段为fielddata数据结构,并且创建倒排索引保存到堆中

#每个tag产品的数量 "size":0, 不显示原始结果GET /product/_search{"aggs": {"tag_agg_group": {"terms": {"field": "tags"}}},"size":0}#将文本field的fielddata属性设置为truePUT /product/_mapping{"properties": {"tags": {"type": "text","fielddata": true}}}

7.fields:给field创建多字段,用于不同目的(全文检索或者聚合分析排序)

# 给product创建一个keywordPUT fields_test{"mappings": {"properties": {"product": {"type": "text","fields": {"raw": { "type":"keyword"}}}}}}# 插入数据PUT fields_test/_doc/1{"product": "New York"}# 查询数据GET fields_test/_search{"query": {"match": {"product": "york" }},"sort": {"product.raw": "asc" },"aggs": {"product": {"terms": {"field": "product.raw" }}}}

8.norms:是否禁用评分(在filter和聚合字段上应该禁用)

9.null_value:为null值设置默认值

10.search_analyzer:设置单独的查询时分析器

11.store:设置字段是否仅查询

12.format:格式化

"date": { "type":"date", "format": "yyyy-MM-dd" }

13. copy_to 将多个字段的值复制到组字段中,然后可以将其作为单个字段进行查询

# mapping映射PUT copy_to_test{"mappings": {"properties": {"field1": {"type": "text","copy_to": "field_all" },"field2": {"type": "text","copy_to": "field_all" },"field_all": {"type": "text"}}}}# 数据插入PUT copy_to/_doc/1{"field1": "field1","field2": "field2"}# 查询 可匹配到数据GET copy_to/_search{"query": {"match": {"field_all": { "query": "field1 field2"}}}}

14.coerce:是否允许强制类型转换

# mapping映射PUT coerce_test{"mappings": {"properties": {"number_one": {"type": "integer"},"number_two": {"type": "integer","coerce": false}}}}# 插入数据# 成功PUT coerce_test/_doc/1{"number_one": "10" }#//失败,因为coerce设置了falsePUT coerce_test/_doc/2{"number_two": "10" }

15.dynamic:控制是否可以动态添加新字段

true 新检测到的字段将添加到映射中(默认)

​false 新检测到的字段将被忽略,这些字段将不会被索引,因此将无法搜索,但仍会出现在_source返回的匹配项中。这些字段不会添加到映射中,必须显式添加新字段。

​strict 如果检测到新字段,则会引发异常并拒绝文档,必须将新字段显式添加到映射中

PUT dynamic_test{"mappings": {"dynamic": false,"properties": {"user": {"properties": {"date": {"type": "text"}}}}}}