我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python-ElasticSearch

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python-ElasticSearch

Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的,不论开源还是私有的,拥有最先进,高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它,你需要编写 Java 程序,并在你的 java 程序里面直接集成 Lucene 包。 更坏的情况是,你需要对信息检索有一定程度的理解才能明白 Lucene 是怎么工作的。Lucene 是 很 复杂的。
在上一篇博客中介绍了ElasticSearch的简单使用,接下来记录一下ElasticSearch的查询:
#创建index索引

#创建索引,索引的名字是my-index,如果已经存在了,就返回个400,
#这个索引可以现在创建,也可以在后面插入数据的时候再临时创建
es.indices.create(index='my-index',ignore)

#插入数据

#插入数据,(这里省略插入其他两条数据,后面用)
es.index(index="my-index",doc_type="test-type",id=01,body={"any":"data01","timestamp":datetime.now()})

#get获取数据

#查询数据,两种get and search
#get获取
res = es.get(index="my-index", doc_type="test-type", id=01)
es.get(index='indexName', doc_type='typeName', id='idValue')

#删除数据

delete:删除指定index、type、id的文档

es.delete(index='indexName', doc_type='typeName', id='idValue')

#条件删除

delete_by_query:删除满足条件的所有数据,查询条件必须符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 删除性别为女性的所有文档

query = {'query': {'range': {'age': {'lt': 11}}}}# 删除年龄小于11的所有文档

es.delete_by_query(index='indexName', body=query, doc_type='typeName')

#条件更新

update_by_query:更新满足条件的所有数据,写法同上删除和查询

#批量写入、删除、更新

doc = [
     {"index": {}},
     {'name': 'jackaaa', 'age': 2000, 'sex': 'female', 'address': u'北京'},
     {"index": {}},
     {'name': 'jackbbb', 'age': 3000, 'sex': 'male', 'address': u'上海'},
     {"index": {}},
     {'name': 'jackccc', 'age': 4000, 'sex': 'female', 'address': u'广州'},
     {"index": {}},
     {'name': 'jackddd', 'age': 1000, 'sex': 'male', 'address': u'深圳'},
 ]
 doc = [
    {'index': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'name': 'jack', 'sex': 'male', 'age': 10 }
    {'delete': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {"create": {'_index' : 'indexName', "_type" : 'typeName', '_id': 'idValue'}}
    {'name': 'lucy', 'sex': 'female', 'age': 20 }
    {'update': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'doc': {'age': '100'}}
 ]
 es.bulk(index='indexName',  doc_type='typeName', body=doc)
 
 #批量更新也可以采用如下的方式进行json拼装,最后写入
 for line in list:
            action = {
                "_index": self.index_name,
                "_type": self.index_type,
                "_id": i, #_id 也可以默认生成,不赋值
                "_source": {
                    "date": line['date'],
                    "source": line['source'].decode('utf8'),
                    "link": line['link'],
                    "keyword": line['keyword'].decode('utf8'),
                    "title": line['title'].decode('utf8')}
            }
            i += 1
            ACTIONS.append(action)
success, _ = bulk(self.es, ACTIONS, index=self.index_name, raise_on_error=True)

查询所有数据

es.search(index="my_index",doc_type="test_type")


# 或者
body = {
    "query":{
        "match_all":{}
    }
}
es.search(index="my_index",doc_type="test_type",body=body)

#term与terms

term
body = {
    "query":{
        "term":{
            "name":"python"
        }
    }
}
# 查询name="python"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

terms

body = {
    "query":{
        "terms":{
            "name":[
                "python","android"
            ]
        }
    }
}
# 搜索出name="python"或name="android"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#match与multi_match

# match:匹配name包含python关键字的数据
body = {
    "query":{
        "match":{
            "name":"python"
        }
    }
}
# 查询name包含python关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)

# multi_match:在name和addr里匹配包含深圳关键字的数据
body = {
    "query":{
        "multi_match":{
            "query":"深圳",
            "fields":["name","addr"]
        }
    }
}
# 查询name和addr包含"深圳"关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)

#ids

body = {
    "query":{
        "ids":{
            "type":"test_type",
            "values":[
                "1","2"
            ]
        }
    }
}
# 搜索出id为1或2d的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#复合查询bool
bool有3类查询关系,must(都满足),should(其中一个满足),must_not(都不满足)

body = {
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "name":"python"
                    }
                },
                {
                    "term":{
                        "age":18
                    }
                }
            ]
        }
    }
}
# 获取name="python"并且age=18的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#切片式查询

body = {
    "query":{
        "match_all":{}
    }
    "from":2    # 从第二条数据开始
    "size":4    # 获取4条数据
}
# 从第2条数据开始,获取4条数据
es.search(index="my_index",doc_type="test_type",body=body)

#范围查询

body = {
    "query":{
        "range":{
            "age":{
                "gte":18,       # >=18
                "lte":30        # <=30
            }
        }
    }
}
# 查询18<=age<=30的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#前缀查询

body = {
    "query":{
        "prefix":{
            "name":"p"
        }
    }
}
# 查询前缀为"赵"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#通配符查询

body = {
    "query":{
        "wildcard":{
            "name":"*id"
        }
    }
}
# 查询name以id为后缀的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

#排序

body = {
    "query":{
        "match_all":{}
    }
    "sort":{
        "age":{                 # 根据age字段升序排序
            "order":"asc"       # asc升序,desc降序
        }
    }
}

#filter_path
响应过滤

# 只需要获取_id数据,多个条件用逗号隔开
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._id"])

# 获取所有数据
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._*"])

#count
执行查询并获取该查询的匹配数

# 获取数据量
es.count(index="my_index",doc_type="test_type")

#度量类聚合
获取最小值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "min_age":{                 # 最小值的key
            "min":{                 # 最小
                "field":"age"       # 查询"age"的最小值
            }
        }
    }
}
# 搜索所有数据,并获取age最小的值
es.search(index="my_index",doc_type="test_type",body=body)

获取最大值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "max_age":{                 # 最大值的key
            "max":{                 # 最大
                "field":"age"       # 查询"age"的最大值
            }
        }
    }
}
# 搜索所有数据,并获取age最大的值
es.search(index="my_index",doc_type="test_type",body=body)

获取和

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "sum_age":{                 # 和的key
            "sum":{                 # 和
                "field":"age"       # 获取所有age的和
            }
        }
    }
}
# 搜索所有数据,并获取所有age的和
es.search(index="my_index",doc_type="test_type",body=body)

获取平均值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "avg_age":{                 # 平均值的key
            "sum":{                 # 平均值
                "field":"age"       # 获取所有age的平均值
            }
        }
    }
}
# 搜索所有数据,获取所有age的平均值
es.search(index="my_index",doc_type="test_type",body=body)

更多的搜索用法:
https://elasticsearch-py.readthedocs.io/en/master/api.html

Python-ElasticSearch

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

python elasticsearch

环境 : pyhton3加载模块from elasticsearch import Elasticsearch连接ESes = Elasticsearch(["172.30.6.12"])查询res = es.search(index="t
2023-01-31

Python-ElasticSearch

Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的,不论开源还是私有的,拥有最先进,高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只
2023-01-31

Python Elasticsearch api

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。下面介绍了利用Python API接口进行数据查询,方便其他系统的调用。安装APIpip3instal
2023-01-31

python MySQL 插入Elasticsearch

注意: 本环境使用 elasticsearch 7.0版本开发,切勿低于此版本mysql 表结构有一张表,记录的数据特别的多,需要将7天前的记录,插入到Elasticsearch中,并删除原有表7天前的记录。表结构如下:CREATETABL
2023-01-31

Python中Elasticsearch DSL怎么使用

这篇文章主要介绍了Python中Elasticsearch DSL怎么使用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python主要应用领域有哪些1、云计算,典型应用Op
2023-06-14

Elasticsearch与Python的对接实现

这篇文章主要讲解了“Elasticsearch与Python的对接实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Elasticsearch与Python的对接实现”吧!什么是 Elast
2023-06-04

python中elasticsearch的作用是什么

python中elasticsearch的作用是什么?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。python主要应用领域有哪些1、云计算,典型应用OpenSt
2023-06-14

Python如何解析ElasticSearch的查询结果?(通过Python如何处理和解析ElasticSearch的查询响应?)

使用Python解析Elasticsearch查询结果的指南:解析JSON响应:使用json模块解析JSON格式的结果。提取相关字段:通过访问嵌套字典和列表提取文档ID和来源。处理嵌套数据结构:使用collections模块处理数组字段和嵌套对象。高级解析:利用XPath、正则表达式或第三方库进行更复杂的数据提取。最佳实践:避免eval()函数,使用json模块,考虑第三方库,优化代码以有效处理大量响应。
Python如何解析ElasticSearch的查询结果?(通过Python如何处理和解析ElasticSearch的查询响应?)
2024-04-02

Docker怎么部署ElasticSearch和ElasticSearch-Head

今天小编给大家分享一下Docker怎么部署ElasticSearch和ElasticSearch-Head的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获
2023-06-05

ElasticSearch - 遐想

众所周知,ElasticSearch 存在一个问题,无法查询最近 1s 的写入。近实时这个属性,限制了其在某些场景的应用。本文记录了我在日常工作中想到的,解决特定场景的一些方案。既然是记录,便会有好有坏,仅供大家参考。预设上下文一个书籍(book)索引(ind
2019-08-01

ElasticSearch的滚动更新在Python中如何实现?(Python环境下,ElasticSearch滚动更新的实现步骤?)

Elasticsearch滚动更新允许在不中断服务的情况下更新集群。在Python中实现滚动更新的步骤包括:初始化Elasticsearch客户端。创建索引模板,定义新索引的设置和映射。创建新索引,使用模板中的设置和映射。重新索引数据,将数据从旧索引转移到新索引。交换别名,使应用程序使用新索引。删除旧索引。重复步骤3-6更新其他索引分片。注意:在重新索引期间,确保源索引和目标索引的映射兼容,并监控滚动更新过程,以确保顺利进行。
ElasticSearch的滚动更新在Python中如何实现?(Python环境下,ElasticSearch滚动更新的实现步骤?)
2024-04-02

ElasticSearch的映射在Python中如何定义和使用?(Python环境下,如何定义和管理ElasticSearch的映射?)

本指南详细介绍了如何在Python中定义和使用ElasticSearch映射。映射定义了索引中每个字段的类型和属性。使用mapping字典和put_mapping方法可以创建映射。使用bulk方法可索引文档,然后使用搜索查询根据映射的字段进行搜索。管理映射包括获取、更新和删除映射。最佳实践包括考虑数据类型、添加属性、使用嵌套类型、更新映射和利用工具。
ElasticSearch的映射在Python中如何定义和使用?(Python环境下,如何定义和管理ElasticSearch的映射?)
2024-04-02

ElasticSearch的分布式特性在Python中如何应用?(Python环境下,如何利用ElasticSearch的分布式特性?)

如何利用ElasticSearch的分布式特性(Python环境)ElasticSearch的分布式特性可提升搜索性能和可靠性。在Python中,利用这些特性可以提高应用程序的伸缩性和可用性。主要特性包括:分片和副本:将索引拆分为分片,副本提供冗余。集群管理:添加/删除节点、重新平衡分片。高可用性:副本和故障转移机制确保持续可用性。伸缩性:通过添加/删除节点动态调整集群大小。其他特性:SQL联邦查询:从多个索引/集群查询数据。分布式聚合:获取全局洞察力。地理位置搜索:支持基于地理位置的搜索和聚合。跨集群复
ElasticSearch的分布式特性在Python中如何应用?(Python环境下,如何利用ElasticSearch的分布式特性?)
2024-04-02

Elasticsearch简介

疫情已经持续了好几个月了,作为程序员滴我们也帮不上什么忙,只有老老实实呆在家里或者出门一定戴口罩准守一些规则,不给国家添乱。不过最近疫情开始有所扭转,但是还是对国家经济,对企业业务造成了很大的影响,我也被停止了实习。接下来,可能会面临着失业,破产等等严肃的问题
Elasticsearch简介
2014-08-14

SpringBoot集成 ElasticSearch

Spring Boot 集成 ElasticSearch 对于ElasticSearch比较陌生的小伙伴可以先看看ElasticSearch的概述ElasticSearch安装、启动、操作及概念简介 好的开始啦~ 1、基础操作 1.1、导入
2023-08-18

Elasticsearch压测 - Ra

这篇文章详细描述了安装Rally。1.1.   前置条件在安装Rally之前请确保以下包已经安装成功Python3.4+ (验证python3 --version应该打印 Python 3.4.0或以上)   pip3(验证pip3 --v
2023-01-31

ElasticSearch的高可用性在Python中如何保障?(在Python环境下,如何确保ElasticSearch的高可用性?)

在Python中实现Elasticsearch高可用性需要多方面措施:分布式部署:将Elasticsearch节点分散在不同物理机器和地理位置。主从复制:配置主节点和副本节点,在主节点故障时故障转移。客户端配置:使用Python客户端库连接到多个节点并处理故障。监控和故障转移:集成监控工具和设置自动故障转移机制。其他注意事项:安全配置、备份和恢复,以及测试和演练。遵循这些最佳实践可以最小化停机时间,提高应用程序的稳定性和可靠性。
ElasticSearch的高可用性在Python中如何保障?(在Python环境下,如何确保ElasticSearch的高可用性?)
2024-04-02

Python中如何对ElasticSearch的索引进行优化?(在Python环境下,如何对ElasticSearch索引进行性能调优?)

Elasticsearch索引优化指南:优化文档结构:创建规范化模式,使用嵌套文档,启用分词器。选择合适的字段类型:为文本字段选择分词器,避免动态字段。调整索引和映射设置:调整分片数量,禁用不必要的分析。优化查询:使用过滤器,利用过滤器缓存,适当使用聚合。硬件和集群管理:提供足够的内存,监控和调整资源分配。其他技巧:预热索引,批量索引,调整刷新间隔。
Python中如何对ElasticSearch的索引进行优化?(在Python环境下,如何对ElasticSearch索引进行性能调优?)
2024-04-02

如何使用Python删除ElasticSearch中的指定数据?(Python中如何实现对ElasticSearch中特定数据的删除?)

本文详细介绍了如何使用Python删除ElasticSearch中的特定数据。文章提供了三种方法:delete()方法:直接删除指定文档。delete_by_query()方法:使用查询条件删除匹配的文档。scroll()方法:获取文档迭代器,逐个删除它们。文章还强调了最佳实践、注意事项和代码示例,供读者参考。
如何使用Python删除ElasticSearch中的指定数据?(Python中如何实现对ElasticSearch中特定数据的删除?)
2024-04-02

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录