博客
关于我
elasticsearch的helpers.bulk和es_client.bulk的用法
阅读量:798 次
发布时间:2023-01-24

本文共 1257 字,大约阅读时间需要 4 分钟。

在Elasticsearch中批量删除日志数据,可以通过两种方式实现

from elasticsearch import Elasticsearch, helpers
import datetime
es_client = Elasticsearch(["127.0.0.1:9200"], timeout=20)
# 创建索引
es_client.indices.create(index='log_index', ignore=400)
# 准备待处理数据
body1 = {"func_info":"删除日志", "error_info":"id为空111", "write_date":datetime.datetime.now()}
body2 = {"func_info":"删除日志", "error_info":"id为空222", "write_date":datetime.datetime.now()}
# 结果数组
result = [
{'index': {'_index': 'log_index', '_type': 'log_index'}}, body1,
{'index': {'_index': 'log_index', '_type': 'log_index'}}, body2
]
# 批量插入数据
es_result = es_client.bulk(
index="log_index",
doc_type="log_index",
body=result
)
# 刷/index
es_client.indices.flush()

使用es_client.bulk方法可以在批量插入数据时无需预先创建索引,直接操作目标index

这种方法在处理大量数据时可以减少事务 scrollbar相关的冲突和性能问题

from elasticsearch import Elasticsearch
from elasticsearch import helpers
import datetime
es_client = Elasticsearch(["127.0.0.1:9200"], timeout=20)
# 创建索引
es_client.indices.create(index='d_kl', ignore=400)
# 准备单次操作
action = {
"_index": "d_kl",
"_type": "d_kl",
"_source": {
"data": "数据"
}
}
result = [action]
# 批量处理数据
helpers.bulk(es_client, result)
# 刷/index
es_client.indices.flush()

两种方法都能实现批量插入数据的目标,但在具体场景选择时需要考虑效率和可读性

转载地址:http://teeyk.baihongyu.com/

你可能感兴趣的文章
Nginx 的配置文件中的 keepalive 介绍
查看>>
Nginx 结合 consul 实现动态负载均衡
查看>>
Nginx 负载均衡与权重配置解析
查看>>
Nginx 负载均衡详解
查看>>
nginx 配置 单页面应用的解决方案
查看>>
nginx 配置https(一)—— 自签名证书
查看>>
nginx 配置~~~本身就是一个静态资源的服务器
查看>>
Nginx 配置清单(一篇够用)
查看>>
Nginx 配置解析:从基础到高级应用指南
查看>>
nginx+php的搭建
查看>>
nginx+tomcat+memcached
查看>>
nginx+Tomcat性能监控
查看>>
nginx+uwsgi+django
查看>>
Nginx-http-flv-module流媒体服务器搭建+模拟推流+flv.js在前端html和Vue中播放HTTP-FLV视频流
查看>>
Nginx下配置codeigniter框架方法
查看>>
Nginx之二:nginx.conf简单配置(参数详解)
查看>>
Nginx代理websocket配置(解决websocket异常断开连接tcp连接不断问题)
查看>>
Nginx代理初探
查看>>
Nginx代理外网映射
查看>>
Nginx代理模式下 log-format 获取客户端真实IP
查看>>