360私有云平台Elasticsearch服务初探-程序员宅基地
Elasticsearch
Elasticsearch 是一款基于Apache Lucene框架构建的开源的、分布式的、可扩展的、（准）实时的文档存储和搜索引擎。在提供搜索服务以及日志分析方面已经日趋成熟，尤其是在Elasticsearch 5.x发布之后，在规范性、功能、性能等方面都有了极大的改进，并且进入了迅速迭代的过程，版本发布之快令人乍舌。
360Hulk云平台，作为业界首屈一指的私有云平台，绝不甘落寞，也在Elasticsearch上做了很多尝试，推出了面向搜索的Elasticsearch服务和面向日志分析的ELK服务。目前已经在公司内部大范围应用，承载数据量200+TB，日访问量超1000亿次。今天小编就为大家带来Elasticsearch在360私有云平台的实践。
Elasticsearch服务架构
Master节点独立
因为master承担着集群元数据管理的职责，例如indices、sharding等信息的维护，如果master节点和data节点混用的话，master相关功能的性能没法保证，而且一旦发生故障，集群恢复时间将被大大拉长。因此我们的Elasticsearch集群采用3个独立的master方案（有且只有唯一的一个节点真正承担着master的角色），一方面保证master相关功能的稳定，另一方面通过配置discovery.zen.minimum_master_nodes: 2降低了master选举时出现脑裂的几率。
负载均衡
我们使用data节点承接访问，但是为了业务使用的便捷性，集群使用了LVS将请求均衡的分担到各个data节点；同时提供了RS的动态监测机制，当data节点失联的时候，LVS会自动过滤掉该节点的请求。
业务独享集群
结合360业务的特点，为了尽量适配不同业务的需求场景，同时尽量降低各个业务线之间的相互影响，每个业务线可以申请自己独享的集群。同时，这种方案还大大降低了Elasticsearch集群不可用（当然这种情况出现几率极低，但不能保证不发生）的时候影响业务的范围。
用户认证和权限隔离
集群集成了SearchGuard（不要问我为啥不用X-Pack，因为穷，且懒），实现了用户认证和访问权限控制，做到了集群内部更细粒度的隔离，实现了各个子业务线内部应用之间的访问隔离。
分词支持
集群默认集成了ik分词（小编在这给各位看官一点提示：因为Elasticsearch 5.x之后关闭了Site Plugins的支持，所以需要自己编译然后拷贝相应文件到Elasticsearch Plugin目录），并且支持扩展分词词典和stopword扩展词典的动态更新。
用户端功能
基于Hulk私有云平台的自助功能
集群申请
状态查看
常用性能监控图表
indices展示
权限申请等自助服务
新建集群
提供多种类型配置的套餐
提供多种类型配置的套餐可供业务选择，兼顾空间、成本和性能的考量。
界面化展示
默认提供配置好的Kibana服务，用户可以开箱即用，不用自己搭建和维护。
管理员功能
基于Hulk私有云平台的管理功能
群集的配置
集群初始化
节点启停管理
资源回收等功能
Zabbix监控
基于FromDual框架的自定义监控指标，全面监控集群运行状态，及时告警；并且实现了简单场景的故障自动恢复（例如由节点存活报警自动触发的进程自启动等）
WebAdmin管理功能扩展
Elasticsearch 5.x之后关闭了对Site Plugins的支持，直接导致了诸如head、kopf等一批插件死翘翘。不过作者对kopf功能进行了彻底的重构（using Scala, Play Framework, AngularJS and Bootstrap），推出和Elasticsearch完全解耦的Cerebro，不仅外观看起来更加高大上，支持独立部署，而且在易用性以及对Elasticsearch更高版本特性的支持上都有了很大提升。
总结
怎么样，看了上面的介绍，各位看官是不是都想跃跃欲试了呢。欢迎大家积极留言探讨。
我们后续也会持续推出Elasticsearch服务在360私有云平台实践过程中的诸多技术点来跟大家分享，敬请期待吧。
扩展阅读：
智能推荐
while循环&CPU占用率高问题深入分析与解决方案_main函数使用while(1)循环cpu占用99-程序员宅基地
文章浏览阅读3.8k次，点赞9次，收藏28次。直接上一个工作中碰到的问题，另外一个系统开启多线程调用我这边的接口，然后我这边会开启多线程批量查询第三方接口并且返回给调用方。使用的是两三年前别人遗留下来的方法，放到线上后发现确实是可以正常取到结果，但是一旦调用，CPU占用就直接100%(部署环境是win server服务器)。因此查看了下相关的老代码并使用JProfiler查看发现是在某个while循环的时候有问题。具体项目代码就不贴了，类似于下面这段代码。while(flag) {//your code;}这里的flag._main函数使用while(1)循环cpu占用99
【无标题】jetbrains idea shift f6不生效_idea shift +f6快捷键不生效-程序员宅基地
文章浏览阅读347次。idea shift f6 快捷键无效_idea shift +f6快捷键不生效
node.js学习笔记之Node中的核心模块_node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是-程序员宅基地
文章浏览阅读135次。Ecmacript 中没有DOM 和 BOM核心模块Node为JavaScript提供了很多服务器级别，这些API绝大多数都被包装到了一个具名和核心模块中了，例如文件操作的 fs 核心模块 ，http服务构建的http 模块 path 路径操作模块 os 操作系统信息模块// 用来获取机器信息的var os = require('os')// 用来操作路径的var path = require('path')// 获取当前机器的 CPU 信息console.log(os.cpus._node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是
数学建模【SPSS 下载-安装、方差分析与回归分析的SPSS实现(软件概述、方差分析、回归分析)】_化工数学模型数据回归软件-程序员宅基地
文章浏览阅读10w+次，点赞435次，收藏3.4k次。SPSS 22 下载安装过程7.6 方差分析与回归分析的SPSS实现7.6.1 SPSS软件概述1 SPSS版本与安装2 SPSS界面3 SPSS特点4 SPSS数据7.6.2 SPSS与方差分析1 单因素方差分析2 双因素方差分析7.6.3 SPSS与回归分析SPSS回归分析过程牙膏价格问题的回归分析_化工数学模型数据回归软件
利用hutool实现邮件发送功能_hutool发送邮件-程序员宅基地
文章浏览阅读7.5k次。如何利用hutool工具包实现邮件发送功能呢？1、首先引入hutool依赖<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.7.19</version></dependency>2、编写邮件发送工具类package com.pc.c..._hutool发送邮件
docker安装elasticsearch，elasticsearch-head，kibana，ik分词器_docker安装kibana连接elasticsearch并且elasticsearch有密码-程序员宅基地
文章浏览阅读867次，点赞2次，收藏2次。docker安装elasticsearch，elasticsearch-head，kibana，ik分词器安装方式基本有两种，一种是pull的方式，一种是Dockerfile的方式，由于pull的方式pull下来后还需配置许多东西且不便于复用，个人比较喜欢使用Dockerfile的方式所有docker支持的镜像基本都在https://hub.docker.com/docker的官网上能找到合..._docker安装kibana连接elasticsearch并且elasticsearch有密码
随便推点
Python 攻克移动开发失败！_beeware-程序员宅基地
文章浏览阅读1.3w次，点赞57次，收藏92次。整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）近年来，随着机器学习的兴起，有一门编程语言逐渐变得火热——Python。得益于其针对机器学习提供了大量开源框架和第三方模块，内置..._beeware
Swift4.0_Timer 的基本使用_swift timer 暂停-程序员宅基地
文章浏览阅读7.9k次。//// ViewController.swift// Day_10_Timer//// Created by dongqiangfei on 2018/10/15.// Copyright 2018年 飞飞. All rights reserved.//import UIKitclass ViewController: UIViewController { ..._swift timer 暂停
元素三大等待-程序员宅基地
文章浏览阅读986次，点赞2次，收藏2次。1.硬性等待让当前线程暂停执行，应用场景：代码执行速度太快了，但是UI元素没有立马加载出来，造成两者不同步，这时候就可以让代码等待一下，再去执行找元素的动作线程休眠，强制等待 Thread.sleep(long mills)package com.example.demo;import org.junit.jupiter.api.Test;import org.openqa.selenium.By;import org.openqa.selenium.firefox.Firefox.._元素三大等待
Java软件工程师职位分析_java岗位分析-程序员宅基地
文章浏览阅读3k次，点赞4次，收藏14次。Java软件工程师职位分析_java岗位分析
Java：Unreachable code的解决方法_java unreachable code-程序员宅基地
文章浏览阅读2k次。Java：Unreachable code的解决方法_java unreachable code
标签data-*自定义属性值和根据data属性值查找对应标签_如何根据data-*属性获取对应的标签对象-程序员宅基地
文章浏览阅读1w次。1、html中设置标签data-*的值 标题 11111 222222、点击获取当前标签的data-url的值$('dd').on('click', function() { var urlVal = $(this).data('ur_如何根据data-*属性获取对应的标签对象