影音體驗是真的強 簡單聊聊iQOO Pad
大公司的好處就是產(chǎn)品線豐富，非常細分化的東西也能給你做出來，例如早先我們看到了新的vivo Pad2，之后我們又在iQOO Neo8 Pro的發(fā)布會上看到了iQOO的首款平板產(chǎn)品iQOO Pad。雖
Elasticsearch作為一個分布式搜索引擎，自身是高可用的；但也架不住一些特殊情況的發(fā)生，如：
集群超過半數(shù)的master節(jié)點丟失，ES的節(jié)點無法形成一個集群，進而導(dǎo)致集群不可用；
索引shard的文件損壞，分片無法被正常恢復(fù)，進而導(dǎo)致索引無法正常提供服務(wù)
本地盤節(jié)點，多數(shù)據(jù)節(jié)點故障，舊節(jié)點無法再次加入集群，數(shù)據(jù)丟失
針對上述的情況，今天來聊一聊相關(guān)的解決方案。
在聊解決方案之前，首先來看一看ES集群層面的基本知識，es的集群組成通常如圖1-1所示
圖 1-1 es常用集群架構(gòu)
如圖1-1所示，為生產(chǎn)環(huán)境es集群的經(jīng)典架構(gòu)，主要由專有主節(jié)點、專有協(xié)調(diào)節(jié)點和數(shù)據(jù)節(jié)點組成：
如果沒有顯示設(shè)置節(jié)點角色，es的每個節(jié)點都會含有以上三種角色。除此之后還有Remote-eligible node 、ml-node和Transform nodes等角色需要顯示的配置，節(jié)點才會有該角色。
集群完全啟動主要包含選舉主節(jié)點、元信息、主分片、數(shù)據(jù)恢復(fù)等重要階段；如圖2-1所示[1]。
圖 2-1 es集群啟動流程
主節(jié)點選舉的過程，不是本文的重點，而是集群元信息的選舉。被選舉出的master和集群元信息新舊程度沒有關(guān)系；master節(jié)點被選舉出來之后，它所要完成的第一個任務(wù)，即是選舉集群元信息。
（1）Master選舉成功之后，判斷其持有的集群狀態(tài)中是否存在STATE_NOT_RECOVERED_BLOCK，如果不存在，則說明元數(shù)據(jù)已經(jīng)恢復(fù)，跳過gateway恢復(fù)過程，否則等待。org.elasticsearch.gateway.GatewayService#clusterChanged
//跳過元數(shù)據(jù)恢復(fù)if (state.blocks().hasGlobalBlock(STATE_NOT_RECOVERED_BLOCK) == false) { // already recovered return; } //此處省略部分代碼。 //進入gateway恢復(fù)過程 performStateRecovery(enforceRecoverAfterTime, reason);
（2）Master從各個節(jié)點主動獲取元數(shù)據(jù)信息。org.elasticsearch.gateway.Gateway#performStateRecovery
# 獲取元信息核心代碼 final String[] nodesIds = clusterService.state().nodes().getMasterNodes().keys().toArray(String.class); logger.trace("performing state recovery from {}", Arrays.toString(nodesIds)); final TransportNodesListGatewayMetaState.NodesGatewayMetaState nodesState = listGatewayMetaState.list(nodesIds, null).actionGet();
（3）從獲取的元數(shù)據(jù)信息中選擇版本號最大的作為最新元數(shù)據(jù);元信息包括集群級、索引級。
## org.elasticsearch.gateway.Gateway#performStateRecovery public void performStateRecovery(final GatewayStateRecoveredListener listener) throws GatewayException {# 省略若干行代碼## 進入allocation階段；## final Gateway.GatewayStateRecoveredListener recoveryListener = new GatewayRecoveryListener();## listener為 GatewayStateRecoveredListener listener.onSuccess(builder.build()); }
（4）兩者確定之后，調(diào)用allocation模塊的reroute，對未分配 的分片執(zhí)行分配，主分片分配過程中會異步獲取各個shard級別元數(shù)據(jù)。
#主要實現(xiàn)方法為如下方法 #org.elasticsearch.gateway.GatewayService.GatewayRecoveryListener#onSuccess## 主要工作是構(gòu)建集群狀態(tài)（ClusterState），其中的內(nèi)容路由表 依賴allocation模塊協(xié)助完成，調(diào)用 allocationService.reroute 進 入下一階段：異步執(zhí)行分片層元數(shù)據(jù)的恢復(fù)，以及分片分配。updateTask線程結(jié)束.
ES中存儲的數(shù)據(jù)：（1）state元數(shù)據(jù)信息；（2）index Lucene生成的索引文件；（3）translog事務(wù)日志。元數(shù)據(jù)信息：
上述信息被持久化到磁盤：持久化的state不包括某個分片存在于哪個節(jié)點這種內(nèi)容路由信息，集群完全重啟時，依靠gateway的recovery過程重建RoutingTable和RoutingNode。當讀取某個文檔時， 根據(jù)路由算法確定目的分片后，再從RoutingTable中查找分片位于哪個節(jié)點，然后將請求轉(zhuǎn)發(fā)到目的節(jié)點[1]。
?? 注意：在es7.0.0之后es的元信息存儲方式發(fā)生變化；es7.0.0之后元信息存儲改使用lucene的方式存儲，見pr50928 Move metadata storage to Lucene)
7.10.2 專有主節(jié)點，集群元數(shù)據(jù)
./|-- _state| |-- _39h.cfe| |-- _39h.cfs| |-- _39h.si| |-- node-0.st| |-- segments_50d| `-- write.lock`-- node.lock
6.8.13 專有主節(jié)點，集群元數(shù)據(jù)
./|-- _state| |-- global-230.st| `-- node-2.st|-- indices| |-- -hiy4JnoRfqUJHTJoNUt4Q| | `-- _state| | `-- state-4.st| `-- ylJKVlqISGOi8EkpxHE_2A| `-- _state| `-- state-6.st`-- node.lock
?? 注意本文所述的master節(jié)點個數(shù)，假設(shè)前提均為3個
master節(jié)點是控制整個集群；當該種節(jié)點角色丟失過半，由于集群中投票節(jié)點永遠不可能達到quorum無法選主，將無法維持es節(jié)點形成一個集群；雖然集群無法形成一個集群，但所仍幸master-eligible節(jié)點存活,我們可以使用如下手段進行處理。
discovery.zen.minimum_master_nodes: 1discovery.zen.ping.unicast.hosts:- masters-0
在es7.0.0版本之后,由于es修改集群的啟動配置,新增配置discovery.seed_hosts 和cluster.initial_master_nodes；es集群第一次啟動時稱為bootstrap，該過程將配置文件中的cluster.initial_master_node作為初始的投票節(jié)點Voting configurations，投票節(jié)點具有選舉master和commit cluster state的權(quán)利，超過半數(shù)以上同意即投票成功。如果在集群健康的場景下，我們需要下線超過半數(shù)的master-eligible；則必須首先使用投票配置排除API從投票配置中排除受影響的節(jié)點。
POST _cluster/voting_config_exclusions?node_names={node_names}POST _cluster/voting_config_exclusions?node_ids={node_ids}DELETE _cluster/voting_config_exclusions
但是如果丟失的master節(jié)點超過半數(shù)，則可以使用新的集群處理工具elasticsearch-node unsafe-bootstrap pr37696 和elasticsearch-node detach-cluster pr37979
面對丟失半數(shù)master-eligible，es7.0.0（包含）版本之后的處理步驟如下：1 使用bin/elasticsearch-node unsafe-bootstrap命令讓唯一主節(jié)點以不安全的方式改寫投票節(jié)點，就像重新進行bootstrap一樣，自己使用持久化的cluster state形成一個新集群2 其他數(shù)據(jù)節(jié)點無法加入新集群因為UUID不同(es使用UUID作為節(jié)點和集群的唯一表示，每個節(jié)點都會持久化當前集群的UUID)，使用bin/elasticsearch-node detach-cluster命令讓節(jié)點離開之前的集群3 啟動數(shù)據(jù)節(jié)點和新的master-eligible節(jié)點(如下補充兩個新的master-eligible)，他會加入新集群中
cluster.initial_master_nodes:- {master-0}- {new-master-1}- {new-master-2}discovery.seed_hosts:- {master-ip-0}- {new-master-ip-1}- {new-master-ip-2}
1 關(guān)閉 security 功能(如果開啟了, 最好先關(guān)閉security插件功能)：
1.1 因為新啟動的master節(jié)點, 沒有數(shù)據(jù)節(jié)點(如果只配置了一個master的角色), security插件的初始化無法完成, 各類接口不好調(diào)用
1.2 如果給新啟動的master節(jié)點, 配置了master and data角色, 則security插件會初始化成功. 會插入index, 但是這個index會和原來的data節(jié)點上保存的沖突. 不知道怎么解.elastic官方xpack-security;關(guān)閉鑒權(quán)：xpack.security.enabled:false2 啟動足夠的新master-eligible節(jié)點形成一個新集群.
discovery.zen.minimum_master_nodes: 2discovery.zen.ping.unicast.hosts:- {new-masters-1}- {new-masters-2}- {new-masters-3}
3 修改數(shù)據(jù)節(jié)點的為新master的地址,并且刪除掉節(jié)點上的_state(因為新集群的cluster UUID不一致)，同上
4 啟動數(shù)據(jù)節(jié)點，數(shù)據(jù)被恢復(fù)加入到集群
已經(jīng)沒有cluster state了，唯一的希望是數(shù)據(jù)節(jié)點上的index數(shù)據(jù)；恢復(fù)方式借助elasticsearch-node 工具
1 關(guān)閉security功能(如果開啟了, 最好先關(guān)閉security插件功能),原因同上
2 啟動足夠的新master-eligible節(jié)點形成一個新集群
cluster.initial_master_nodes:- {new-master-0}- {new-master-1}- {new-master-2}discovery.seed_hosts:- {new-master-ip-0}- {new-master-ip-1}- {new-master-ip-2}
3 bin/elasticsearch-node detach-cluster命令讓數(shù)據(jù)節(jié)點離開之前的集群
./bin/elasticsearch-node detach-cluster------------------------------------------------------------------------ WARNING: Elasticsearch MUST be stopped before running this tool.------------------------------------------------------------------------You should only run this tool if you have permanently lost all of themaster-eligible nodes in this cluster and you cannot restore the clusterfrom a snapshot, or you have already unsafely bootstrapped a new clusterby running `elasticsearch-node unsafe-bootstrap` on a master-eligiblenode that belonged to the same cluster as this node. This tool can causearbitrary data loss and its use should be your last resort.Do you want to proceed?Confirm [y/N] yNode was successfully detached from the cluster
4 查詢dangling索引,GET /_dangling, 改api 引入es7.9版本于 pr581765 啟動數(shù)據(jù)節(jié)點并使用Import dangling indexAPI將index數(shù)據(jù)import到cluster state中(官方推薦，es7.9版本之后). 或者 配置gateway.auto_import_dangling_indices: true引入于es7.6版本pr49174（es7.6.0-7.9.0可用該配置，在7.6版本之前不需要配置默認加載dangling索引）并啟動數(shù)據(jù)節(jié)點
POST /_dangling/{index-uuid}?accept_data_loss=true
6 導(dǎo)入完成之后，索引recovery之后即可進行讀寫
注意
Q1: 為什么7.6.0之后需要配置,才能處理懸空索引（dangling index）才能讓數(shù)據(jù)加入新集群，7.6.0之后沒有懸空索引嗎？A1: 其實也是有的，只不過在es2版本將配置移除（對應(yīng)pr10016）,默認自動加載dangling index（es2.0-es7.6）; 具體實現(xiàn)于org.elasticsearch.gateway.DanglingIndicesState#processDanglingIndices es7.6再次引入dangling配置，es7.9引入dangling index rest api
Q2: 什么是 dangling 索引？A2: 當一個節(jié)點加入集群時，如果發(fā)現(xiàn)存儲在其本地數(shù)據(jù)目錄中的任何分片（shard）不存在于集群中，將認為這些分片屬于“懸空”索引。懸空索引產(chǎn)生的場景（1）在 Elasticsearch 節(jié)點離線時刪除了多個cluster.indices.tombstones.size 索引，節(jié)點再次加入集群集群 （2）master節(jié)點丟失，數(shù)據(jù)節(jié)點重新加入新的集群等
數(shù)據(jù)節(jié)點災(zāi)難故障之后，無法恢復(fù)加入集群；可將數(shù)據(jù)物理復(fù)制到新的節(jié)點，然后按照master節(jié)點丟失的方式，將數(shù)據(jù)節(jié)點加入集群即可。
查看索引分片為什么無法分配，POST_cluster/allocation/explain
如果分片數(shù)據(jù)正常，那么我們可以嘗試重試分配分片任務(wù);POST _cluster/reroute?retry_failed
獲取索引的shard在那些節(jié)點上，使用_shard_stores api
GET indexName1/_shard_stores使用cluster reroute重新分配
# 嘗試分配副本 POST /_cluster/reroute{ "commands": [ { "allocate_replica": { "index": "{indexName1}", "shard": {shardId}, "node": "{nodes-9}" } } ]}
如果是主分片無法分配，可以嘗試如下命令進行分配
POST /_cluster/reroute{ "commands": [ { "allocate_stale_primary": { "index": "{indexName1}", "shard": {shardId}, "node": {nodes-9}, "accept_data_loss": true } } ]}
如果主分片確實是無法分配，只能選擇丟失該分片的數(shù)據(jù)，分配一個空的主分片
POST /_cluster/reroute{ "commands": [ { "allocate_empty_primary": { "index": "{indexName1}", "shard": {shardId}, "node": "{nodes-9}", "accept_data_loss": true } } ]}es5.0版本之前參考;https://www.elastic.co/guide/en/elasticsearch/reference/2.4/cluster-reroute.html
錯誤參考Corrupted elastic index
shard-tool es6.5版本引入，該操作需要stop節(jié)點elasticsearch-shard 工具es6.5版本引入 pr33848elasticsearch-shard remove-corrupted-data 的 es7.0.0引入 pr32281
bin/elasticsearch-shard remove-corrupted-data --index {indexName} --shard-id {shardId}## 示列：修復(fù)索引twitter的0號分片bin/elasticsearch-shard remove-corrupted-data --index twitter --shard-id 0## 如果--index和--shard-id換成索引分片目錄參數(shù)--dir，則直接修復(fù)data和translogbin/elasticsearch-shard remove-corrupted-data --dir /var/lib/elasticsearchdata/nodes/0/indices/P45vf_YQRhqjfwLMUvSqDw/0
修復(fù)完成之后，啟動節(jié)點，如果分片不能夠自動分配,使用reroute命令進行shard分片
POST /_cluster/reroute{ "commands":[ { "allocate_stale_primary":{ "index":"index42", "shard":0, "node":"node-1", "accept_data_loss":false } } ]}
5版本之前可以通過索引級別配置，進行修復(fù)index.shard.check_on_startup: fix ，該配置在es6.5版本移除 pr32279
修復(fù)translog操作，需要stop節(jié)點。
修復(fù)工具 elasticsearch-translog es5.0.0 引入pr19342elasticsearch-shard remove-corrupted-data translog的 es7.4.1開始引入，pr47866elasticsearch-shard 可以直接清除translog，也可以像上文中指定--dir那樣進行修復(fù)translog
bin/elasticsearch-shard remove-corrupted-data --index --shard-id --truncate-clean-translog## 示列：修復(fù)索引twitter的0號分片bin/elasticsearch-shard remove-corrupted-data --index twitter --shard-id 0 --truncate-clean-translog
清除完成之后使用cluster reroute 進行恢復(fù)
5版本之前可以通過索引級別配置，進行修復(fù)index.shard.check_on_startup: fix ，該配置在es6.5版本移除 pr32279
該種場景的文件損壞是最難修復(fù)的；官方還未提供工具，我們正在自己調(diào)研中
[1] elasticsearch集群啟動流程
[2]https://www.elastic.co/guide/en/elasticsearch/reference/7.9/dangling-indices-list.html
[3]https://www.elastic.co/guide/en/elasticsearch/reference/7.10/node-tool.html
本文鏈接：http://www.www897cc.com/showinfo-26-81719-0.htmlElasticSearch集群災(zāi)難：別放棄，也許能再搶救一下
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號