日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

近期,幾個典型 Elasticsearch 8.X 問題及方案探討

來源: 責編: 時間:2024-02-01 12:50:54 242觀看
導讀問題1:max_expansions 設置大了會報錯,什么原因?大佬們問個問題,我在使用match_phrase_prefix時候,設置了一個比較大的max_expansions,比如10000。這個時候會報錯:too_many_clauses: maxClauseCount is set to 1024。我搜了

問題1:max_expansions 設置大了會報錯,什么原因?

大佬們問個問題,我在使用match_phrase_prefix時候,設置了一個比較大的max_expansions,比如10000。Arq28資訊網——每日最新資訊28at.com

這個時候會報錯:too_many_clauses: maxClauseCount is set to 1024。我搜了下 maxClauseCount 這是控制搜索條件數量的,但我這只是改了個 max_expansions 就這樣了,這2者有什么聯系呀?Arq28資訊網——每日最新資訊28at.com

根本原因:

如果你設置了一個很高的值( 10000),Elasticsearch 會嘗試生成所有可能的匹配項,直到達到這個限制。Arq28資訊網——每日最新資訊28at.com

而進行 match_phrase_prefix 查詢時,每個可能的匹配項都會被視為一個子句。Arq28資訊網——每日最新資訊28at.com

如果生成的匹配項數量超過 maxClauseCount 的限制,就會出現 too_many_clauses 錯誤。Arq28資訊網——每日最新資訊28at.com

可行的解決方案:

選擇一個更合理的 max_expansions 值,以保持生成的查詢子句數量在 maxClauseCount 的限制范圍內。Arq28資訊網——每日最新資訊28at.com

問題2:集群數據遷移能不能直接拷貝文件?

各位大佬,同版本的es集群間數據遷移,假設兩個集群節點數相同,是不是可以通過直接拷貝數據文件來進行啊?Arq28資訊網——每日最新資訊28at.com

去年年底咱們就討論過:臘月27日凌晨的一個緊急 Elasticsearch 線上問題復盤Arq28資訊網——每日最新資訊28at.com

一句話,非必要不要直接拷貝文件。Arq28資訊網——每日最新資訊28at.com

官方文檔在集群備份部分有過強調如下:Arq28資訊網——每日最新資訊28at.com

you cannot back up an Elasticsearch cluster by making copies of the data directories of its nodes. There are no supported methods to restore any data from a filesystem-level backup. If you try to restore a cluster from such a backup, it may fail with reports of corruption or missing files or other data inconsistencies, or it may appear to have succeeded having silently lost some of your data.Arq28資訊網——每日最新資訊28at.com

中文釋義:Arq28資訊網——每日最新資訊28at.com

  • 你無法通過復制其節點的數據目錄來備份 Elasticsearch 集群。
  • 不支持從文件系統級備份恢復任何數據的方法。
  • 如果你嘗試從此類備份恢復集群,則可能會失敗,并報告損壞或丟失文件或其他數據不一致的情況,或者可能看似已成功,但悄無聲息地丟失了一些數據。

https://discuss.elastic.co/t/why-are-we-told-to-copy-the-data-folder-when-upgrading/168951Arq28資訊網——每日最新資訊28at.com

https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.htmlArq28資訊網——每日最新資訊28at.com

問題3:全局超時如何設置?

除了每個search可以配置自己的timeout,集群有沒有參數可以配置一個統一的timeout,針對所有search都生效額?Arq28資訊網——每日最新資訊28at.com

建議:看看這個參數: search.default_search_timeout。Arq28資訊網——每日最新資訊28at.com

To set a cluster-wide default timeout for all search requests, configure search.default_search_timeout using the cluster settings API. This global timeout duration is used if no timeout argument is passed in the request. If the global search timeout expires before the search request finishes, the request is cancelled using task cancellation. The search.default_search_timeout setting defaults to -1 (no timeout).Arq28資訊網——每日最新資訊28at.com

圖片Arq28資訊網——每日最新資訊28at.com

Arq28資訊網——每日最新資訊28at.com

集群層面設置解決方案如下:Arq28資訊網——每日最新資訊28at.com

Arq28資訊網——每日最新資訊28at.com

圖片圖片Arq28資訊網——每日最新資訊28at.com

PUT /_cluster/settings{  "persistent": {    "search.default_search_timeout": "30s"  }}

要為所有搜索請求設置集群范圍內的默認超時時間,可以使用集群設置 API 配置 search.default_search_timeout。Arq28資訊網——每日最新資訊28at.com

如果請求中沒有傳遞超時參數,則使用這個全局超時持續時間。Arq28資訊網——每日最新資訊28at.com

如果全局搜索超時在搜索請求完成之前到期,請求將通過任務取消被取消。Arq28資訊網——每日最新資訊28at.com

search.default_search_timeout 設置的默認值為 -1(無超時)。Arq28資訊網——每日最新資訊28at.com

https://www.elastic.co/guide/en/elasticsearch/reference/8.12/search-your-data.html#search-timeoutArq28資訊網——每日最新資訊28at.com

問題4:自定義ID如何自動設置為 MD5呢?

銘毅老師你好,想請問一下,往es索引里面插入文檔分為指定文檔id和自動生成文檔id,目前有一個需求在插入文檔的時候,將文檔的id值取插入的文檔中的一個字段。Arq28資訊網——每日最新資訊28at.com

比如我插入的是一個關于文件的相關信息的文檔,字段有md5值,大小,文件類型等等信息,此時我希望插入的這個文檔的ID是這個文件的md5值, 不太明白怎么設置這樣的關系,謝謝!Arq28資訊網——每日最新資訊28at.com

題目來源:https://t.zsxq.com/16mobA3PVArq28資訊網——每日最新資訊28at.com

實踐參考:

Elasticsearch “指紋”去重機制,你實踐中用到了嗎?Arq28資訊網——每日最新資訊28at.com

方案:

使用 fingerprint 預處理器,借助已有的多個字段構建 MD5值,然后將目標字段設置為 _id 即可。Arq28資訊網——每日最新資訊28at.com

圖片圖片Arq28資訊網——每日最新資訊28at.com

Arq28資訊網——每日最新資訊28at.com

PUT _ingest/pipeline/id-fingerprint{  "processors": [    {      "fingerprint": {        "fields": ["file_name", "file_size"],        "target_field": "_id",        "method": "MD5"      }    }  ]}DELETE test_01128PUT test_01128{  "settings": {    "default_pipeline": "id-fingerprint"  },  "mappings": {    "properties": {      "file_name": {        "type": "keyword"      },      "id-fingerprint": {        "type": "keyword"      }    }  }}POST test_01128/_bulk{"index":{}}{"file_name":"abc","file_size":"3kb"}{"index":{}}{"file_name":"bcd","file_size":"1kb"}{"index":{}}{"file_name":"abc","file_size":"3kb"}

小結

以上都是實戰環境遇到的典型問題,如果你也有類似問題,歡迎發出來,咱們一起討論解決!Arq28資訊網——每日最新資訊28at.com

Arq28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-70445-0.html近期,幾個典型 Elasticsearch 8.X 問題及方案探討

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 看圖聊算法:為什么排序算法還是不夠快?

下一篇: 前端性能優化 — 保姆級 Performance 工具使用指南

標簽:
  • 熱門焦點
  • K60 Pro官方停產 第三方瞬間漲價

    雖然沒有官方宣布,但Redmi的一些高管也已經透露了,Redmi K60 Pro已經停產且不會補貨,這一切都是為了即將到來的K60 Ultra鋪路,屬于廠家的正常操作。但有意思的是該機在停產之后
  • 中興AX5400Pro+上手體驗:再升級 雙2.5G網口+USB 3.0這次全都有

    2021年11月的時候,中興先后發布了兩款路由器產品,中興AX5400和中興AX5400 Pro,從產品命名上就不難看出這是隸屬于同一系列的,但在外觀設計上這兩款產品可以說是完全沒一點關系
  • iPhone賣不動了!蘋果股價創年內最大日跌幅:市值一夜蒸發萬億元

    8月5日消息,今天凌晨美股三大指數高開低走集體收跌,道指跌0.41%;納指跌0.36%;標普500指數跌0.52%。熱門科技股也都變化極大,其中蘋果報181.99美元,跌4.8%,創
  • 轎車從天而降電動車主被撞身亡 超速搶道所致:現場視頻讓網友吵翻

    近日,上海青浦區法院判決轎車從天而降電動車主被撞身亡案,轎車車主被判有期徒刑一年。案件顯示當時男子駕駛轎車在上海某路段行駛,前車忽然轉彎提速超車,
  • CSS單標簽實現轉轉logo

    轉轉品牌升級后更新了全新的Logo,今天我們用純CSS來實現轉轉的新Logo,為了有一定的挑戰性,這里我們只使用一個標簽實現,將最大化的使用CSS能力完成Logo的繪制與動畫效果。新logo
  • 只需五步,使用start.spring.io快速入門Spring編程

    步驟1打開https://start.spring.io/,按照屏幕截圖中的內容創建項目,添加 Spring Web 依賴項,并單擊“生成”按鈕下載 .zip 文件,為下一步做準備。請在進入步驟2之前進行解壓。圖
  • 共享單車的故事講到哪了?

    來源丨海克財經與共享充電寶相差不多,共享單車已很久沒有被國內熱點新聞關照到了。除了一再漲價和用戶直呼用不起了。近日多家媒體再發報道稱,成都、天津、鄭州等地多個共享單
  • 騰訊蓋樓,字節拆墻

    來源 | 光子星球撰文 | 吳坤諺編輯 | 吳先之“想重溫暴刷深淵、30+技能搭配暴搓到爽的游戲體驗嗎?一起上晶核,即刻暴打!”曾憑借直播騰訊旗下代理格斗游戲《DNF》一
  • 2納米決戰2025

    集微網報道 從三強爭霸到四雄逐鹿,2nm的廝殺聲已然隱約傳來。無論是老牌勁旅臺積電、三星,還是誓言重回先進制程領先地位的英特爾,甚至初成立不久的新
Top 主站蜘蛛池模板: 竹山县| 汽车| 成武县| 新民市| 康定县| 定州市| 沽源县| 会宁县| 屯昌县| 太仆寺旗| 西华县| 长阳| 张家港市| 武鸣县| 通州区| 宜阳县| 安龙县| 巴青县| 沁源县| 胶州市| 新乡市| 新源县| 阳泉市| 门源| 阿克苏市| 汕头市| 茂名市| 闽侯县| 始兴县| 基隆市| 高陵县| 江口县| 广德县| 都安| 扶绥县| 奈曼旗| 盐源县| 鄂尔多斯市| 宣恩县| 鄯善县| 哈尔滨市|