日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 科技  > 軟件

Python并發(fā)與并行:multiprocessing模塊大揭秘

來源: 責(zé)編: 時間:2024-05-09 09:26:40 162觀看
導(dǎo)讀在Python的世界里,如果你想要提升程序運行效率,尤其是處理大量數(shù)據(jù)或執(zhí)行耗時任務(wù)時,必然繞不開“并發(fā)”與“并行”這兩個關(guān)鍵詞。它們雖然經(jīng)常被同時提及,但實際含義和應(yīng)用場景卻大相徑庭。今天,我們將深入探討這兩者的區(qū)

在Python的世界里,如果你想要提升程序運行效率,尤其是處理大量數(shù)據(jù)或執(zhí)行耗時任務(wù)時,必然繞不開“并發(fā)”與“并行”這兩個關(guān)鍵詞。它們雖然經(jīng)常被同時提及,但實際含義和應(yīng)用場景卻大相徑庭。今天,我們將深入探討這兩者的區(qū)別,并通過剖析Python內(nèi)置的multiprocessing模塊,揭示如何利用并行編程技巧,讓Python程序如虎添翼。Ymg28資訊網(wǎng)——每日最新資訊28at.com

Ymg28資訊網(wǎng)——每日最新資訊28at.com

一、引言:并發(fā)與并行的概念辨析

并發(fā),簡單來說,就是“同時做多件事”。它并不意味著所有事情都在同一時刻發(fā)生,而是指系統(tǒng)能夠在多個任務(wù)之間快速切換,給用戶造成“同時進行”的錯覺。比如,你在瀏覽網(wǎng)頁的同時聽音樂,盡管CPU可能在同一時間只能處理一個任務(wù),但通過高效的調(diào)度機制,讓你感覺兩者是同步進行的。Ymg28資訊網(wǎng)——每日最新資訊28at.com

并行,則是真正意義上的“同時做多件事”。它依賴于硬件支持,如多核CPU或多臺計算機,能夠?qū)⑷蝿?wù)分解成多個部分,分別在不同的處理器上獨立執(zhí)行。并行執(zhí)行能夠顯著提高計算密集型任務(wù)的處理速度,充分利用硬件資源。Ymg28資訊網(wǎng)——每日最新資訊28at.com

二、Python并發(fā)編程初探

在Python中,實現(xiàn)并發(fā)編程的一個常見手段是使用多線程。以threading模塊為例,我們可以通過創(chuàng)建Thread對象來啟動一個新的線程:Ymg28資訊網(wǎng)——每日最新資訊28at.com

import threadingdef thread_function(name):    print(f"Thread {name}: starting")    # 執(zhí)行耗時操作...    print(f"Thread {name}: finishing")# 創(chuàng)建并啟動兩個線程for i in range(2):    t = threading.Thread(target=thread_function, args=(i,))    t.start()

然而,Python的多線程并發(fā)受到全局解釋器鎖(Global Interpreter Lock, GIL)的制約。GIL是為了保護內(nèi)存安全而引入的一把“大鎖”,它確保任何時候只有一個線程在執(zhí)行Python字節(jié)碼。這意味著在單個進程中,即使有多個線程,也無法實現(xiàn)真正的并行計算。對于CPU密集型任務(wù),多線程并發(fā)往往無法帶來性能提升。Ymg28資訊網(wǎng)——每日最新資訊28at.com

三、跨越GIL:Python并行編程登場

為了解決GIL帶來的限制,Python提供了multiprocessing模塊,它利用操作系統(tǒng)提供的進程機制,允許我們在不同進程中并行執(zhí)行任務(wù),從而規(guī)避GIL的影響。每個進程都有自己的Python解釋器和內(nèi)存空間,可以在多核CPU上真正實現(xiàn)并行計算。Ymg28資訊網(wǎng)——每日最新資訊28at.com

四、multiprocessing模塊基礎(chǔ)用法

1. 進程創(chuàng)建:Process類詳解

multiprocessing的核心是Process類,用于創(chuàng)建新進程:Ymg28資訊網(wǎng)——每日最新資訊28at.com

from multiprocessing import Processdef long_running_task():    # 執(zhí)行耗時操作...if __name__ == "__main__":    p = Process(target=long_running_task)    p.start()  # 啟動進程    p.join()   # 等待進程結(jié)束

2. 進程間通信:Queue、Pipe與共享內(nèi)存

進程間通信是并行編程的重要環(huán)節(jié)。multiprocessing提供了多種方式:Ymg28資訊網(wǎng)——每日最新資訊28at.com

  • Queue:類似線程中的隊列,可在進程間安全地傳遞消息。
  • Pipe:提供一對一的進程間通信通道。
  • 共享內(nèi)存:允許不同進程直接訪問同一塊內(nèi)存區(qū)域,適用于大量數(shù)據(jù)的快速交換。

3. Pool對象:便捷的進程池管理

對于大量相似任務(wù)的處理,可以使用Pool對象創(chuàng)建一個進程池,避免頻繁創(chuàng)建銷毀進程的開銷:Ymg28資訊網(wǎng)——每日最新資訊28at.com

from multiprocessing import Pooldef process_data(data):    # 對data進行處理...if __name__ == "__main__":    with Pool(4) as pool:  # 創(chuàng)建包含4個進程的進程池        results = pool.map(process_data, data_list)  # 將data_list中的每個元素分發(fā)給進程池中的進程處理

五、實戰(zhàn)演練:基于multiprocessing的并行任務(wù)案例

1. 數(shù)據(jù)并行計算實例

假設(shè)我們需要對一個大數(shù)組進行平方運算,可以利用Pool.map()方法實現(xiàn)并行計算:Ymg28資訊網(wǎng)——每日最新資訊28at.com

import numpy as npfrom multiprocessing import Pooldef square(number):    return number ** 2if __name__ == "__main__":    data = np.random.randint(1, 100, size=100000)    with Pool(4) as pool:        squared_data = pool.map(square, data)

2. 異步任務(wù)處理實例

若需處理異步任務(wù),如網(wǎng)絡(luò)請求,可以結(jié)合concurrent.futures模塊實現(xiàn):Ymg28資訊網(wǎng)——每日最新資訊28at.com

import concurrent.futuresfrom multiprocessing import Pooldef fetch_url(url):    # 發(fā)送網(wǎng)絡(luò)請求并返回結(jié)果...if __name__ == "__main__":    with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:        with Pool(4) as pool:            future_to_url = {executor.submit(fetch_url, url): url for url in url_list}            for future in concurrent.futures.as_completed(future_to_url):                url = future_to_url[future]                try:                    data = future.result()                    # 處理數(shù)據(jù)...                except Exception as exc:                    print(f"{url} generated an exception: {exc}")

六、高級話題:進程同步與錯誤處理

1. Lock、Event、Semaphore等同步原語

為了協(xié)調(diào)多個進程間的協(xié)作,multiprocessing提供了多種同步原語:Ymg28資訊網(wǎng)——每日最新資訊28at.com

  • Lock:互斥鎖,防止多個進程同時訪問共享資源。
  • Event:事件標志,用于進程間同步通知。
  • Semaphore:信號量,控制同時訪問共享資源的進程數(shù)量。

2. 處理子進程異常與退出

當(dāng)子進程發(fā)生異常或主動退出時,可以通過捕獲Process對象的exitcode屬性或注冊Process對象的join()方法的回調(diào)函數(shù)進行處理。Ymg28資訊網(wǎng)——每日最新資訊28at.com

七、總結(jié)與最佳實踐建議

Python并發(fā)與并行編程雖有區(qū)別,但都是提升程序效率的有效手段。理解并掌握multiprocessing模塊,能幫助我們編寫出高效、穩(wěn)定的并行程序。在實踐中,應(yīng)注意合理選擇并發(fā)模型,妥善處理進程間通信與同步問題,以及應(yīng)對可能出現(xiàn)的子進程異常情況。通過不斷實踐與優(yōu)化,你的Python程序?qū)⒛茉诙嗪薈PU上飛速奔跑,輕松應(yīng)對各類復(fù)雜任務(wù)。Ymg28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-87494-0.htmlPython并發(fā)與并行:multiprocessing模塊大揭秘

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 如何在Ollama創(chuàng)建自定義模型?構(gòu)建本地大模型

下一篇: Rust 程序員福利來了,如何利用 cargo-generate 節(jié)省開發(fā)時間?

標簽:
  • 熱門焦點
  • 三言兩語說透設(shè)計模式的藝術(shù)-簡單工廠模式

    一、寫在前面工廠模式是最常見的一種創(chuàng)建型設(shè)計模式,通常說的工廠模式指的是工廠方法模式,是使用頻率最高的工廠模式。簡單工廠模式又稱為靜態(tài)工廠方法模式,不屬于GoF 23種設(shè)計
  • CSS單標簽實現(xiàn)轉(zhuǎn)轉(zhuǎn)logo

    轉(zhuǎn)轉(zhuǎn)品牌升級后更新了全新的Logo,今天我們用純CSS來實現(xiàn)轉(zhuǎn)轉(zhuǎn)的新Logo,為了有一定的挑戰(zhàn)性,這里我們只使用一個標簽實現(xiàn),將最大化的使用CSS能力完成Logo的繪制與動畫效果。新logo
  • 之家push系統(tǒng)迭代之路

    前言在這個信息爆炸的互聯(lián)網(wǎng)時代,能夠及時準確獲取信息是當(dāng)今社會要解決的關(guān)鍵問題之一。隨著之家用戶體量和內(nèi)容規(guī)模的不斷增大,傳統(tǒng)的靠"主動拉"獲取信息的方式已不能滿足用
  • 阿里大調(diào)整

    來源:產(chǎn)品劉有媒體報道稱,近期淘寶天貓集團啟動了近年來最大的人力制度改革,涉及員工績效、層級體系等多個核心事項,目前已形成一個初步的“征求意見版”:1、取消P序列
  • 小米MIX Fold 3下月亮相:今年唯一無短板的全能折疊屏

    這段時間以來,包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都有新的進展,其中榮耀、三星都已陸續(xù)發(fā)布了最新的折疊屏旗艦,尤其號榮耀Magi
  • 蘋果、三星、惠普等暫停向印度出口筆記本和平板電腦

    集微網(wǎng)消息,據(jù)彭博社報道,在8月3日印度突然禁止在沒有許可證的情況下向印度進口電腦/平板及顯示器等產(chǎn)品后,蘋果、三星電子和惠普等大公司暫停向印度
  • Windows 11發(fā)布,微軟一改往常對老機型開放的態(tài)度

    距離 Windows 11 發(fā)布已經(jīng)過去一周,在過去一周里,很多數(shù)碼愛好者圍繞其對 Android 應(yīng)用的支持、對老機型的升級問題展開了激烈討論。與以往不同的是,在這次大
  • DRAM存儲器10月價格下跌,NAND閃存本月價格與上月持平

    10月30日,據(jù)韓國媒體消息,自今年年初以來一直在上漲的 DRAM 存儲器的交易價格僅在本月就下跌了近 10%,此次是全年首次降價,而NAND 閃存本月價格與上月持平。市
  • 由于成本持續(xù)增加,筆記本產(chǎn)品價格預(yù)計將明顯上漲

    根據(jù)知情人士透露,由于材料、物流等成本持續(xù)增加,筆記本產(chǎn)品價格預(yù)計將在2021年下半年有明顯上漲。進入6月下旬以來,全球半導(dǎo)體芯片缺貨情況加劇,顯卡、處理器
Top 主站蜘蛛池模板: 天峻县| 揭东县| 承德县| 永善县| 建水县| 浦北县| 浪卡子县| 海丰县| 和平区| 寿宁县| 阿鲁科尔沁旗| 定州市| 揭东县| 临泽县| 呼玛县| 遂溪县| 商洛市| 霸州市| 安徽省| 长汀县| 新巴尔虎右旗| 鸡东县| 通化市| 岳西县| 通辽市| 阳原县| 陆川县| 五大连池市| 平阴县| 曲沃县| 大化| 若尔盖县| 常德市| 灵石县| 沾益县| 仙游县| 礼泉县| 南皮县| 稷山县| 葫芦岛市| 墨竹工卡县|