如何通過Python線程池實(shí)現(xiàn)異步編程？
線程池的概念和基本原理線程池是一種并發(fā)處理機(jī)制，它可以在程序啟動(dòng)時(shí)創(chuàng)建一組線程，并將它們置于等待任務(wù)的狀態(tài)。當(dāng)任務(wù)到達(dá)時(shí)，線程池中的某個(gè)線程會(huì)被喚醒并執(zhí)行任務(wù)，執(zhí)行完任
在本文中，我將分享4個(gè)在一行代碼中完成的Pandas操作。這些操作可以有效地解決特定的任務(wù)，并以一種好的方式給出結(jié)果。
我有一份商品清單，我想看看它們的分布情況。更具體地說：希望得到唯一值以及它們?cè)诹斜碇谐霈F(xiàn)的次數(shù)。
Python字典是以這種格式存儲(chǔ)數(shù)據(jù)的好方法。鍵將是字典，值是出現(xiàn)的次數(shù)。
這里可以使用value_counts和to_dict函數(shù)，這項(xiàng)任務(wù)可以在一行代碼中完成。
這里有一個(gè)簡單的例子來說明這種情況:
import pandas as pd grades = ["A", "A", "B", "B", "A", "C", "A", "B", "C", "A"] pd.Series(grades).value_counts().to_dict() # output {'A': 5, 'B': 3, 'C': 2}將列表轉(zhuǎn)換為Pandas Series，這是Pandas的一維數(shù)據(jù)結(jié)構(gòu)，然后應(yīng)用value_counts函數(shù)來獲得在Series中出現(xiàn)頻率的唯一值，最后將輸出轉(zhuǎn)換為字典。這個(gè)操作非常高效且易于理解。
JSON是一種常用的存儲(chǔ)和傳遞數(shù)據(jù)的文件格式。
當(dāng)我們清理、處理或分析數(shù)據(jù)時(shí)，我們通常更喜歡使用表格格式(或類似表格的數(shù)據(jù))。由于json_normalize函數(shù)，我們可以通過一個(gè)操作從json格式的對(duì)象創(chuàng)建Pandas DataFrame。
假設(shè)數(shù)據(jù)存儲(chǔ)在一個(gè)名為data的JSON文件中。一般情況我們都是這樣讀取:
import json with open("data.json") as f: data = json.load(f) data # output {'data': [{'id': 101, 'category': {'level_1': 'code design', 'level_2': 'method design'}, 'priority': 9}, {'id': 102, 'category': {'level_1': 'error handling', 'level_2': 'exception logging'}, 'priority': 8}]}如果我們將這個(gè)變量傳遞給DataFrame構(gòu)造函數(shù)，它將創(chuàng)建如下的DataFrame，這絕對(duì)不是一個(gè)可用的格式:
df = pd.DataFrame(data)
但是如果我們使用json_normalize函數(shù)將得到一個(gè)整潔的DataFrame格式:
df = pd.json_normalize(data, "data")
如果有一個(gè)與特定記錄匹配的項(xiàng)列表。需要重新格式化它，為該列表中的每個(gè)項(xiàng)目提供單獨(dú)的行。
這是一個(gè)經(jīng)典的行分割成列的問題。有許多的不同的方法來解決這個(gè)任務(wù)。其中最簡單的一個(gè)(可能是最簡單的)是Explode函數(shù)。
我們以這個(gè)df為例
使用explosion函數(shù)并指定列名:
df_new = df.explode(column="data").reset_index(drop=True)
reset_index會(huì)為DataFrame分配一個(gè)新的整數(shù)索引。
combine_first函數(shù)用于合并兩個(gè)具有相同索引的數(shù)據(jù)結(jié)構(gòu)。
它最主要的用途是用一個(gè)對(duì)象的非缺失值填充另一個(gè)對(duì)象的缺失值。這個(gè)函數(shù)通常在處理缺失數(shù)據(jù)時(shí)很有用。在這方面，它的作用與SQL中的COALESCE函數(shù)相同。
df = pd.DataFrame( { "A": [None, 0, 12, 5, None], "B": [3, 4, 1, None, 11] } )
我們需要a列中的數(shù)據(jù)。如果有一行缺少值(即NaN)，用B列中同一行的值填充它。
df["A"].combine_first(df["B"]) # output 0 3.0 1 0.0 2 12.0 3 5.0 4 11.0 Name: A, dtype: float64可以看到的列A的第一行和最后一行取自列B。
如果我們想要使用3列，我們可以鏈接combine_first函數(shù)。下面的代碼行首先檢查列a。如果有一個(gè)缺失的值，它從列B中獲取它。如果列B中對(duì)應(yīng)的行也是NaN，那么它從列C中獲取值。
df["A"].combine_first(df["B"]).combine_first(df["C"])我們還可以在DataFrame級(jí)別使用combine_first函數(shù)。在這種情況下，所有缺失的值都從第二個(gè)DataFrame的相應(yīng)值(即同一行，同列)中填充。
df1 = pd.DataFrame({'A': [1, 2, np.nan, 4], 'B': [5, np.nan, 7, 8]}, index=['a', 'b', 'c', 'd']) df2 = pd.DataFrame({'A': [10, np.nan, 30, 40], 'B': [50, 60, np.nan, 80]}, index=['a', 'b', 'c', 'd']) result_df = df1.combine_first(df2)在合并的過程中，df1 中的非缺失值填充了 df2 中對(duì)應(yīng)位置的缺失值。這有助于處理兩個(gè)數(shù)據(jù)集合并時(shí)的缺失值情況。
Merged DataFrame: A B a 1.0 5.0 b 2.0 60.0 c 30.0 7.0 d 4.0 8.0從計(jì)算簡單的統(tǒng)計(jì)數(shù)據(jù)到高度復(fù)雜的數(shù)據(jù)清理過程，Pandas都可以快速解決任務(wù)。上面的代碼可能不會(huì)經(jīng)常使用，但是當(dāng)你需要處理這種任務(wù)時(shí)，它們是非常好的解決辦法。
本文鏈接：http://www.www897cc.com/showinfo-26-37666-0.html四個(gè)解決特定的任務(wù)的Pandas高效代碼
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 深入淺出JavaScript異步編程
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)