一篇聊聊Go錯誤封裝機制
%w 是用于錯誤包裝（Error Wrapping）的格式化動詞。它是用于 fmt.Errorf 和 fmt.Sprintf 函數中的一個特殊格式化動詞，用于將一個錯誤（或其他可打印的值）包裝在一個新的錯誤中。使
在使用python進行文本分析時，很多時候數據來源的環境比較復雜，比如來自爬蟲數據，那么就可能包含各種意外的字符。在獲取了數據后，在文本分析之前的數據清洗時，最經常碰到的一個問題時，打開數據時的數據編碼不對的情況。
在實踐中，一般會嘗試各種不同編碼方式來嘗試讀取數據，比如，我們最常見的utf-8格式等，如果不行的話，那么可以采取自動判斷該數據的編碼格式，如果還是不行，一個可行的方式是跳過該行數據，繼續后續的數據讀取。
這個過程其實非常簡單：
import concurrent.futuresimport pandas as pdimport reimport numpy as npimport osimport chardetdef clean_cell(cell): try: return re.sub(r'[^/u4e00-/u9fa5a-zA-Z0-9]', '', str(cell)) except Exception as e: print(f"Error in clean_cell: {e}") return np.nan這個函數用于清理數據單元格，保留中文字符、英文字符和數字，其他字符將被移除。
def read_file(file_path, encoding): _, file_extension = os.path.splitext(file_path) if file_extension in ['.csv', '.txt']: return pd.read_csv(file_path, encoding=encoding, on_bad_lines='skip') elif file_extension == '.xlsx': return pd.read_excel(file_path) elif file_extension == '.json': return pd.read_json(file_path) else: raise ValueError(f"Unsupported file format: {file_extension}")根據文件擴展名（如 .csv, .xlsx, .json）來決定使用哪種方法讀取文件。
def process_dataframe(file_path): # 定義預設的編碼格式列表 encodings = ['utf-8', 'latin-1', 'ISO-8859-1', 'cp1252', 'gbk', 'ascii'] # 嘗試預設的編碼格式 for encoding in encodings: try: df = pd.read_csv(file_path, encoding=encoding, on_bad_lines='skip') break except UnicodeDecodeError: continue else: # 如果預設的編碼格式都不適用，嘗試自動檢測編碼 try: detected_encoding = chardet.detect(open(file_path, 'rb').read())['encoding'] df = pd.read_csv(file_path, encoding=detected_encoding, on_bad_lines='skip') except Exception as e: print(f"無法確定文件編碼方式或讀取文件失敗: {e}") return None # 或者使用其他方式處理這種情況 # 清洗數據 with concurrent.futures.ThreadPoolExecutor() as executor: for column in df.columns: cleaned_column = list(executor.map(clean_cell, df[column])) df[column] = cleaned_column return df此函數首先檢測文件編碼，然后讀取文件內容到 DataFrame，最后清洗每一列的數據。
file_path = '/path/to/GSZC_Raw.csv' # 替換為你自己的數據路徑try: cleaned_df = process_dataframe(file_path) cleaned_file_path = file_path.replace('.csv', '_cleaned.csv') cleaned_df.to_csv(cleaned_file_path, index=False)except Exception as e: print(f"Error in main execution: {e}")經過以上的過程，一般會解決大部分的數據編碼錯誤問題。如果在實踐中嘗試了以上方法后還是會報錯數據編碼錯誤，那么建議逐行讀取數據，但這樣通常會很慢，如果數據量不是很大的時候，可以采用這種方式，然后利用計算機多線程，提高處理數據的速度。
如果數據量很大，而出現編碼錯誤的部分很少，那么直接舍棄，可能是更好的選擇。
本文鏈接：http://www.www897cc.com/showinfo-26-34898-0.html使用Python文本分析：數據讀取編碼錯誤問題處理
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 六種常見負載均衡算法
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號