日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

再見pip & conda!管理Python依賴關系的更好的選擇:Poetry

來源: 責編: 時間:2023-08-09 23:03:31 303觀看
導讀在你的數據科學項目的開始階段,使用pip或conda等依賴性管理工具可能就足夠了。然而,隨著項目的擴大,依賴關系的數量也在增加。這可能會使項目的環境難以重現,并且在僅僅依靠pip或conda進行依賴性管理時難以有效地維護它。

在你的數據科學項目的開始階段,使用pip或conda等依賴性管理工具可能就足夠了。d8I28資訊網——每日最新資訊28at.com

然而,隨著項目的擴大,依賴關系的數量也在增加。這可能會使項目的環境難以重現,并且在僅僅依靠pip或conda進行依賴性管理時難以有效地維護它。d8I28資訊網——每日最新資訊28at.com

此時 Poetry 應運而生,它是一個開源庫,提供了一個強大的工具來創建和維護具有一致環境的Python項目。在這篇文章中,我們將深入探討Poetry的優勢,并強調它與pip和conda的主要區別。d8I28資訊網——每日最新資訊28at.com

安裝的便利性

一鍵輕松安裝過程,能夠快速采用并將軟件包集成到我們的代碼庫中,從而節省時間和精力。d8I28資訊網——每日最新資訊28at.com

Conda

Conda的安裝格式對于不同的軟件包是不一致的。例如,要安裝polars,你需要運行:d8I28資訊網——每日最新資訊28at.com

conda install -c conda-forge polar

而要安裝pandas,命令是:d8I28資訊網——每日最新資訊28at.com

conda install -c anaconda pandas

Pip

Pip對每個軟件包都有一致的安裝格式:d8I28資訊網——每日最新資訊28at.com

pip install package-name

Poetry

Poetry也都遵循相同的安裝格式:d8I28資訊網——每日最新資訊28at.com

poetry add package-name

可用的packages

軟件包選擇空間大,使得找到最適合需求的特定軟件包和版本更容易。d8I28資訊網——每日最新資訊28at.com

Conda

有些軟件包,如 "snscrape",不能通過conda安裝。此外,某些版本,如Pandas 2.0,可能無法通過Conda安裝。d8I28資訊網——每日最新資訊28at.com

雖然可以在conda的虛擬環境中使用pip來解決軟件包的限制,但conda不能跟蹤用pip安裝的依賴關系。d8I28資訊網——每日最新資訊28at.com

$ conda list# packages in environment at /Users/khuyentran/miniconda3/envs/test-conda:## Name                    Version                   Build  Channel

Pip

Pip可以安裝來自Python Package Index (PyPI)和其他存儲庫的任何軟件包。d8I28資訊網——每日最新資訊28at.com

Poetry

Poetry還可以安裝來自Python Package Index (PyPI)和其他存儲庫的軟件包。d8I28資訊網——每日最新資訊28at.com

依賴關系的數量

減少環境中的依賴性,可以簡化開發過程。d8I28資訊網——每日最新資訊28at.com

Conda

Conda提供完全的環境隔離,同時管理Python軟件包和系統級的依賴關系。與其他軟件包管理器相比,這可能會導致軟件包太大,在安裝和分發時可能會消耗更多的存儲空間。d8I28資訊網——每日最新資訊28at.com

$ conda install pandas$ conda list          # packages in environment at /Users/khuyentran/miniconda3/envs/test-conda:## Name              Version         Build           Channel             blas                1.0             openblas                          bottleneck          1.3.5           py311ha0d4635_0                    bzip2               1.0.8           h620ffc9_4                        ca-certificates     2023.05.30      hca03da5_0                        libcxx              14.0.6          h848a8c0_0                        libffi              3.4.4           hca03da5_0                        libgfortran         5.0.0           11_3_0_hca03da5_28                 libgfortran5        11.3.0          h009349e_28                       libopenblas         0.3.21          h269037a_0                        llvm-openmp         14.0.6          hc6e5704_0                        ncurses             6.4             h313beb8_0                        numexpr             2.8.4           py311h6dc990b_1                    numpy               1.24.3          py311hb57d4eb_0                    numpy-base          1.24.3          py311h1d85a46_0                    openssl             3.0.8           h1a28f6b_0                        pandas              1.5.3           py311h6956b77_0                    pip                 23.0.1          py311hca03da5_0                    python              3.11.3          hb885b13_1                        python-dateutil     2.8.2           pyhd3eb1b0_0                      pytz                2022.7          py311hca03da5_0                    readline            8.2             h1a28f6b_0                        setuptools          67.8.0          py311hca03da5_0                    six                 1.16.0          pyhd3eb1b0_1                      sqlite              3.41.2          h80987f9_0                        tk                  8.6.12          hb8d0fd4_0                        tzdata              2023c           h04d1e81_0                        wheel               0.38.4          py311hca03da5_0                    xz                  5.4.2           h80987f9_0                        zlib                1.2.13          h5a0b063_0

Pip

Pip只安裝軟件包所需的依賴性。d8I28資訊網——每日最新資訊28at.com

$ pip install pandas$ pip listPackage         Version--------------- -------numpy           1.24.3pandas          2.0.2pip             22.3.1python-dateutil 2.8.2pytz            2023.3setuptools      65.5.0six             1.16.0tzdata          2023.3

Poetry

Poetry也只安裝軟件包所需的依賴項。d8I28資訊網——每日最新資訊28at.com

$ poetry add pandas$ poetry show

卸載Packages

卸載軟件包及其依賴關系可以釋放磁盤空間,防止不必要的雜亂,并優化存儲資源的使用。d8I28資訊網——每日最新資訊28at.com

Pip

Pip只刪除指定的包,而不是它的依賴關系,可能會導致未使用的依賴關系長期積累。這可能導致增加存儲空間的使用和潛在的沖突。d8I28資訊網——每日最新資訊28at.com

$ pip install pandas$ pip uninstall pandas$ pip listPackage         Version--------------- -------numpy           1.24.3pip             22.0.4python-dateutil 2.8.2pytz            2023.3setuptools      56.0.0six             1.16.0tzdata          2023.3

Conda

Conda刪除了該軟件包及其依賴關系。d8I28資訊網——每日最新資訊28at.com

$ conda install -c conda pandas$ conda uninstall -c conda pandasCollecting package metadata (repodata.json): doneSolving environment: done## Package Plan ##  environment location: /Users/khuyentran/miniconda3/envs/test-conda  removed specs:    - pandasThe following packages will be REMOVED:  blas-1.0-openblas  bottleneck-1.3.5-py311ha0d4635_0  libcxx-14.0.6-h848a8c0_0  libgfortran-5.0.0-11_3_0_hca03da5_28  libgfortran5-11.3.0-h009349e_28  libopenblas-0.3.21-h269037a_0  llvm-openmp-14.0.6-hc6e5704_0  numexpr-2.8.4-py311h6dc990b_1  numpy-1.24.3-py311hb57d4eb_0  numpy-base-1.24.3-py311h1d85a46_0  pandas-1.5.3-py311h6956b77_0  python-dateutil-2.8.2-pyhd3eb1b0_0  pytz-2022.7-py311hca03da5_0  six-1.16.0-pyhd3eb1b0_1Proceed ([y]/n)? Preparing transaction: doneVerifying transaction: doneExecuting transaction: done

Poetry

Poetry還刪除了該軟件包及其依賴關系。d8I28資訊網——每日最新資訊28at.com

$ poetry add pandas$ poetry remove pandas  ? Removing numpy (1.24.3)  ? Removing pandas (2.0.2)  ? Removing python-dateutil (2.8.2)  ? Removing pytz (2023.3)  ? Removing six (1.16.0)  ? Removing tzdata (2023.3)

依賴性文件

依賴文件通過指定所需軟件包的確切版本或版本范圍來確保軟件項目環境的可重復性。d8I28資訊網——每日最新資訊28at.com

這有助于在不同的系統或不同的時間點上重新創建相同的環境,確保具有相同依賴關系的開發人員之間的協作。d8I28資訊網——每日最新資訊28at.com

Conda

為了在Conda環境中保存依賴關系,需要手動將它們寫入一個文件中。在environment.yml文件中指定的版本范圍可能會導致不同的版本被安裝,在復制環境時可能會引入兼容性問題。d8I28資訊網——每日最新資訊28at.com

我們假設已經安裝了1.5.3版的pandas作為例子。下面是一個指定了依賴關系的environment.yml文件的例子:d8I28資訊網——每日最新資訊28at.com

# environment.ymlname: test-condachannels:  - defaultsdependencies:  - python=3.8  - pandas>=1.5

如果一個新的用戶試圖在pandas的最新版本是2.0的時候重現環境,那么pandas 2.0將被替代安裝。d8I28資訊網——每日最新資訊28at.com

# 創建并激活一個虛擬環境$ conda env create -n env$ conda activate env# 列出當前環境中的軟件包$ conda list...pandas 2.0

如果代碼庫依賴于pandas 1.5.3版本特有的語法或行為,而語法在2.0版本中發生了變化,那么用pandas 2.0運行代碼可能會帶來錯誤。d8I28資訊網——每日最新資訊28at.com

Pip

同樣的問題也可能發生在管道上。d8I28資訊網——每日最新資訊28at.com

# Requirements.txtpandas>=1.5# 創建并激活一個虛擬環境$ python3 -m venv venv$ source venv/bin/activate# 安裝依賴項$ pip install -r requirements.txt# 列出軟件包$ pip listPackage    Version---------- -------pandas       2.0......

可以通過把它們凍結在requirements.txt文件中來確定版本:d8I28資訊網——每日最新資訊28at.com

```bash$ pip freeze > requirements.txt# requirements.txtnumpy==1.24.3pandas==1.5.3python-dateutil==2.8.2pytz==2023.3six==1.16.0```

然而,這樣的代碼環境并不那么靈活,從長遠來看,可能更難維護。對依賴關系的任何改變都需要手動修改requirements.txt文件,這可能很費時且容易出錯。d8I28資訊網——每日最新資訊28at.com

Poetry

Poetry在安裝軟件包時自動更新pyproject.toml文件。d8I28資訊網——每日最新資訊28at.com

在下面的例子中,"pandas "包被加入了版本約束"^1.5"。這種靈活的版本管理方法確保你的項目可以適應更新的版本,而不需要手動調整。d8I28資訊網——每日最新資訊28at.com

$ poetry add 'pandas=^1.5'# pyproject.toml[tool.poetry.dependencies]python = "^3.8"pandas = "^1.5"

poetry.lock文件存儲了每個軟件包及其依賴關系的精確版本號。d8I28資訊網——每日最新資訊28at.com

# poetry.lock...[[package]]name = "pandas"version = "1.5.3"description = "Powerful data structures for data analysis, time series, and statistics"category = "main"optional = falsepython-versions = ">=3.8"[package.dependencies]numpy = [    {version = ">=1.20.3", markers = "python_version < /"3.10/""},    {version = ">=1.21.0", markers = "python_version >= /"3.10/""},    {version = ">=1.23.2", markers = "python_version >= /"3.11/""},]python-dateutil = ">=2.8.2"pytz = ">=2020.1"tzdata = ">=2022.1"...

這保證了所安裝軟件包的一致性,即使一個軟件包在 pyproject.toml 文件中指定了版本范圍。在這里,我們可以看到pandas 1.5.3被安裝,而不是pandas 2.0d8I28資訊網——每日最新資訊28at.com

$ poetry install$ poetry show pandasname         : pandas                                                                  version      : 1.5.3                                                                   description  : Powerful data structures for data analysis, time series, and statistics dependencies - numpy >=1.20.3 - numpy >=1.21.0 - numpy >=1.23.2 - python-dateutil >=2.8.1 - pytz >=2020.1

為開發和生產環境提供單獨的依賴

通過分離依賴關系,可以明確區分開發目的所需的包,如測試框架和代碼質量工具,和生產環境所需的包,通常包括核心依賴關系。d8I28資訊網——每日最新資訊28at.com

這確保生產環境只包含運行應用程序所需的軟件包,減少沖突或兼容性問題的風險。d8I28資訊網——每日最新資訊28at.com

Conda

Conda本質上并不支持不同環境下的獨立依賴,但一個變通方法是創建兩個環境文件:一個用于開發環境,一個用于生產環境。開發文件包含了生產和開發的依賴關系。d8I28資訊網——每日最新資訊28at.com

# environment.ymlname: test-condachannels:  - defaultsdependencies:  # Production packages  - numpy  - pandas# environment-dev.ymlname: test-conda-devchannels:  - defaultsdependencies:  # Production packages  - numpy  - pandas  # Development packages  - pytest  - pre-commit

Pip

Pip也不直接支持獨立的依賴關系,但類似的方法可以用獨立的需求文件。d8I28資訊網——每日最新資訊28at.com

# requirements.txtnumpy pandas# requirements-dev.txt-r requirements.txtpytestpre-commit# Install prod$ pip install -r requirements.txt# Install both dev and prod$ pip install -r requirements-dev.txt

Poetry

Poetry通過支持一個文件中的分組,簡化了對依賴關系的管理。這使你能夠在一個地方跟蹤所有的依賴關系。d8I28資訊網——每日最新資訊28at.com

$ poetry add numpy pandas$ poetry add --group dev pytest pre-commit# pyproject.toml[tool.poetry.dependencies]python = "^3.8"pandas = "^2.0"numpy = "^1.24.3"[tool.poetry.group.dev.dependencies]pytest = "^7.3.2"pre-commit = "^3.3.2"

要只安裝生產依賴性:d8I28資訊網——每日最新資訊28at.com

$ poetry install --only main

要同時安裝開發和生產依賴:d8I28資訊網——每日最新資訊28at.com

$ poetry install

更新一個環境

更新依賴關系對于從較新的軟件包版本中引入的錯誤修復、性能改進和新功能中獲益至關重要。d8I28資訊網——每日最新資訊28at.com

Conda

Conda可以只更新一個指定的軟件包。d8I28資訊網——每日最新資訊28at.com

$ conda install -c conda pandas$ conda install -c anaconda scikit-learn# 新版本可用$ conda update pandas$ conda update scikit-learn

之后,需要手動更新environment.yaml文件,使其與更新的依賴關系保持同步。d8I28資訊網——每日最新資訊28at.com

$ conda env export > environment.yml

Pip

Pip也只允許更新一個指定的軟件包,并要求我們手動更新requirements.txt文件。d8I28資訊網——每日最新資訊28at.com

$ pip install -U pandas$ pip freeze > requirements.txt

Poetry

使用Poetry,可以使用 update 命令來升級 pyproject.toml 文件中指定的所有軟件包。這個動作會自動更新poetry.lock文件,確保軟件包規格和鎖文件的一致性。d8I28資訊網——每日最新資訊28at.com

$ poetry add pandas scikit-learn# 新版本可用poetry updateUpdating dependenciesResolving dependencies... (0.3s)Writing lock filePackage operations: 0 installs, 2 updates, 0 removals  ? Updating pandas (2.0.0 -> 2.0.2)  ? Updating scikit-learn (1.2.0 -> 1.2.2)

依賴關系的解決

當項目所需的包或庫有沖突的版本或不兼容的依賴性時,就會發生依賴性沖突。正確解決沖突對于避免錯誤、運行時問題或項目失敗至關重要。d8I28資訊網——每日最新資訊28at.com

Pip

pip是按順序安裝軟件包的,這意味著它按照指定的順序一個一個地安裝每個軟件包。當軟件包有不兼容的依賴關系或版本要求時,這種順序方法有時會導致沖突。d8I28資訊網——每日最新資訊28at.com

例如,假設你先安裝pandas==2.0.2,這需要numpy>=1.20.3。后來,你用pip安裝numpy==1.20.2。盡管這將產生依賴性沖突,但pip會繼續更新numpy的版本。d8I28資訊網——每日最新資訊28at.com

$ pip install pandas==2.0.2$ pip install numpy==1.22.2Collecting numpy=1.20.2  Attempting uninstall: numpy    Found existing installation: numpy 1.24.3    Uninstalling numpy-1.24.3:      Successfully uninstalled numpy-1.24.3ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.pandas 2.0.2 requires numpy>=1.20.3; python_version < "3.10", but you have numpy 1.20.2 which is incompatible.Successfully installed numpy-1.20.2

Conda

Conda使用一個SAT求解器來探索軟件包版本和依賴關系的所有組合,以找到一個兼容的集合。d8I28資訊網——每日最新資訊28at.com

例如,如果一個現有的軟件包對其依賴關系有特定的約束(例如,statsmodels==0.13.2要求numpy>=1.21.2,<2.0a0),而你要安裝的軟件包不符合該要求(例如,numpy<1.21.2),conda不會立即引發錯誤。相反,它將勤奮地搜索所有需要的軟件包及其依賴的兼容版本,只有在沒有找到合適的解決方案時才會報告錯誤。d8I28資訊網——每日最新資訊28at.com

$ conda install 'statsmodels==0.13.2'$ conda search 'statsmodels==0.13.2' --infodependencies:   - numpy >=1.21.2,<2.0a0  - packaging >=21.3  - pandas >=1.0  - patsy >=0.5.2  - python >=3.9,<3.10.0a0  - scipy >=1.3$ conda install 'numpy<1.21.2'...Package ca-certificates conflicts for:python=3.8 -> openssl[version='>=1.1.1t,<1.1.2a'] -> ca-certificatesopenssl -> ca-certificatesca-certificatescryptography -> openssl[version='>1.1.0,<3.1.0'] -> ca-certificatesPackage idna conflicts for:requests -> urllib3[version='>=1.21.1,<1.27'] -> idna[version='>=2.0.0']requests -> idna[version='>=2.5,<3|>=2.5,<4']idnapooch -> requests -> idna[version='>=2.5,<3|>=2.5,<4']urllib3 -> idna[version='>=2.0.0']Package numexpr conflicts for:statsmodels==0.13.2 -> pandas[version='>=1.0'] -> numexpr[version='>=2.7.0|>=2.7.1|>=2.7.3']numexprpandas==1.5.3 -> numexpr[version='>=2.7.3']Package patsy conflicts for:statsmodels==0.13.2 -> patsy[version='>=0.5.2']patsyPackage chardet conflicts for:requests -> chardet[version='>=3.0.2,<4|>=3.0.2,<5']pooch -> requests -> chardet[version='>=3.0.2,<4|>=3.0.2,<5']Package python-dateutil conflicts for:statsmodels==0.13.2 -> pandas[version='>=1.0'] -> python-dateutil[version='>=2.7.3|>=2.8.1']python-dateutilpandas==1.5.3 -> python-dateutil[version='>=2.8.1']Package setuptools conflicts for:numexpr -> setuptoolspip -> setuptoolswheel -> setuptoolssetuptoolspython=3.8 -> pip -> setuptoolspandas==1.5.3 -> numexpr[version='>=2.7.3'] -> setuptoolsPackage brotlipy conflicts for:urllib3 -> brotlipy[version='>=0.6.0']brotlipyrequests -> urllib3[version='>=1.21.1,<1.27'] -> brotlipy[version='>=0.6.0']Package pytz conflicts for:pytzpandas==1.5.3 -> pytz[version='>=2020.1']statsmodels==0.13.2 -> pandas[version='>=1.0'] -> pytz[version='>=2017.3|>=2020.1']

雖然這種方法提高了找到解決方案的機會,但它可能是計算密集型的,特別是在處理繁雜的環境時。d8I28資訊網——每日最新資訊28at.com

Poetry

通過關注項目的直接依賴關系,Poetry的確定性解析器縮小了搜索空間,使解析過程更加高效。它評估指定的約束條件,如版本范圍或特定版本,并立即識別任何沖突。d8I28資訊網——每日最新資訊28at.com

$ poetry add 'seaborn==0.12.2'$ poetry add 'matplotlib<3.1' Because poetry shell depends on seaborn (0.12.2) which depends on matplotlib (>=3.1,<3.6.1 || >3.6.1), matplotlib is required.So, because poetry shell depends on matplotlib (<3.1), version solving failed.

這種即時反饋有助于防止潛在的問題升級,并允許開發人員在開發過程中及早解決問題。例如,在下面的代碼中,我們可以放寬對seaborn的要求,以便能夠安裝特定版本的matplotlib:d8I28資訊網——每日最新資訊28at.com

poetry add 'seaborn<=0.12.2'  'matplotlib<3.1' Package operations: 1 install, 2 updates, 4 removals  ? Removing contourpy (1.0.7)  ? Removing fonttools (4.40.0)  ? Removing packaging (23.1)  ? Removing pillow (9.5.0)  ? Updating matplotlib (3.7.1 -> 3.0.3)  ? Installing scipy (1.9.3)  ? Updating seaborn (0.12.2 -> 0.11.2)

總結

綜上所述,Poetry提供了比pip和conda更多的優勢:d8I28資訊網——每日最新資訊28at.com

  1. 一致的軟件包安裝:Poetry提供了一個一致的格式來安裝任何軟件包,確保整個項目有一個標準化的方法。
  2. 廣泛的軟件包選擇:Poetry提供了對PyPI上廣泛的軟件包的訪問,使你可以為你的項目利用一個多樣化的生態系統。
  3. 高效的依賴性管理:Poetry只為指定的軟件包安裝必要的依賴性,減少你環境中不相干的軟件包的數量。
  4. 簡化的軟件包移除:Poetry簡化了軟件包及其相關依賴關系的移除,使其易于維護一個干凈和高效的項目環境。
  5. 依賴性解決:Poetry的確定性解析器有效地解決了依賴關系,及時識別并處理任何不一致或沖突。

雖然Poetry可能需要你的團隊成員花費一些額外的時間和精力來學習和適應,但從長遠來看,使用Poetry這樣的工具可以為你節省時間和精力。d8I28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-5184-0.html再見pip &amp; conda!管理Python依賴關系的更好的選擇:Poetry

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 程序員都要懂的~計算機的存儲器架構

下一篇: 開源代碼掃描工具 Socket 添加 Go 語言支持

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 郸城县| 汝城县| 宜兰市| 阆中市| 庆安县| 慈利县| 奉贤区| 牙克石市| 兰考县| 宝应县| 湄潭县| 福州市| 昭觉县| 盘山县| 兰考县| 东明县| 苗栗市| 安龙县| 德惠市| 桃源县| 武鸣县| 大理市| 呈贡县| 睢宁县| 宁晋县| 九台市| 宜兰县| 灵川县| 进贤县| 内黄县| 无棣县| 沁源县| 洛川县| 陆丰市| 启东市| 息烽县| 昌邑市| 庆阳市| 浦江县| 喜德县| 北辰区|