日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

你 UTF-8 亂碼,關我 Unicode 什么事

來源: 責編: 時間:2023-12-08 09:14:09 231觀看
導讀平時開發的時候,相信很多人都碰到過亂碼的問題,尤其是中文亂碼。多年以前,我學 Python 的時候碰到的第一個難題就是亂碼問題,差點《從入門到放棄了》。當時就是寫一段 Python 的 Hello World 程序,只不過是把 Hello World

平時開發的時候,相信很多人都碰到過亂碼的問題,尤其是中文亂碼。多年以前,我學 Python 的時候碰到的第一個難題就是亂碼問題,差點《從入門到放棄了》。12u28資訊網——每日最新資訊28at.com

當時就是寫一段 Python 的 Hello World 程序,只不過是把 Hello World 換成了中文輸出,結果你猜怎么著?亂碼了。12u28資訊網——每日最新資訊28at.com

后來發現是因為 ASCII 編碼和 UTF-8 的問題,Python 默認使用了 ASCII ,而我寫的中文并不包含在 ASCII 碼范圍內,要改成 UTF-8。就是在 Python 文件的開頭加入下面這一行。12u28資訊網——每日最新資訊28at.com

# -*- coding:utf-8 -*-

由于當時這個亂碼問題印象深刻,以至于多年之后,雖然很長時間不怎么寫 Python了,但這一行代碼我仍然能夠快速的敲出來,并且一個空格都不差。12u28資訊網——每日最新資訊28at.com

相信很多同學也有類似的經歷,并且在查找解決辦法的過程中會碰到 UTF-8、Unicode、GBK、GB2312 等等一堆的代號。之后呢,通過復制粘貼順利的解決問題。12u28資訊網——每日最新資訊28at.com

今天,我們就來理一理 Unicode 和 UTF-8 ,以及其他各種各樣的代號之間的關系。12u28資訊網——每日最新資訊28at.com

Unicode - 統一碼

始皇嬴政“車同軌,書同文,統一度量衡”的目的是什么,就是為了統一標準,就是現在的ISO國際標準啊。12u28資訊網——每日最新資訊28at.com

Unicode 真正做到了“書同文”的計算機語言標準,所以 Unicode 也叫統一碼、萬國碼。Unicode 也是在不斷更新的,過一段時間就要把新形成的文字加進去,比如 emoj 字符([愛心][慶祝])。就算有一天外星人來了,也得把外星人的文字加進去。到時候可能就得改名字叫太陽系碼、宇宙碼了。12u28資訊網——每日最新資訊28at.com

Unicode 是一種計算機字符集標準,它就像是一部世界通用的字典,里面包含了幾乎所有的文字集合,包括中文、英文、拉丁文、希臘文等等,以及每一種語言中的符號。12u28資訊網——每日最新資訊28at.com

阿拉伯數字 「0」的 Unicode 碼就是 U+0030,漢字「中」的 Unicode 碼就是 U+4E2D,這是固定不變的,符號U+是為了表示這是 Unicode 字符。12u28資訊網——每日最新資訊28at.com

你翻開這個字典,找到第0030頁,里面就寫這阿拉伯數字「0」,翻開第4E2D頁,上面就寫著漢字「中」。Unicode 碼是用十六進制表示的,0030是十六進制的0x0030,4E2D是十六進制的 0x4E2D。12u28資訊網——每日最新資訊28at.com

下面這幅圖,假設右上角有一盞燈,照著上層深顏色的 Unicode 碼,透過Unicode碼,投影出來的就是對應的具體字符。(比如做一個旁白,沒有美術功底,效果做的不太行)。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

Unicode 字符映射

Unicode 其實就是用十六進制的 0x0000到0x10FFFF 這個范圍內的數字表示的。實際上,是根本用不到這么多的。看下面這個表格,Unicode 被分為17個 Plane(平面),每個平面都有自己的功能,并且大多數平面都是不使用或者很少使用的。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

通常我們用到的字符都是在第0號平面的,也叫基本多文種平面,也就是0x0000到0xFFFF這個區間內的。這個區間能表示2的16次方個字符,也就是65536個。拉丁文、常用的東亞文字都在這個區間內。12u28資訊網——每日最新資訊28at.com

為什么是65536個呢。一位16進制表示4位2進制,所以4位16進制,正好是二進制的16位,剛好可以表示2的16次方個數字,也就是65536個。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

16個平面怎么來的呢,就是在4位16進制前面又加了兩位,但是只用到了 0x00到0x10這個區間表示平面,16進制的10,剛好是16,從0到16,一共17個平面。12u28資訊網——每日最新資訊28at.com

最常用的就是0號平面,但是1、2、3號平面也用到了一些,比如第2號平面就是放的一些罕見的漢字或地區方言用字,比如粵語的字喃。12u28資訊網——每日最新資訊28at.com

至于那些未使用的平面,等將來有了類似于emoj這種字符種類越來越多,或者外星人來的時候用吧。12u28資訊網——每日最新資訊28at.com

有了 Unicode 為什么還要 UTF-8

UTF-8 應該是開發過程中接觸最多的代號了,讀寫文件、數據庫等等都會提到它。12u28資訊網——每日最新資訊28at.com

UTF-8 全稱是 8-bit Unicode Transformation Format,這就清楚了吧,是用來轉編Unicode碼的。除了UTF-8外,還有UTF-16、UTF-32 ,以及中國的 GB 18030 等。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

既然 Unicode 已經包含了所有字符,為什么還要用 UTF-8進行轉編呢,直接用 Unicode 碼不就好了嗎?原因就是如果用 Unicode 會浪費過多的空間,比如 ASCII 碼用256位就能全部覆蓋了,但是如果用 Unicode 呢,會多出好多空間來。不便于存儲以及傳輸。12u28資訊網——每日最新資訊28at.com

所以,Unicode 只制定標準,不做具體實現,具體的實現方式就要依靠 UTF-8、GB18030 這些了。12u28資訊網——每日最新資訊28at.com

拿 UTF-8 來說,它是一種可變長字符編碼,用ASCII碼能表示的就直接用ASCII碼,不行的再想辦法,主打一個能省則省。12u28資訊網——每日最新資訊28at.com

可以用文本編輯器測試一下,寫一個英文字母,用 UTF-8 編碼保存,大小是1個字節。而如果寫一個漢字呢,就是3個字節。12u28資訊網——每日最新資訊28at.com

同樣的,UTF-16、UTF-32都有自己的一套編碼方式,宗旨就是為了減小體積,提高效率。12u28資訊網——每日最新資訊28at.com

為什么就亂碼了呢

你可以在記事本中寫入一個漢字,然后將編碼格式保存為 ANSI 。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

然后用其他的工具打開(不要用windows的記事本或寫字板,它倆會自動識別),我用 Sublime Text 打開,顯示的就是亂碼。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

這是因為將中文用 ASCII 編碼了,而ASCII字符集中根本不存在中文字符,存的什么東西也不知道。當其他工具用 UTF-8 編碼準備展示的時候,發現這存的什么東西,它根本不認識啊。最終顯示出來的只能是亂碼。12u28資訊網——每日最新資訊28at.com

如下圖所示,分別用 GB18030 和 UTF-8 對Unicode進行編碼,無論你最后是在瀏覽器還是其他的應用程序內,只要支持對應的編碼,都可以正確的解析出對應的字符。12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

而如果你將 UTF-8 編碼的字符,用其他的編碼方式進行解碼,那大概就沒那么順利了,出來的很可能是亂碼。例如下面這個,將UTF-8編碼后的E4B8AD 用 TMD-8(瞎說的)進行解碼,那出來就是????12u28資訊網——每日最新資訊28at.com

圖片圖片12u28資訊網——每日最新資訊28at.com

GB2312、GB18030

此外,我們肯定還聽說過 GB2312、GB18030,那它們又是什么呢?12u28資訊網——每日最新資訊28at.com

GB18030是GB2312的擴展版本(升級版),現在的標準就是GB18030,GB2312 可以不再使用了。12u28資訊網——每日最新資訊28at.com

GB2312和GB18030即是字符集,又同時是編碼方式。12u28資訊網——每日最新資訊28at.com

以前GB2312是專門為了中文以及少數民族字符設計的,隨著不斷的擴充,GB18030已經支持 Unicode  字符集了。12u28資訊網——每日最新資訊28at.com

總結

  • Unicode 是字符集,不是編碼方式,只是一個標準。
  • 而 UTF-8、UTF-16 是專門針對于 Unicode 的編碼方式,用于存儲和傳輸。
  • 對于純中文的場景,也可以用GB18030。
  • 如果沒有特殊要求,最好還是用 UTF-8 編碼,放之四海而皆準,沒壞處。

本文鏈接:http://www.www897cc.com/showinfo-26-39504-0.html你 UTF-8 亂碼,關我 Unicode 什么事

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 刷了360多道算法題,我終于頓悟了它的真諦

下一篇: Java 21 的虛擬線程:高性能并發應用的福音

標簽:
  • 熱門焦點
  • 紅魔電競平板評測:大屏幕硬實力

    前言:三年的疫情因為要上網課的原因激活了平板市場,如今網課的時代已經過去,大家的生活都恢復到了正軌,這也就意味著,真正考驗平板電腦生存的環境來了。也就是面對著這種殘酷的
  • 8月總票房已突破10億!《封神》第一:口碑已經成了

    8月5日消息,據燈塔專業版數據,截至8月5日9時35分,8月總票房(含預售)已突破10億。其中,《封神》以大比分的優勢領先。根據官方消息,目前該片總票房已經超過14.
  • Automa-通過連接塊來自動化你的瀏覽器

    1、前言通過瀏覽器插件可實現自動化腳本的錄制與編寫,具有代表性的工具就是:Selenium IDE、Katalon Recorder,對于簡單的業務來說可快速實現自動化的上手工作。Selenium IDEKat
  • Flowable工作流引擎的科普與實踐

    一.引言當我們在日常工作和業務中需要進行各種審批流程時,可能會面臨一系列技術和業務上的挑戰。手動處理這些審批流程可能會導致開發成本的增加以及業務復雜度的上升。在這
  • 一個注解實現接口冪等,這樣才優雅!

    場景碼猿慢病云管理系統中其實高并發的場景不是很多,沒有必要每個接口都去考慮并發高的場景,比如添加住院患者的這個接口,具體的業務代碼就不貼了,業務偽代碼如下:圖片上述代碼有
  • 超級標準版旗艦!iQOO 11S全球首發iQOO超算獨顯芯片

    上半年已接近尾聲,截至目前各大品牌旗下的頂級旗艦都已悉數亮相,而下半年即將推出的頂級旗艦已經成為了數碼圈爆料的主流,其中就包括全新的iQOO 11S系
  • iQOO Neo8 Pro真機諜照曝光:天璣9200+和V1+旗艦雙芯加持

    去年10月,iQOO推出了iQOO Neo7系列機型,不僅搭載了天璣9000+,而且是同價位唯一一款天璣9000+直屏旗艦,一經上市便受到了用戶的廣泛關注。在時隔半年后,
  • OPPO K11搭載長壽版100W超級閃充:26分鐘充滿100%

    據此前官方宣布,OPPO將于7月25日也就是今天下午14:30舉辦新品發布會,屆時全新的OPPO K11將正式與大家見面,將主打旗艦影像,和同檔位競品相比,其最大的賣
  • 利用職權私自解除被封帳號 Meta開除20多名員工

    11月18日消息,據外媒援引知情人士表示,過去一年時間內,Facebook母公司Meta解雇或處罰了20多名員工以及合同工,指控這些人通過內部系統以不當方式重置用戶帳號,其
Top 主站蜘蛛池模板: 武功县| 乌兰察布市| 康马县| 沙河市| 崇义县| 吴川市| 瓮安县| 盐源县| 合作市| 武城县| 临漳县| 天峨县| 嘉荫县| 云南省| 新龙县| 安溪县| 玉溪市| 吴川市| 县级市| 厦门市| 金乡县| 玉门市| 桓仁| 资溪县| 石门县| 忻城县| 博罗县| 浮山县| 正镶白旗| 高邮市| 新化县| 琼中| 库尔勒市| 剑川县| 青田县| 闻喜县| 县级市| 琼中| 兴城市| 陕西省| 大安市|