當(dāng)前位置：首頁 > 科技 > 軟件

三個中國程序員 vs三個美國程序員，不得不承認(rèn)，差距太大了！

來源：責(zé)編：時間：2023-11-28 09:32:05 250觀看

導(dǎo)讀大概是2009年，我和兩個好哥們聊天，覺得智能手機(jī)可能是風(fēng)口，商量著要弄一個照片分享網(wǎng)站。用戶可以用手機(jī)把隨手拍的照片放到網(wǎng)上分享，名稱都起好了，叫InstantPost?？墒俏覀兊膱?zhí)行力太差了，聚了兩次，做了一點兒技術(shù)驗證，就沒

大概是2009年，我和兩個好哥們聊天，覺得智能手機(jī)可能是風(fēng)口，商量著要弄一個照片分享網(wǎng)站。

用戶可以用手機(jī)把隨手拍的照片放到網(wǎng)上分享，名稱都起好了，叫InstantPost。

可是我們的執(zhí)行力太差了，聚了兩次，做了一點兒技術(shù)驗證，就沒有下文了。

過了幾年，我看到美國一個叫Instagram的火了，不由地一拍大腿：臥槽！這不就是我們當(dāng)年要做的事兒嗎？！

圖片

后來我看到Instagram初期的故事，他們也是三個程序員，從2010年10月到2011年12月，在一年多的時間內(nèi)，就把用戶數(shù)量從0增長到了1400萬！

看完他們的架構(gòu)設(shè)計，我就釋然了，拋開執(zhí)行力，在2009年那個時間點，我們確實不行。

Instagram制定的架構(gòu)指導(dǎo)準(zhǔn)則是：

1.保持簡單

2.不要重新發(fā)明輪子

3.盡可能使用經(jīng)過驗證的可靠技術(shù)

所以早期的Instagram跑在云上，使用EC2和Ubuntu Linux 11.04（“Natty Narwhal”）。

接下來，站在一個用戶會話(Session)的角度，來看看Instagram的處理過程。

前端

Session：用戶打開了Instagram APP。

2010年，Instagram開發(fā)了一個iOS app，正式推出。

因為這時候Swift還沒有發(fā)布，他們用了Objective-C，UIKit等技術(shù)。

圖片

負(fù)載均衡

Session：打開App后，會向后端發(fā)起一個請求（獲取主界面的“信息流”），這個請求會首先到達(dá)Instagram的負(fù)載均衡。

Instagram 最早使用2個Nginx并在它們之間進(jìn)行DNS Round-Robin，這種方法的缺點是，如果某一個機(jī)器出現(xiàn)故障，DNS的更新需要時間。

后來他們選擇了Amazon的Elastic Load Balancer，這里有三個NGINX實例，可以換入換出。

圖片

后端

Session：負(fù)載均衡會把請求轉(zhuǎn)發(fā)給應(yīng)用服務(wù)器

Instagram用Django作為后端服務(wù)，運行在 Amazon High-CPU Extra-Large 上，因為這三個程序員發(fā)現(xiàn)，后端服務(wù)是CPU密集型的。

用Gunicorn做WSGI Server。

圖片

應(yīng)用運行在超過25臺亞馬遜虛擬機(jī)中，這些應(yīng)用都是無狀態(tài)的，可以在需要的時候進(jìn)行擴(kuò)展。

為了在多臺機(jī)器上運行命令（例如部署代碼），Instagram使用了Fabric，它有一個很好用的并行模式，部署只需要幾秒鐘。

數(shù)據(jù)存儲

Session: 用戶請求到達(dá)了應(yīng)用服務(wù)器，接下來它需要獲得這些數(shù)據(jù)：

1.最新的Photo IDs

2.這些Photo ID對應(yīng)的實際照片

3.這些照片的用戶數(shù)據(jù)

Database: PostgreSQL

Session: 應(yīng)用服務(wù)器從PostgreSQL獲取最新的Photo ID，這里保存著用戶和照片的元數(shù)據(jù)。

大部分的數(shù)據(jù)，如用戶，照片元數(shù)據(jù)，標(biāo)簽等都保存在PostgreSQL數(shù)據(jù)庫中。

因為數(shù)據(jù)量不小，每秒鐘有25個照片上傳，并且有90個贊，Instagram對數(shù)據(jù)做了分片。

分片系統(tǒng)由數(shù)千個邏輯分片組成，這些分片在代碼中被映射到少得多的物理分片，用這種辦法，可以從少量的數(shù)據(jù)庫開始，擴(kuò)展到更多的數(shù)據(jù)庫。

當(dāng)擴(kuò)展時，只需要把邏輯分片從一個數(shù)據(jù)庫“指向”另外一個即可，無需挪動任何數(shù)據(jù)。

一個挑戰(zhàn)是：Instagram如何解決Photo ID問題，因為需要能按時間排序，而無需獲得有關(guān)照片的更多信息，理想情況下，ID應(yīng)該是64位的。

后來的解決方案是這樣的：

41位：記錄毫秒時間

13位：邏輯分片ID

10位：自動增長的序列，模數(shù)1024，這意味著每毫秒，每個分片可以生成1024個ID

最終結(jié)果是個64為整數(shù)，可以被PostgreSQL排序，找到最新的照片。

照片的存儲：S3 和Cloudfront

Session: 獲取了Photo ID以后，應(yīng)用服務(wù)器要獲取真正的照片，快速發(fā)給用戶

照片保存在Amazon S3中，存儲了幾個TB的數(shù)據(jù)，通過使用CDN（Amazon CloudFront ），照片可以快速分發(fā)給世界各地的用戶（例如日本，是Instagram第二大受歡迎的國家）

緩存

Instagram 需要將大約 3 億張照片(ID)和創(chuàng)建它們的用戶ID的映射保存起來，以便知道查詢那個分片。

他們選擇了Redis后發(fā)現(xiàn)，為了保存這些映射，Redis需要21GB內(nèi)存，這已經(jīng)大于 Amazon EC2 上的 17GB 實例類型。

后來他們向Redis的核心開發(fā)人員Pieter Noordhuis求助，Pieter建議使用Redis Hash，最終通過巧妙的設(shè)計，這些映射僅需不到5G的內(nèi)存。

對于其他緩存（如session），Instagram使用Memcached，當(dāng)時有6個實例。

圖片

數(shù)據(jù)備份

無論是PostGreSQL還是Redis，都會使用Amazon EBS經(jīng)常性進(jìn)行數(shù)據(jù)備用

通知和異步任務(wù)

Session: 用戶關(guān)閉了App，但是朋友發(fā)送了一張照片，需要發(fā)送一個通知。

Instagram的推送服務(wù)用的是 pyapns, 這是一個開源的、通用的蘋果推送服務(wù)提供商，運行非常穩(wěn)定，為Instagram處理了超過10億條推送通知。

Session:用戶非常喜歡這張照片! 他決定在Twitter何Facebook上分享。

在后臺, 任務(wù)被推送到了Gearman, 這個任務(wù)隊列會保存任務(wù)，Instagram有大約200 Python workers 來處理這些任務(wù)。

圖片

監(jiān)控

Session: Uh oh! 服務(wù)器端發(fā)生了錯誤，Instagram崩潰了，那三個程序員需要收到告警，馬上進(jìn)行處理。

Instagram 使用 Sentry這個開源的應(yīng)用來實時監(jiān)控Python錯誤。

使用Munin來繪制各種系統(tǒng)指標(biāo)的圖表，如果有任何情況超出正常范圍，就會向程序員發(fā)出異常告警。Instagram 有一堆自定義 Munin 插件來跟蹤應(yīng)用程序級別的指標(biāo)，例如每秒發(fā)布的照片、每分鐘注冊人數(shù)等。

對于外部服務(wù)的監(jiān)控，使用了Pingdom ，PagerDuty 用于處理事件和通知。

最終的架構(gòu)

圖片

反思

2009年，我們?nèi)齻€都在比較傳統(tǒng)的軟件公司，互聯(lián)網(wǎng)技術(shù)用得比較少。

像負(fù)載均衡、分庫分表、緩存也是剛剛開始接觸，還沒有在生產(chǎn)系統(tǒng)中大規(guī)模使用的經(jīng)驗。

iPhone還沒在國內(nèi)上市，我們仨手頭都沒有，還在用諾基亞的“智能機(jī)”做測試。

國內(nèi)市場也沒有很好的云服務(wù)作為基礎(chǔ)設(shè)施，當(dāng)時李彥宏表示，云計算只不過是新瓶裝舊酒，15年來沒有新東西，馬化騰則認(rèn)為云計算要像水電一樣用還為時尚早。

如果執(zhí)行力強(qiáng)的話，InstantPost應(yīng)該能做出來，但肯定會遇到很多的坑，想取得一年1000多萬用戶肯定是癡心妄想。

當(dāng)然，這僅僅說明是我們?nèi)齻€比較菜，不是中國程序員不行，中國程序員在互聯(lián)網(wǎng)時代也創(chuàng)造了很多優(yōu)秀的產(chǎn)品，甚至殺到了美國大本營。

我想說的是，很多看起來是風(fēng)口的東西，我們是抓不住的，因為：

我們不是局內(nèi)人。

參考資料：

https://engineercodex.substack.com/p/how-instagram-scaled-to-14-million （本文主體內(nèi)容的來源）

https://instagram-engineering.com/what-powers-instagram-hundreds-of-instances-dozens-of-technologies-adf2e22da2ad

https://instagram-engineering.com/sharding-ids-at-instagram-1cf5a71e5a5c

本文鏈接：http://www.www897cc.com/showinfo-26-34555-0.html三個中國程序員 vs三個美國程序員，不得不承認(rèn)，差距太大了！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： Vue3 學(xué)習(xí)筆記，Vue 簡介及如何引入 Vue3 框架

下一篇： Go 淺析主流日志庫：從設(shè)計層學(xué)習(xí)如何集成日志輪轉(zhuǎn)與切割功能

標(biāo)簽：

熱門焦點

一加首款折疊屏！一加Open渲染圖出爐：罕見單手可握小尺寸

8月5日消息，此前就有爆料稱，一加首款折疊屏手機(jī)將會在第三季度上市，如今隨著時間臨近，新機(jī)的各種消息也開始浮出水面。據(jù)悉，這款新機(jī)將會被命名為“On
分布式系統(tǒng)中的CAP理論，面試必問，你理解了嘛？

對于剛剛接觸分布式系統(tǒng)的小伙伴們來說，一提起分布式系統(tǒng)，就感覺高大上，深不可測。而且看了很多書和視頻還是一臉懵逼。這篇文章主要使用大白話的方式，帶你理解一下分布式系統(tǒng)
企業(yè)采用CRM系統(tǒng)的11個好處

客戶關(guān)系管理（CRM）軟件可以為企業(yè)提供很多的好處，從客戶保留到提高生產(chǎn)力?！　RM軟件用于企業(yè)收集客戶互動，以改善客戶體驗和滿意度?！　RM軟件市場規(guī)模如今超過580
零售大模型“干中學(xué)”，攀爬數(shù)字化珠峰

文/侯煜編輯/cc來源/華爾街科技眼對于絕大多數(shù)登山愛好者而言，攀爬珠穆朗瑪峰可謂終極目標(biāo)。攀登珠峰的商業(yè)路線有兩條，一是尼泊爾境內(nèi)的南坡路線，一是中國境內(nèi)的北坡路線。相
小米公益基金會捐贈2500萬元馳援北京、河北暴雨救災(zāi)

8月2日消息，今日小米科技創(chuàng)始人雷軍在其微博上發(fā)布消息稱，小米公益基金會宣布捐贈2500萬元馳援北京、河北暴雨救災(zāi)。攜手抗災(zāi)，京冀安康！以下為公告原文
小米MIX Fold 3下月亮相：今年唯一無短板的全能折疊屏

這段時間以來，包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都有新的進(jìn)展，其中榮耀、三星都已陸續(xù)發(fā)布了最新的折疊屏旗艦，尤其號榮耀Magi
三星獲批量產(chǎn)iPhone 15全系屏幕：蘋果史上最驚艷直屏

按照慣例，蘋果將繼續(xù)在今年9月舉辦一年一度的秋季新品發(fā)布會，有傳言稱發(fā)布會將于9月12日舉行，屆時全新的iPhone 15系列將正式與大家見面，不出意外的話
滴滴違法違規(guī)被罰80.26億共存在16項違法事實

滴滴違法違規(guī)被罰80.26億存在16項違法事實開始于2121年7月，歷經(jīng)一年時間，網(wǎng)絡(luò)安全審查辦公室對“滴滴出行”網(wǎng)絡(luò)安全審查終于有了一個暫時的結(jié)束。據(jù)“網(wǎng)信
英特爾Xe-HP項目終止，將專注Xe-HPC/HPG系列顯卡

據(jù)10 月 31 日消息報道，英特爾高級副總裁兼加速計算系統(tǒng)和圖形事業(yè)部總經(jīng)理表示，Xe-HP“ Arctic Sound” 系列服務(wù)器 GPU 已經(jīng)應(yīng)用于 oneAPI devcloud 云服

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

三個中國程序員 vs三個美國程序員，不得不承認(rèn)，差距太大了！