- 相關(guān)推薦
C語言分布式系統(tǒng)中的進(jìn)程標(biāo)識
如何為一個程序每次運行 的進(jìn)程取一個唯一標(biāo)識符。也就是說，httpd 程序第一次運行，進(jìn)程是 httpd_1，它原地重啟了，進(jìn)程是 httpd_2。下面是小編為大家搜索整理的C語言分布式系統(tǒng)中的進(jìn)程標(biāo)識，希望大家能有所收獲，更多精彩內(nèi)容請及時關(guān)注我們應(yīng)屆畢業(yè)生考試網(wǎng)!
“進(jìn)程 process”是操作系統(tǒng)的兩大基本概念之一，指的是在內(nèi)存中運行的程序。在日常交流中，“進(jìn)程”這個詞通常不止這一個意思。有時候我們會說 “httpd 進(jìn)程”或者“mysqld 進(jìn)程”，指的其實是 program，而不一定是特指某一個“進(jìn)程”——某一次 fork() 系統(tǒng)調(diào)用的產(chǎn)物。一個“httpd 進(jìn)程”重啟了，它還是“一個 httpd 進(jìn)程”。本文討論的是，如何為一個程序每次運行 的進(jìn)程取一個唯一標(biāo)識符。也就是說，httpd 程序第一次運行，進(jìn)程是 httpd_1，它原地重啟了，進(jìn)程是 httpd_2。
本文所指的“進(jìn)程標(biāo)識符”是用來唯一標(biāo)識一個程序的“一次運行”的。每次啟動一個進(jìn)程，這個進(jìn)程應(yīng)該被賦予一個唯一的標(biāo)識符，與當(dāng)前正在運行的所有進(jìn)程都不同;不僅如此，它應(yīng)該與歷史上曾經(jīng)運行過，目前已消亡的進(jìn)程也都不同(這兩條的直接推論是，與將來可能運行的進(jìn)程也都不同)。“為每個進(jìn)程命名”在分布式系統(tǒng)中有相當(dāng)大的實際意義，特別是在考慮 failover 的時候。因為一個程序重啟之后的新進(jìn)程和它的“前世進(jìn)程”的狀態(tài)通常不一樣，凡是與它打交道的其他進(jìn)程(s)最好能通過它的進(jìn)程標(biāo)識符變更來很容易地判斷該程序已經(jīng)重啟，而采取必要的救災(zāi)措施，防止搭錯話。
本文先假定每個服務(wù)端程序的端口是靜態(tài)分配的，在公司內(nèi)部有一個公用 wiki 來記錄端口和程序的對應(yīng)關(guān)系(然后通過 NIS 或 DNS 發(fā)布)。比如端口 11211 始終對應(yīng) memcached，其他程序不會使用 11211 端口;3306 始終留給 mysqld;3690 始終留給 svnserve。在分布式系統(tǒng)的初級階段，這是通常的做法;到了高級階段，多半會用動態(tài)分配端口號，因為端口號只有 6 萬多個，是稀缺資源，在公司內(nèi)部也有分配完的一天。本文只考慮 TCP 協(xié)議，不考慮 UDP 協(xié)議，“端口”都指的是 TCP 端口。
另外，我們假定在一臺機器上，一個 listening port 同時只能由一個進(jìn)程使用，不考慮古老的 listen() + fork() 模型(多個進(jìn)程可以 accept 同一個端口上進(jìn)來的連接)，關(guān)于這點陳碩已經(jīng)寫的很多，見《Linux 新增系統(tǒng)調(diào)用的啟示 》《多線程服務(wù)器的適用場合 》。
錯誤做法
在分布式系統(tǒng)中，如何指涉(refer to)某一個進(jìn)程呢，或者說一個進(jìn)程如何取得自己的全局標(biāo)識符 (以下簡稱 gpid)?容易想到的有兩種做法：
*ip:port (port 是這個進(jìn)程對外提供網(wǎng)絡(luò)服務(wù)的端口號，一般就是它的 tcp listening port)
*host:pid
而這兩種做法都有問題。為什么?
如果進(jìn)程本身是無狀態(tài)的，或者重啟了也沒有關(guān)系，那么用 ip:port 來標(biāo)識一個“服務(wù)”是沒問題的，比如常見的 httpd 和 memcached 都可以用它們的慣用 port (80 和 11211)來標(biāo)識。我們可以在其他程序里安全地引用(refer to)“運行在 10.0.0.5:80 的那個 http 服務(wù)器”，或者“10.0.0.6:11211 的 memcached”，就算這兩個 service 重啟了，也不會有太惡劣的后果，大不了客戶端重試一下，或者自動切換到備用地址。
如果服務(wù)是有狀態(tài)的，那么 ip:port 這種標(biāo)識方法就有大問題，因為客戶端無法區(qū)分從頭到尾和自己打交道的是一個進(jìn)程還是先后多個進(jìn)程。在開發(fā)服務(wù)端程序的時候，為了能快速重啟，我們一般都會設(shè)置 SO_REUSEADDR，這樣的結(jié)果是前一秒鐘站在 10.0.0.7:8888 后面的進(jìn)程和后一秒鐘占據(jù) 10.0.0.7:8888 的進(jìn)程可能不相同——服務(wù)端程序快速重啟了。
比方說，考慮一個類似 GFS 的分布式文件系統(tǒng)的 master，如果它僅以 ip:port 來標(biāo)識自己，然后它向 shadows (不是 chunk server)下達(dá)同步指令，那么 shadows 如何得知 master 是不是已經(jīng)重啟呢?發(fā)指令的是 master 的“前世”還是“今生”?是不是應(yīng)該拒絕“前世”的遺命?
如果考慮改成 host:pid 這種標(biāo)識方式會不會好一點?我認(rèn)為換湯不換藥，因為 pid 的狀態(tài)空間很小，重復(fù)的概率比較大。比如 Linux 的 pid 的最大值是 32768 (/proc/sys/kernel/pid_max)，一個程序重啟之后，獲得與“前世”相同 pid 的概率是 1/32768�；蛟S有讀者不相信重啟之后 pid 會重復(fù)，因為 pid 是遞增的，遇到上限再回到目前空閑的最小 pid�？紤]一個服務(wù)端程序 A，它的 pid 是 1234，它已經(jīng)穩(wěn)定運行了好幾天，這期間，pid 已經(jīng)增長了幾個輪回(因為這臺機器時常會啟動一些 scripts 執(zhí)行一些輔助工作)。在 A 崩潰的前一刻，最近被使用的 pid 已經(jīng)回到了 1232，當(dāng) A 崩潰之后，某個守護(hù)進(jìn)程啟動一個腳本(pid = 1233)來清理 A 的 log，然后再重啟 A 程序;這樣一來，重啟之后的 A 程序的 pid 碰巧和它的前世相同，都是 1234。也就是說，用 host:pid 不能唯一標(biāo)識進(jìn)程。
那么合在一起，用 ip:port:pid 呢?也不能做到唯一。它和 host:pid 面臨的問題是一樣的，因為 ip:port 這部分在重啟之后不會變，pid 可能輪回。
我猜這時有人會想，建一個中心服務(wù)器，專門分配系統(tǒng)的 gpid 好了，每個進(jìn)程啟動的時候向它詢問自己的 gpid。這錯得更遠(yuǎn)：這個全局 pid 分配器的 gpid 由誰來定?如何保證它分配的 gpid 不重復(fù)(考慮這個程序也可能意外重啟)?它是不是成為系統(tǒng)的 single point of failure?如果要對該 gpid 分配器做容錯，是不是面臨分布式系統(tǒng)的基本問題：狀態(tài)遷移?
還有一種辦法，用一個足夠強的隨機數(shù)做 gpid，這樣一來確實不會重復(fù)，但是這個 gpid 本身也沒有多大額外的意義，不便于管理和維護(hù)(比方說根據(jù) gpid 找到是哪個機器上運行的哪個進(jìn)程)。
正確做法：以四元組 ip:port:start_time:pid 作為分布式系統(tǒng)中進(jìn)程的 gpid，其中 start_time 是 64-bit 整數(shù)，表示進(jìn)程的啟動時刻(UTC 時區(qū)，muduo::Timestamp)。理由如下：
*容易保證唯一性。如果程序短時間重啟，那么兩個進(jìn)程的 pid 必定不重復(fù)(還沒有走完一個輪回：就算每秒創(chuàng)建 1000 個進(jìn)程，也要 30 多秒才會輪回，而以這么高的速度創(chuàng)建進(jìn)程的話，服務(wù)器已基本癱瘓了。);如果程序運行了相當(dāng)長一段時間再重啟，那么兩次啟動的 start_time 必定不重復(fù)。(見下文關(guān)于時間重復(fù)的解釋)
*產(chǎn)生這種 gpid 的成本很低(幾次低成本系統(tǒng)調(diào)用)，沒有用到全局服務(wù)器，不存在 single point of failure。
*gpid 本身有意義，根據(jù) gpid 立刻就能知道是什么進(jìn)程(port)，運行在哪臺機器(ip)，是什么時間啟動的，在 /proc 目錄中的位置 (/proc/pid) 等，進(jìn)程的資源使用情況也可以通過運行在那臺機器上的監(jiān)控程序報告出來。
*gpid 具有歷史意義，便于將來追溯。比方說進(jìn)程 crash，那么我知道它的 gpid，就可以去歷史記錄中查詢它 crash 之前的 cpu/mem 負(fù)載有多大。
如果僅以 ip:port:start_time 作為 gpid，則不能保證唯一性，如果程序短時間重啟(間隔一秒或幾秒)，start_time 可能會往回跳變(NTP 在調(diào)時間)或暫停(正好處于閏秒期間)。關(guān)于時間跳變的問題留給下一篇博客《〈程序中的日期與時間〉第二章：計時與定時》，簡單地說，計算機上的時鐘不一定是單調(diào)遞增的。
沒有 port 怎么辦?一般來說，一個網(wǎng)絡(luò)服務(wù)程序會偵聽某個端口來提供服務(wù)，如果它是個純粹的客戶端，只主動發(fā)起連接，沒有主動偵聽端口，gpid 該如何分配呢?根據(jù)陳碩在《分布式系統(tǒng)的工程化開發(fā)方法 》一文中的觀點“在程序里內(nèi)置 http 服務(wù)器”，分布式系統(tǒng)中的每個長期運行的、會與其他機器打交道的進(jìn)程都應(yīng)該提供一個管理接口，對外提供一個維修探查通道，可以查看進(jìn)程的全部狀態(tài)。這個管理接口就是一個 TCP server，它會偵聽某個 port。
使用這樣的維修通道的一個額外好處是，可以自動防止重復(fù)啟動程序。因為如果重復(fù)啟動，bind 到那個運維 port 的時候會出錯(端口已被占用)，程序會立刻退出。更妙的是，不用擔(dān)心進(jìn)程 crash 沒來得及清理鎖(如果用跨進(jìn)程的 mutex 就有這個風(fēng)險)，進(jìn)程關(guān)閉的時候操作系統(tǒng)會自動把它打開的 port 都關(guān)上，下一個進(jìn)程可以順利啟動。
進(jìn)一步，還可以把程序的名稱和版本號作為 gpid 的一部分，這起到錦上添花的作用。
TCP 協(xié)議的啟示
我在《分布式系統(tǒng)的工程化開發(fā)方法 》中提到“從 TCP 協(xié)議能學(xué)到什么?”，今天講的這個 gpid 其實也是由 TCP 協(xié)議啟發(fā)而來。TCP 用 ip:port 來表示 endpoint，兩個 endpoint 構(gòu)成一個 socket。這似乎符合一開始提到的以 ip:port 來標(biāo)識進(jìn)程的做法。其實不然。在發(fā)起 TCP 連接的時候，為了防止前一次同樣地址的連接(相同的 local_ip:local_port:remote_ip:remote_port)的干擾(稱為 wandering duplicates ，即流浪的 packets)，TCP 協(xié)議使用 seq 號碼(這種在 SYN packet 里第一次發(fā)送的 seq 號碼稱為 initial sequence number, ISN)來區(qū)分本次連接和以往的連接。TCP 的這種思路與我們防止進(jìn)程的“前世”干擾“今生”很相像。內(nèi)核每次新建 TCP 連接的時候會設(shè)法遞增 ISN 以確保與上次連接最后使用的 seq 號碼不同。相當(dāng)于說把 start_time 加入到了 endpoint 之中，這就很接近我們后面提到的“正確的 gpid”做法了。(當(dāng)然，原始 BSD 4.4 的 ISN 生成算法有安全漏洞，會導(dǎo)致 TCP sequence prediction attack，Linux 內(nèi)核已經(jīng)采用更安全的辦法來生成 ISN。)
【C語言分布式系統(tǒng)中的進(jìn)程標(biāo)識】相關(guān)文章：
C語言標(biāo)識符的分類02-06
解析Linux系統(tǒng)中的進(jìn)程調(diào)度06-19
解讀Linux系統(tǒng)中的進(jìn)程調(diào)度08-01
Linux系統(tǒng)中的守護(hù)進(jìn)程講解02-24
C語言入門知識：標(biāo)識符03-28
Linux系統(tǒng)中查殺僵尸進(jìn)程方法介紹03-01
系統(tǒng)進(jìn)程是什么05-22