Andy

手民

比特幣實現日誌

我八月的技術學習項目是用C語言從頭寫一個比特幣節點。在這裡記錄一下過程。

Repo:https://github.com/blaesus/ctbc

1. 日程規劃

計劃是用八月的4個週末和一些閒暇時間,寫一個比特幣節點出來,最高目標是功能完備,最低目標是比特幣核心機制(區塊驗證)。

我其實沒寫過C,K&R看到一半,連指針都沒用過。這次選C來寫有強迫自己學習的意思。

底層網絡編程(比如拼TCP包)其實我也沒做過,所以也要學。

所以要做得事情還挺多的。

爲什麼覺得一個月業餘真的能寫出點東西了?

第一,我很熟悉JavaScript和TypeScript,畢竟語法都是C系的,C語言只要學特性就好了。

第二,我對比特幣的白皮書讀得比較認真(見本文上游), 概念理解不會又大問題,只需要把實現細節補全就好了。

第三,我統計了中本聰第一版的比特幣代碼,不少,有兩萬行,但是去掉次要的功能(UI、數據庫)和工具庫(運算工具等),其實核心就6000行左右。如果把邊界檢查、錯誤處理、註釋等等去掉,估計真正要寫的就3000行,一個月寫3000行是完全可能的。

第四,無聊和無關原理的事情就用現成的庫,比如SHA256計算等。

2. 開發進程

比特幣協議文檔看這裏:https://en.bitcoin.it/wiki/Protocol_documentation

一開始我用高級語言的思路,先定義transaction、block的數據結構,然後考慮怎麼組合。

不久之後發現,Bitcoin的通訊協議非常底層,C語言也很底層,根本不是瀏覽器裏一句JSON.parse(await fetch(URL)),數據就來了。

所以改變了策略,從節點功能的角度開始實現。

一、找節點

第一步是找其他節點,不然自己跟自己玩,也不知道做對沒有。

要找節點,概念上其實很簡單,先用DNS解析幾個寫死的域名,獲取第一批節點,然後問這些節點,要他們知道的節點。

只是,這個DNS,Node.js就是一句話的事,我寫了一整天,因爲真是非常麻煩。

首先IPv4和IPv6各有一套API(我決定這次只處理IPv4)。

第二,光是IP地址就有幾種形態(系統給你的是二進制uint16,比特幣協議裏用uint8[16]表示,還要寫成可讀形式(1:2:3:4),不然自己都不知道算對了沒有)。IP地址還有endian問題,網絡通訊一般用大頭,Intel和AMD的CPU都是小頭,比特幣傳輸一般是小頭,IP地址和端口又用大頭……方向弄錯了,出來的結果看上去都是對的,就是連不上去,還要自己一個個字節比較。

反正一番折騰,總算找到了另外一百多個節點。

二、通信

找到其他節點,就是要跟他們說話了。

一開始,網絡通訊用的是Unix原生的那一套,socket、connect、listen、bind、accept什麼的,好鬼麻煩。而且,默認是阻塞的。想要異步?自己開進程加鎖吧。

掙扎了一天,決定放棄,網絡編程不作重點研究了,跳過select、epoll什麼的,直接上Node.js的基礎庫libuv。

啊,還是熟悉的配方,還是熟悉的味道,還是熟悉的callback hell。還附帶各種小工具,要是早上libuv,DNS也不用寫一天了。

三、握手

好,能跟節點說話,也能聽到他們說話了,下一步是協議握手(陌生人見面要打招呼,陌生節點見面要握手,才能談正事)。

首先,我要發一個叫version的消息包過去,告訴它我是誰,我玩哪一套規則,然後對面如果覺得大家能玩到一起,就發一個verack包回來。

這個過程,又花了兩個晚上……

爲什麼呢?

要感謝Amir Taaki和Patrick Strateman兩位仁兄。

中本聰設計的version是很簡單的,46個字節,講清楚四件事情:1. 我的版本,2. 我能幹什麼, 3. 幾點發的,4. 消息發給誰。就可以了。

定長的消息最好處理了,struct一定義,memcpy出來,直接發過去,就可以等回信了。

但是這兩位仁兄偏說,version消息要加一個user-agent的數據,節點不止要說自己的版本,還要說清楚自己具體是哪個客戶端和小版本,比如/Satoshi:5.64/bitcoin-qt:0.4/。

這兩個人是做前端出身的吧。

加這個數據就算了,這個數據還要設成不定長字符串。換句話說,整個version消息就是不定長的了,那就要另外找個地方存它的長度。

這還沒完。

這個「不定長字符串」,它的的「長度本身」的長度,也是會變的,可能是1、3、5、9字節。

這是個「不定不定長字符串」。

就爲了這個破user-agent。

反正各種折騰,各種指針倒來倒去,與errno 11鬥志鬥勇。

總算,剛纔,收到其他節點的回信了(就是我發了個version,它們發來verack和version)。

真的很高興(所以纔有這篇文章)。

在地球不知道什麼地方,有一羣機器,對我的機器說:我們聽得懂你的語言。

在互聯網普及、協議成熟的今天,握手成功,太正常了。

可是,用Unix的創始語言,實現一個小衆的協議,然後在茫茫機海之中,找到語言共通的機器,然後確認雙方的對話意願。

感覺回到了80年代。

那個互聯網還是小衆玩意的年代,那個要努力才能連上線的年代,那個經常有人發明通訊協議的年代。

比特幣果然挺好玩的。

之後的有新的進展會再跟大家報告。

verack合影留念

8月12日更新

對面發message,有時候會整個發過來,有時候會只發一個頭,再發個payload過來,所以代碼也要分開處理,不能假設對方一定會全部發過來。

8月19日更新

tx和block是message裏面的大頭,比較複雜,變化也相對多一點,文檔也略差。要自己鑽研一下。

8月29日更新

一個月過去了,實現的經驗已經寫到了:https://github.com/blaesus/ctbc/wiki/Bitcoin-from-Scratch

完成功能:找節點、連接節點、 握手、收區塊鏈(header)、驗證「工作證明」(Proof-of-work)。

部分完成:挖礦(只實現了給定header找nonce)

未完成:交易驗證(尤其是Script實現)、分叉處理、錢包(生成私鑰、公鑰)、JSON-RPC、UI

這個進度我是非常滿意的。

中間卡殼兩次,一次是getheaders請求發出去,怎麼都收不到headers的回覆。後來發現是payload的checksum算錯了(因爲輸入數組的長度算錯了)。第二次是PoW的target跟官方數據有千分之幾的誤差,到三萬多的區塊之後,誤差就大到無法兼容了。後來發現問題是過度矯正了中本聰的2015 off-by-one bug。本來應該是矯正到2015,我矯正多了一位到2014。最後直接看中本聰的實現,一行一行翻譯過來,終於對上了。(中間還犯了另一個錯,把目標設高了8倍,導致本來不應該接受的區塊也接受了,這是測試挖礦功能的時候發現的。)

9月我計劃繼續實現比特幣協議,把主要功能都實現一次。

這個月用C寫比特幣,感覺自己的工程能力又上了一個檔次,真是受益匪淺。

用C寫,就要建立內存模型,處理segment fault什麼的,記住每個變量在棧上還是在堆上,對於我這個寫JS出身的程序員是非常有益的。比特幣使用大量網絡編程技術:TCP連接,發包收包,序列化反序列化。甚至還有二叉樹(算merkle root時有用)。共時庫上了libuv,對Node.js的底層也有了一點接觸。

喜歡我的文章嗎?
別忘了給點支持與讚賞,讓我知道創作的路上有你陪伴。

CC BY-NC-ND 2.0 版權聲明

Bitcoin論文零基礎入門・白皮書閱讀之四

7

看不過癮?

一鍵登入,即可加入全球最優質中文創作社區