CPU和GPU之所以大不相同,是由于其設計目標的不同,它們分別針對了兩種不同的應用場景。CPU需要很強的通用性來處理各種不同的數據類型,同時又要邏輯判斷又會引入大量的分支跳轉和中斷的處理。這些都使得CPU的內部結構異常復雜。而GPU面對的則是類型高度統一的、相互無依賴的大規模數據和不需要被打斷的純凈的計算環境。
這個視頻,非常具象的表述了CPU和GPU在圖像處理時的不同的原理和方法??吹紾PU的模型噴射出的一瞬間,你就秒懂了。
根據上面視頻中的比喻,你應該很清楚CPU和GPU就呈現出非常不同的架構:
綠色的是計算單元
橙紅色的是存儲單元
橙黃色的是控制單元
GPU采用了數量眾多的計算單元和超長的流水線,但只有非常簡單的控制邏輯并省去了Cache。而CPU不僅被Cache占據了大量空間,而且還有有復雜的控制邏輯和諸多優化電路,相比之下計算能力只是CPU很小的一部分。
GPU 如何加快軟件應用程序的運行速度
GPU 加速計算可以提供非凡的應用程序性能,能將應用程序計算密集部分的工作負載轉移到 GPU,同時仍由 CPU 運行其余程序代碼。從用戶的角度來看,應用程序的運行速度明顯加快.
GPU 與 CPU 性能比較
理解 GPU 和 CPU 之間區別的一種簡單方式是比較它們如何處理任務。CPU 由專為順序串行處理而優化的幾個核心組成,而 GPU 則擁有一個由數以千計的更小、更高效的核心(專為同時處理多重任務而設計)組成的大規模并行計算架構。
從上圖可以看出:
Cache, local memory: CPU > GPU
Threads(線程數): GPU > CPU
Registers: GPU > CPU
SIMD Unit(單指令多數據流,以同步方式,在同一時間內執行同一條指令): GPU > CPU。
CPU 基于低延時的設計:
CPU有強大的ALU(算術運算單元),它可以在很少的時鐘周期內完成算術計算。
當今的CPU可以達到64bit 雙精度。執行雙精度浮點源算的加法和乘法只需要1~3個時鐘周期。
CPU的時鐘周期的頻率是非常高的,達到1.532~3gigahertz(千兆HZ, 10的9次方).
大的緩存也可以降低延時。保存很多的數據放在緩存里面,當需要訪問的這些數據,只要在之前訪問過的,如今直接在緩存里面取即可。
復雜的邏輯控制單元。當程序含有多個分支的時候,它通過提供分支預測的能力來降低延時。
數據轉發。 當一些指令依賴前面的指令結果時,數據轉發的邏輯控制單元決定這些指令在pipeline中的位置并且盡可能快的轉發一個指令的結果給后續的指令。這些動作需要很多的對比電路單元和轉發電路單元。
GPU是基于大的吞吐量設計
GPU的特點是有很多的ALU和很少的cache. 緩存的目的不是保存后面需要訪問的數據的,這點和CPU不同,而是為thread提高服務的。如果有很多線程需要訪問同一個相同的數據,緩存會合并這些訪問,然后再去訪問dram(因為需要訪問的數據保存在dram中而不是cache里面),獲取數據后cache會轉發這個數據給對應的線程,這個時候是數據轉發的角色。但是由于需要訪問dram,自然會帶來延時的問題。
GPU的控制單元(左邊黃色區域塊)可以把多個的訪問合并成少的訪問。
GPU的雖然有dram延時,卻有非常多的ALU和非常多的thread. 為啦平衡內存延時的問題,我們可以中充分利用多的ALU的特性達到一個非常大的吞吐量的效果。盡可能多的分配多的Threads.通常來看GPU ALU會有非常重的pipeline就是因為這樣。
所以與CPU擅長邏輯控制,串行的運算。和通用類型數據運算不同,GPU擅長的是大規模并發計算,這也正是密碼破解等所需要的。所以GPU除了圖像處理,也越來越多的參與到計算當中來。
GPU的工作大部分就是這樣,計算量大,但沒什么技術含量,而且要重復很多很多次。就像你有個工作需要算幾億次一百以內加減乘除一樣,最好的辦法就是雇上幾十個小學生一起算,一人算一部分,反正這些計算也沒什么技術含量,純粹體力活而已。而CPU就像老教授,積分微分都會算,就是工資高,一個老教授資頂二十個小學生,你要是富士康你雇哪個?GPU就是這樣,用很多簡單的計算單元去完成大量的計算任務,純粹的人海戰術。這種策略基于一個前提,就是小學生A和小學生B的工作沒有什么依賴性,是互相獨立的。很多涉及到大量計算的問題基本都有這種特性,比如你說的破解密碼,挖礦和很多圖形學的計算。這些計算可以分解為多個相同的簡單小任務,每個任務就可以分給一個小學生去做。但還有一些任務涉及到“流”的問題。比如你去相親,雙方看著順眼才能繼續發展。總不能你這邊還沒見面呢,那邊找人把證都給領了。這種比較復雜的問題都是CPU來做的。
總而言之,CPU和GPU因為最初用來處理的任務就不同,所以設計上有不小的區別。而某些任務和GPU最初用來解決的問題比較相似,所以用GPU來算了。GPU的運算速度取決于雇了多少小學生,CPU的運算速度取決于請了多么厲害的教授。教授處理復雜任務的能力是碾壓小學生的,但是對于沒那么復雜的任務,還是頂不住人多。當然現在的GPU也能做一些稍微復雜的工作了,相當于升級成初中生高中生的水平。但還需要CPU來把數據喂到嘴邊才能開始干活,究竟還是靠CPU來管的。
什么類型的程序適合在GPU上運行?
(1)計算密集型的程序。所謂計算密集型(Compute-intensive)的程序,就是其大部分運行時間花在了寄存器運算上,寄存器的速度和處理器的速度相當,從寄存器讀寫數據幾乎沒有延時。可以做一下對比,讀內存的延遲大概是幾百個時鐘周期;讀硬盤的速度就不說了,即便是SSD, 也實在是太慢了。
(2)易于并行的程序。GPU其實是一種SIMD(Single Instruction Multiple Data)架構, 他有成百上千個核,每一個核在同一時間最好能做同樣的事情。
CPU會利用較高的主頻、cache、分支預測等技術,使處理每條指令所需的時間盡可能少,從而減低具有復雜跳轉分支程序執行所需的時間。GPU則通過數量喪心病狂的流處理器實現大量線程并行,使同時走一條指令的數據變多,從而提高數據的吞吐量。
舉個GPU通用計算教材上比較常見的例子,一個向量相加的程序,你可以讓CPU跑一個循環,每個循環對一個分量做加法,也可以讓GPU同時開大量線程,每個并行的線程對應一個分量的相加。CPU跑循環的時候每條指令所需時間一般低于GPU,但GPU因為可以開大量的線程并行地跑,具有SIMD(準確地說是SIMT)的優勢。
再以挖BIT幣舉例:
比特幣的挖礦和節點軟件是基于P2P網絡、數字簽名、密碼學證據來發起和驗證交易的。節點向網絡廣播交易,這些廣播出來的交易在經過礦工的驗證后,礦工用自己的工作證明結果來表達確認,確認后的交易會被打包到數據塊中,數據塊會串起來形成連續的數據塊鏈。
每一個比特幣的節點都會收集所有尚未確認的交易,并將其歸集到一個數據塊中,這個數據塊會和前面一個數據塊集成在一起。礦工節點會附加一個隨機調整數,并計算前一個數據塊的SHA-256哈希運算值。挖礦節點不斷重復進行嘗試,直到它找到的隨機調整數使得產生的哈希值低于某個特定的目標。
如果希望判定一個人提供的的信息是本著正常使用,具備一定價值的。那么我們傾向認為提供這個信息的人,愿意為此付出一定工作量來證明他的誠實。假如有一種機制,能夠容易的證明提供信息的人為此付出了一定工作量,那么此信息是可以接受,并被認為合理的。
比如,我收郵件的時候,做了一個規定:“把郵件內容數據,加入一個隨機數,求一個sha256散列數值。這個散列值一共256bit 。前20bit 必須都為0”.這樣,要給我發信的人,就必須反復嘗試一個隨機數,以保證郵件內容數據加上這個隨機數,能夠產生sha256 的結果------前20bit 都是0.(這個計算過程本身毫無意義)。如何產生出指定要求的整數?完全靠運氣和CPU 運算時間。這就是一個工作量。工作本身毫無意義。但是如果誰愿意付出這個工作量,就意味著他給我的郵件多半是有意義的。這就叫“工作量證明”。也就是意味著這個人很有可能是誠實的。這里把郵件換成Block也是等效的。這個機制被廣泛用于防止垃圾郵件等。因為群發垃圾郵件的人,不可能有那么多時間去給每個人算一個毫無意義的數字,浪費時間,降低發垃圾郵件的效率。挖礦的目的是確認交易。尋找隨機數的過程是為了保證每一個挖礦節點不會往外發送垃圾block。發送的BlockId是這個Block的Hash,它必然是首20bit為0的。
可以預見的是對于比特幣的Hash計算而言,它幾乎都是獨立并發的整數計算,GPU簡直就是為了這個而設計生產出來的。相比較CPU可憐的2-8線程和長度驚人的控制判斷和調度分支,GPU可以輕易的進行數百個線程的整數計算并發(無需任何判斷的無腦暴力破解乃是A卡的強項)。 OpenCL可以利用GPU在片的大量unified shader都可以用來作為整數計算的資源。而A卡的shader(流處理器)資源又是N的數倍(同等級別的卡)。
比特幣早期通過CPU來獲取,而隨著GPU通用計算的優勢不斷顯現以及GPU速度的不斷發展,礦工們逐漸開始使用GPU取代CPU進行挖礦。前面我們已經介紹,比特幣挖礦采用的是SHA-256哈希值運算,這種算法會進行大量的32位整數循環右移運算。有趣的是,這種算法操作在AMD GPU里可以通過單一硬件指令實現,而在NVIDIA GPU里則需要三次硬件指令來模擬,僅這一條就為AMD GPU帶來額外的1.7倍的運算效率優勢。憑借這種優勢,AMD GPU因此深受廣大礦工青睞。
現在你知道為什么AMD搞得跟藍翔技校似得了吧?