Monthly Archives: October 2011

那些台灣軟體產業所缺少的 – 自動化測試

你是否有計算過,你在寫專案的過程中,測試過了多少次的程式? 我想是沒有,我也沒有,但是你是否有曾想過,或是感覺過,隨著專案的膨漲,你要測試的項目也跟著變多了? 這是理所當然的事情,當專案小,測試還算很輕鬆,因為程式的功能不外乎就那幾樣,一轉眼就測完了,常見的寫程式流程會像這樣 撰寫新功能 測試新功能 當然,也有修正bug的情況 修正bug 測試bug 如此一直循環,當你寫了新功能,理所當然地會去測試新功能,看是否如你預期地執行,那舊功能呢? 或許你記憶力不錯,在寫新功能的同時,想到先前某個舊功能是依賴現在改的東西,這麼一改可能會造成舊的功能出問題,於是你也順便測了一下舊的功能,當程式還小 撰寫新功能 測試新功能 測試舊功能 嘿,不怎麼樣吧? 只佔了開發時間的三分之一,好吧那如果有更多的舊功能要測呢? 撰寫新功能 測試新功能 測試舊功能 測試舊功能 測試舊功能 …. 發現了沒有? 隨著你的專案越來越大,如果要確保整個系統所有的功能都是正常運作的,無可避免地,在你修改程式之後要測試的項目會越來越多 這表示你每寫一行新程式的成本增加了,身為以減低成本為傲的島國 國民: 台灣人…,你說,簡單! 不要測舊功能不就好了? 是的,我想這可能就是最常見的情況,不要測試舊功能理所當然地,每寫一行的程式成本都保持一樣很低,但這代表著舊程式可能出錯的風險也跟著增加了,當你喜滋滋地覺得你幫公司省了成本,結果在一個月後因為舊程式缺乏測試,因改動了核心的部份造成舊的功能將所有資料外洩,公司損失慘重,這就是不重視軟體品質的後果 舉真實生活上發生過的例子,PTT曾經有過改程式未經好好地測試,造成每個人都能以管理員的權限登入的事情,知名的檔案同步平台Dropbox,也曾經發生過因為認證的程式改版有bug,造成任何人都可以登入別人帳號的事,我也有曾聽聞一些網站因為工程師為了測試方便,把認證的函數暫時改成 function authenticate(user_id, password) { return true; // do authentication here // … Continue reading

Posted in 中文文章, 分享, 嘴砲, 資訊安全 | Tagged , , , , , , | 5 Comments

那些台灣軟體產業所缺少的 – 版本控制系統

這幾年來,多多少少接觸了不少業界的人,雖然我自己還不算有真正待過業界太久,但是這期間看到不少業界的現象都令我挺驚訝的,例如在聊天時提到你們公司用的版本控制系統是什麼,有很多人都會回答 「那是什麼?」,一直以來這些在國外的主流開發環境都基本常識或是標準配備的東西台灣業界居然很多都連有那樣的工具存在都不知道,或著是對於某些東西有錯誤的認知,所以我想大略提一下常見的幾個問題 版本控制系統 我想這是最常見的毛病,很常發現很多公司在開發軟體時從來都不使用版本控制系統,最誇張的狀況就是管它三七二十一直接修改   除此之外,常見的土法鍊鋼有聽說過資料夾複製,然後將資料夾名稱命名為版本1之類的方法,高級一點還有搭配Excel來記錄改過了什麼之類的 更進階的還有多人共同開發,還架了FTP來放這些檔案 但這些都有很大的問題,而且其會遇到的問題都正好是版本控制系統所要解決的,所以到底是什麼樣的問題非用版本控制系統不可? 首先,用資料夾copy有個很大的問題,一來是copy的過程很容易出錯,而且更糟的是出的錯很難發現,你怎麼從資料夾的內容來判斷這到底是哪個版本? 最常見的做法就是回想你到底在哪個版本改了什麼,然後去看對應的位置,是否有那些改動,但你有可能記得嗎? 要是程式不是你改的呢? 因此依賴資料夾名稱來得知檔案的版本是極度不可靠的做法,再者,如果你不幸改到錯誤的版本,辛辛苦苦改了半天,才發現改到舊版本了,那你要如何把你改的和正確的版本合在一起? 如果你只改了三行,這還好辦,但如果你改了三百行,那該怎麼辦? 用Excel來記錄改動的事項和版本一樣不會有幫助 那多人開發使用FTP來分享檔案呢? 老天,事情更慘了,原先只是你自己的開發,自己改錯了就算了,如今變成多人開發,有時出問題還不是你改的,這樣想好了,FTP上有個檔案 hello.py 今天張三載回去改了,變成 hello.py (張三版) 不幸的是,王五在張三上傳回FTP之前,也載回來改,變成 hello.py (王五版) 接著,張三把它的檔案上傳了,所以FTP上的檔案變成了 hello.py (張三版) 然後好戲發生了,王五也把它改的東西上傳了,所以FTP上的檔案被蓋掉,變成 hello.py (王五版) 發生了什麼事? 張三改的版本被蓋掉了,你可以想見張三在demo給老闆看時發現改的地方被蓋掉了,翻過辦公桌衝過去揍王五的情景了嗎? 像這樣還只是最簡單的情境,以這類土法鍊鋼的方式,還有太多太多預料不到的複雜情況會發生,什麼? 那你說,如果我們規定每人都得把資料夾以自己的名稱命名,加上版號,再上傳,這樣就不會錯了吧? hello_project-王五-rev123/ 拜託,何苦呢 ? 版本控制系統就是用來解決這些問題而開發出來的,學一套新工具有這麼難嗎? 常見的理由可能會有什麼沒時間學、不信任工具等等,事實上那些都不是理由,只要是程式碼的開發,都得使用版本控制系統,現在已經是2011年,如果你的軟體開發沒有使用版本控制系統,我說這不叫落後,這是原始 用了版本控制系統,最重要的好處是 你可以安心地放膽去改程式 … Continue reading

Posted in 中文文章, 分享, 嘴砲 | Tagged , , , | 9 Comments

淺談區域性 (locality)

在設計不同的網路服務系統時,為了能夠有擴展性,通常都會設計成分散式的架構,然而除了架構上的設計,如何部署也是很重要的事,其中有個很重要的議題叫做區域性,因為沒有統一或明確的翻譯慣例,所以以英文來說明較為精確,在這裡指的區域性英文為locality,對於這個議題最近有一點心得 所以,回到主題,到底什麼是區域性? 簡單的來說,就是存取資料或資源時,很常存取或是相關的資料放在一起、或很近的地方的特性,舉個實例,例如假設我們有關於某個使用者的資料,但是使用者相關的資料分散在全球不同的資料庫裡,這時我們就會說,這資料庫的區域性不好,以圖來表示,我們假設使用者的資料分散在美西的DB1、美中的DB2和美東的DB3,而使用者在西雅圖要存取這些資料,就得走很遠的距離到三個很遠的地點存取資料 反言之,如果關於這使用者的資料,都存在離使用者很近的點,而且也都在同樣或是很接近的資料庫裡,那麼存取起來就會較快,這樣一來我們就可以說這樣的資料儲存方式它的區域性比較好,我們假設把同一使用者相關的資料都放在相近的地方,以圖為例,都放在加洲,這樣一來同樣是存取使用者的資料,其中所花的傳輸距離成本就遠比上一個例子來得少,反應速度也會因此較快 一般而言,區域性是越強越好,但是也有例外,那就是當考慮到可得性(availability)的時候,這樣的特性是指資料或資源隨時都可取得的機率高低,如果當我們把雞蛋放在同一個籃子裡,也就是資料都放在同樣的Datacenter裡,一但這個Datacenter對外的網路中斷,或是甚至遇到不可預料的災難時,那麼那些資料都會因此而無法取得,所以除了考慮到存取時的區域性,當資料有一定重要程度時,可得性也是很重要的考量,所以某些情況下,資料分散也是必要的 然而,區域性就表面看來,似乎只要將常用的、相關的資料都放在一起好像就能達成,然而經過仔細思考會發現其實並不是只有這樣,還有需要考慮到存取資料的距離,還有存取要求本身的高低階,在這篇文章我想分享的就是主要在於思考關於區域性設計上的一些理論的心得 請求的相依性與粒度 我發現並不是所有的情況下不佳的地區性都一定會嚴重影響到存取的效能,像是請求的相依性其實對於延遲的影響就非常大,如果說所有的情求都不能同時處理,一定得要上一個完成才能完成下一個的話,這樣一來就會造成每個request的請求都要額外花費一次連線的延遲成本,可以參考下圖 很明顯的,左邊的情況,傳輸距離所造成的影響,會是 請求數量 * (運算成本 + 延遲成本) 右邊的情況是 (請求數量 * 運算成本) + 延遲成本 因此光是請求是否能同步處理,並且是否有前後相依,就會造成相當大的差別,如果請求的數量越多,這樣的成本差距就越大,左邊的例子我們以NoSQL或是 SQL的請求為例子,通常下一道請求都是基於上一道請求的資料而決定的,如果說任務被拆散成很零碎的多道請求,像是有些key-value based的NoSQL資料庫,因為沒有高階的查詢指令,必然會有大量的請求,如此一來如果NoSQL資料庫放在很遠的地方,就會造成光是這之間的傳輸成本就會高得嚇人,而以SQL來看,因為可以盡可能地將多道SQL濃縮為少數幾道查詢,因此同樣的傳輸成本對於SQL資料庫來說,傳輸的成本造成的影響會小一點 而右邊的情況,通常是大量的資料傳輸,例如影音串流,因為上一筆資料無關下一筆資料,以這種情況來看,傳輸的距離不會是太大的問題,只有一開始會有的傳輸延遲 心得 一些簡單的心得就是,當請求是相依的,如果數量不大,那麼其實傳輸的延遲是可以被忽視的,又或著是大量連續的資料傳輸,距離的影響是較小的,如果不考慮連線的品質問題的話,但是如果是有相依特性的請求,數量又大的話,最好資料庫的部署要越接近越好,否則光是連線的延遲成本就相當驚人,就算你的NoSQL資料庫再怎麼快,也沒有任何幫助,甚至會比SQL資料庫還要慢

Posted in 中文文章, 分享 | Tagged , , , , | Comments Off on 淺談區域性 (locality)