[IT Architecture] Oracle 11G VERSUS MS-SQL Server 2008

Oracle 和 MS-SQL 之間的比較已經是不少網友茶餘飯後的話題. 就在 Oracle 11G和 MS-SQL 2008陸續現身後, 一篇新的比較報告可供大家參考! 重點是此報告號稱使用 Oracle一年相較 MS-SQL可省下三萬三千多美元. 報告重點如下:

• DBA執行常態的資料庫管理功能時, 平均花費時間上來比較, Oracle比 MS-SQL 少掉41%的時間.

• 就執行步驟而言, Oracle比起MS-SQL少掉43%的步驟, 根據 Edison 的複雜度矩陣研究.
  
• 就 DBA的生產力而言, 因為前兩點的貢獻, Oracle的DBA平均可多節省 $33,520.47/每年.
• 就備份和還原而言, Oracle比起MS-SQL除了架構和功能上的優勢以外, 就操作面而言還少掉53%的時間/60%的步驟.
  
• 就效能校調方面, Oracle也比MS-SQl省掉87%的時間.

當然看完這篇報告, 肯定氣死不少MS-SQL的死忠者. 但是公說公有理, 婆說婆有理, 有興趣的人可以從連結的網址找到完整的報告, 也許比較有客觀的評估.

[PL/SQL] 動手開發PL/SQL專案前的第一步

PL/SQL, 這個在 Oracle 世界中最適合做資料處裡的開發工具. 素以執行效率佳, 和 Oracle 整合度高, 開發簡單廣受開發人員喜愛. 但是開發簡單後面的涵義是: 程式開發的品質如何控制? 品質涵蓋的層面很廣, 符合使用者需求, 效能好和程式的可維護性! 這一期的Oracle雜誌，PL/SQL Guru - Steven Feuerstein 發表一篇文章談到,一個PL/SQL開發團隊從哪幾個點切入可以有效控制程式品質和達到使用者需求, 在第一時間就將後續的開發架構架構好!

1. Correct:符合使用者需求
這裡談到的是正確性，所謂正確性就是正確的達到使用者的需求，當然一大半是需求＆系統分析的事情，這裡Oracle管不著. 但是使用者的需求瞭解後，開發人員如何確定程式有做到該做的事呢？ 單元測試在當中扮演一個重要的角色，多數開發團隊會要求開發人員在程式開發完後提交單元測試報告，但是單元測試多由開發人員自行定劇本自行測試，涵蓋度和正確度如何無從得知？這時所謂的自動化測試（Automated regression test)就是一個重要的工具. 坊間常見的工具有 utPLSQL, PLUTO, PL/Unit, DBFit, Quest Code Tester. 這些工具的產品網址都在連接中，另外除了最後一個是要錢以外，其他看了都是Open Source的，大家有興趣可以試試！ 哪天也要自己的team試試，再將結果PO出來！

2. Fast Enough:效能好

• Optimizing Compiler
  可參考以下文件有詳細說明. 在10G 後就有這項功能, 主要目的在提升PL/SQL在 runtime的效能. 而做法則是在 compile時, 使用不同的優化(Optimization)手段. 它是透過以下參數去控制,"PLSQL_OPTIMIZE_LEVEL".
• Bulk processing
  透過此工具, 將原始一筆一筆的處理方式轉換為多筆批次處理. 這篇文章對效能的提升有一些實驗和驗證(該文章號稱有三十倍快).
  
• Pipelined table function
  允許不同的 PL/SQL 間的資料傳遞不必受限於僅只傳遞參數而可以傳遞 ResultSet並且不用額外建立Table. 尤其在 ETL程式裡, 資料不必透過實體Table處理而是直接透過 Pipelined table傳遞, 對效能有一定的助益. 可以參考這篇文章.
  
• Function result cache
  可以參考這篇文章, 有完整的介紹. 簡短的說, function result cache的好處在, 當主程式呼叫另外的 PL/SQL function時, 這個 PL/SQL function可能含 SQL. 這會造成所謂的 Context Switch和 IO的增加. 因此 function result cache可以透過語法(Create function XXX (I1 varchar2) return varchar2 Result_Cache is) 設定將該 PL/SQL function的結果快取(Cached)起來, 加快處理速度.
• Native compilation
  參考"Optimizing Compiler"的文章, 所謂 Native Compilation就是將PL/SQL編譯成 C語言, 直接和Oracle整合, 效能較佳.
  

3. Maintainable:程式的可維護性

• Naming conventions & Syntax standards
  變數和程式名稱的命名規則應該都要有文件作規範.
  
• Writing SQL in PL/SQL
  SQL的產生應該有一個獨立的Data Access Layer而不是任由開發人員在PL/SQL中 Hardcode. 透過這個Layer, 將SQL的複雜邏輯隱藏起來,以利後續的維護和開發.
  
• Error Management
  統一的 Error Handling 機制和模組.
  
• Application Tracing
  統一的tracing 機制和模組,可參考文章.
  
• Version control and backups
  版本備份, 我的團隊是用 Daily 從 Metadata中備份PL/SQL至檔案中, 以利未來查詢之用.

上面談的規矩都是規矩, 開發人員是否遵守又是另外一件事情?這時候適時的 Code review是有必要的,確認開發人員有確實遵守規定.
在你組成PL/SQL開發團隊前, 可以將上述的建議當成 Check List來確認開發團隊是否可以正確開發出快速且維護性高的系統.

[Career] IT 的價值何在?

近來心情低落, 因為本人負責公司的ERP系統開發, 已經忙到不行，但是使用者卻始終對IT充滿抱怨. 不是抱怨Request排的時程太晚，緩不濟急就是對系統規則不瞭解，卻不斷抱怨是系統問題. 這時所有IT人員面對了一個同樣的問題, 就是IT的價值到底在哪裡?

事情的引發點是本公司的採購經理和資財經理對IT的需求常常是將IT視為魔術師. 怎謂魔術師呢? 舉例而言: 現有的請採購流程對採購人員而言負擔較重而採購經理在其副總的人員精簡要求之下, 提出了流程改善的需求. 但是問題來啦: 採購流程不是只和採購人員相關, 此流程和倉管 , 財務, IQA 無不關係甚鉅. 因此要決定新的流程之前, 一定要和舊流程比較去瞭解之間差異以及對相關部門的影響. 但是採購經理眼高手低, 只看大方向不管細節, 他指定出來談系統流程的人員也是鴉鴉烏，對流程一知半解. 流程無法合理化怎麼談系統化呢? 眼看副總壓力不減, 就拿著副總令箭要求IT限期將他談出來2266的新流程在我們家已經殘破不堪的SAP中做改善! 這時大概只有魔術師才能實現採購經理的夢想.

另外一個問題就是很多IT的系統開發完成後, 通常落得無人使用的下場. 為何? 因為很多公司內部Top-Down的專案都有很高的理想性, 但因為Top-Down, 不得不做. 接手專案的人也不願多花時間去思考公司高層的真正目的去勾勒出叫可行的方案. 而硬要IT根據不合理的流程去開發系統來應付高層指示. 所以本公司光的 Issue Tracking 的系統就有好幾套, 每套壽命都不長.

唉! 這真是IT的宿命嗎? 上週遇上一名來自西門子的工程師, 席間談及IT的權責問題. 他說在西門子的IT對他們使用者的服務的模式, 舉例而言, 如下:
- 網路頻寬可選擇, 2M, 5M或10M 都可以, 但是要付費而且是新台幣.
- 要找IT談需求可以, 談一小時, 多少錢. 兩小時多少錢, 一率照算.

這有甚麼好處? 舉例而言:
- 常常公司高層會要求IT提供資料去看有沒有公司員工在上班時間濫用公司網路上一些色情網站.但是今天試想如果頻寬是使用者付費, 第一個部門經理一定會視需求去決定頻寬, 因為要求過多的頻寬只會墊高部門成本. 在適當的頻寬之下, 只要有員工上網浪費頻寬就會造成其他正常使用網路員工的不便. 這時部門經理會主動管理這件事情, IT有沒有工具相對就不是那麼重要.

- 使用者會更加主動的瞭解自身的作業流程以及此流程和其他部門的影響. 因為若不瞭解, 不斷的對IT提出新的需求, 一樣造成部門成本的問題. 當使用者可以將需求品質提升, IT也可以將精力留給更多需要IT幫忙的部門, 整個公司也才可以透過系統的力量更快速成長而不是每天將精力耗費在不完整的需求上面不斷的修改系統.

但是要做到這個程度其實有相當程度的困難, 就是如何精準的量化IT的服務. 另外就是為了將IT服務費用化, 所產生的管理成本是否是公司所願意承擔? 種種問題都待深為IT的你我多思考!

以下的IT服務費用化的一些文章, 供大家參考!

http://www.cioupdate.com/budgets/article.php/3483756/IT-Cannot-be-a-Profit-Center.htm

http://www.zdnet.com.tw/enterprise/technology/0,2000085680,20103371,00.htm

http://www.ithome.com.tw/itadm/article.php?c=50165

http://www.risnews.com/ME2/dirmod.asp?sid=598EAD7FB93F43D6B43B76311F2C2119&nm=&type=Blog&mod=View+Topic&mid=67D6564029914AD3B204AD35D8F5F780&tier=7&id=13CB00EEE1AE452585A8A1D6BAFAE64E

[ERP] 甲骨文搶走SAP客戶

今天一篇來自中時新聞的這篇文章, 節錄部分於下:
==================================================================
甲骨文搶走SAP客戶

• 工商時報 2009-06-23
• 
  
• 【鍾志恒／綜合外電報導】

　美國的甲骨文與德國的思愛普（SAP）是商用軟體市場上的死對頭，互不相讓，然而近來甲骨文大肆併購，對SAP造成莫大威脅，搶走不少SAP的客戶，讓SAP第一季新軟體銷售大跌。在此同時，市場專家也看好甲骨文前景，並且看淡SAP。專家指出，在與甲骨文的競爭中，SAP已屈居下風，若不再思振作，其為商業管理軟體霸主的地位可能因此拱手讓人。

==================================================================

原文部分在此, 原文的解說較完整但談的重點還是Oracle在經過這幾年的併購整合後, 提供企業 One-Stop Shopping(一站買足), 整體成本較低. 因此有後來居上之勢.

本人服務的公司在2008年正式導入SAP ERP後至今已一年半, 大小問題仍然不斷. 這些問題的源頭到不在SAP產品的瑕疵(當然有一部分), 主要問題在SAP ERP的產品策略問題.

怎麼說問題和產品策略有關呢? 如同大家所知, SAP的產品策略強調所謂的 Best Practice, 也就是遵循SAP所建議的作業模式和流程設計為主體若有差異在透過設定(Config)去調整, 但這衍生了幾個問題.

1. SAP ERP將所有不同產業和商業模式全部含跨在一個產品裡, 造成產品本身的複雜度極高, 因此不要講我們這些MIS, 就算SAP原廠或者一些外商顧問大概都很難搞清楚全貌. 所謂的設定(Config), 複雜到不行.

2. 產品的複雜造就下一個問題就是ERP系統的後續改善和維護問題, MIS多數是見樹不見林的在和使用者談需求和改系統. 原因就是產品的複雜性造成. 這時SAP一定會說, 買顧問的 Man-day 來協助MIS啊? 哈!有多少公司負擔得起長期支付顧問的費用啊? (一天兩萬四千元起跳). 而且如同第一點所講, 這些顧問也許經驗稍多但是面對SAP這座黑森林, 很多問題也不是一十半刻可以給答案.

這時很不幸的, 本公司屬於IC代工產業, 內部流程直接或間接的受到客戶端供應鏈設計的影響(本公司有上百家客戶), 因此很難定義出所謂的 Best Practice. 內部的流程都釐不出頭緒, 又要如何和SAP的 Best Practice作差異分析. 因此討論出來的系統就是'Add-On' 在'Add-On', PP(Production Planning) & MM (Material Management) & SD (Sales Dietribution) 幾乎80%以上都是外掛程式, 只有財務相關模組倖免於難. 這時前面兩點談的問題加上第三點又讓問題變更複雜, 就是所謂的 'Add-On' 的語言ABAP的架構, 和SAP的標準程式的架構有很多問題. 舉例而言,很多外掛程式的設計是將一個使用者的動作前半部利用標準程式做, 後半部用外掛程式. 這時使用者的操作過程中發生異常, 請問整個交易可以Rollback嗎? 答案是不行, 這時可憐的MIS就要半夜起床幫使用者查問題, 更正資料. 哈! 怎麼也沒想到這麼昂貴的SAP居然提供這樣的架構. 交易的ATOMIC不是系統架構的基本觀念嘛?

另外對IT人員而言, Oracle走的是比較開放的架構而且相對而言, 外掛程式的開發較容易. 因此很樂見Oracle慢慢後來居上, 看看公司三五年後能否有機會, 轉換平台, 讓大家的日子好過點.

但是其實網路上還有一篇文章, 談的是不論是SAP或者 Oracle, 他們的商業模式都有一樣的問題, 若沒有改善, 在下個十年應該會面臨市佔下滑的問題.(這篇文章的作者是另外一家ERP廠商, 因此也許部分言論會有所偏瓿, 但是還是有可取之處). 他談到SAP和Oracle有以下問題:

1. 貴: 產品貴, 導入費用貴, 每年的維護費更貴而且還是看使用者帳號收費(一年一個帳號十幾萬, 三千人規模的公司買一百個帳號, 年繳就要一千多萬), MIS的開發帳號照樣按人頭收費, 更貴, 一年二十幾萬. 以上是以SAP為例, Oracle應該便宜一點.

2. 不滿意: 所謂不滿意來自 SAP & Oracle的顧問都是以第三方顧問為主, 如同前文所言, 這些顧問能否見樹見林, 再說吧! 因此客戶當然不會滿意!!!

[Oracle News] Oracle 進軍小筆電(NetBook) - 併購昇揚後續

就在四月份的文章, 談過 Oracle 併購昇陽對商業智慧和資料倉儲的影響, Larry Ellison又出招了. 果然, Oracle對硬體的興趣越來越濃, 進軍昇陽只是第一步而已. 昇陽的 Java 技術搭配其硬體專長, 進軍目前當紅的小筆電市場是有一定的機會.

小筆電代表的不是只有輕薄短小而已, 它更大的象徵意義是將電腦的使用更加生活化, 讓上網變得更輕鬆更加無處不在. 他的商機也被Larry Ellison 看出來, 因此不讓 Acer(剛推出搭配 Google Andorid的筆電) 和 Asus 等台系廠商專美於前, Oracle也將揮軍前進此市場.

在可攜式(Portable)的平台上執行程式原本就是 Java的專長, 只是近來被 Google和 Apple搶盡鋒頭, 看來昇陽在注入 Oracle的活水後, 是時候在重建 Java 威風了!

[SQL Tune] Hard Parse vs. Soft Parse

Parse 是SQL在執行前的一個重要步驟，也是DBA在調整效能時的一個重要參考指標. Parse可以分為Hard-Parse和Soft-Parse，其介紹如下：

- Hard parse
當 SQL執行時，當Oracle發現在shared pool中找不到相同的SQL時，Oracle就會做Hard-Parse的動作. 他包含以下動作：
* 檢查該SQL的語法
* 檢查執行該SQL的相關權限
* 在shared pool中配置memory給該SQL.
* 做查詢轉換(Query Transformation)：當有用到Materialized View時做Table的轉換.
* 最佳化(Optimization)：就是產生 Execution Plan，這大概是最耗費CPU的動作.
* 產生執行物件（用VB的講法就是執行檔）
由上面的動作可以知道，Hard-Parse是一個昂貴的動作. 所謂昂貴就是只從Latch的使用到CPU時間的耗用等等.

- Soft parse
相較於Hard-Parse，如果該SQL在shared pool中找到相同的SQL時，Oracle就會做Soft-Parse的動作. 它只會包含前述的步驟1-2. 至於何謂相同的SQL？這時就要瞭解何謂Bind Variable?以下兩個SQL對Oracle來說就是不同的SQL.

select * from X1 where A1='1';
select * from X1 where A1='2';

使用Bind Vriable，才可以將兩句SQL的語法統一如下：

select * from X1 where A1=:X;
:X='1'

至於程式是否使用到Bind Variable則端視應用系統的架構而定，本人服務的公司使用的MES系統是3-tier，但是就是中間層，也就是Application Server並未使用Bind Variable，造成DBA在校調系統時碰到很大的困難. 因為整個系統的延展性(Scalable)很差，導因於每個SQL都被Oracle視為不同的SQL，都要做一次編譯，CPU資源的耗費可想而知.

所以Bind Variable雖然是一個簡單的觀念，卻是開發Oracle應用程式時必要的觀念！

Tom有更精闢的解說在此!

[SQL Tune] 用 Oracle Constraint 改善 Query 效能

多數人在 tune SQL 採用的方式多從 Index 或 Join的方式著手. Oracle Optimizer在決定一個 Execution Plan時會有以下的考量:

1. The query to optimize
2. All available database object statistics
3. System statistics(CPU, I/O,..)
4. Initialization parameters
5. Constraints

看到第五項嗎? 原來Constraint也是Oracle在決定Execution Plan時的考慮因素之ㄧ. Constraint對多數人而言是確保資料一致性的最後一道關卡, 但對SQL效能而言也有一定幫助, 且看以下說明:

Constraint --> Check

當SQL遇到 Check constraint時, 若 Check有限制某欄位的值而查詢條件又恰好有該值, 這時Oracle就會根據 Check的限制調整實際SQL的 Execution Plan.

實際範例可參閱Oracle 雜誌 5/6月 Asktom的文章.

http://www.oracle.com/technology/oramag/oracle/09-may/o39asktom.html

這部分在真實狀況下發生的機會較低, 因此不多說明.

Constraint --> NOT NULL

這個情況比較清楚, 就是當某欄位有Index, 但允許空值, 此時空值部份不會被存入 Index中. 但若是該欄位設定為 Not Null, 則當此類SQL(Select Count(*) from Table1 t) 時, Oracle 會很聰明的選取"Index Fast Full Scan"而不用"Full Table Scan", 效能就有一定的提升, 因為該欄位的所有值都對被存入 Index中. 有關"Index Fast Full Scan", 可參閱以下文章.

http://oracle-wei.blogspot.com/2009/03/sql-tune-index-access-methods.html

Constraint --> Primary Key/Foreign Key

這部份對效能有更顯著的提升, 因為 Oracle做的是 Table Elimination, 就是將執行 SQL所需的 Table刪除. 甚麼? 我也是第一次聽到耶! 比較實際的例子用以下說明:

Master Table --> M1 (M_Key, M_Value)

Detail Table --> D1 (M_Key)

有一個SQL如下:
select Sum(M_Value)
from M1, D1
where M1.M_Key=D1.M_Key

可能 Oracle的 Execution Plan是 "Hash Join"就是將 Master和 Detail做 Join後去得到結果.

但如果將 M_Key 加成 D1對M1的 Foreign Key, 而且 M_key為 M1的 Primary Key. 則方才 SQL的 Execution Plan可能會換成只對M1的存取. 因為以實際而言, Ｄ1 的存取並不需要, 只是 Constraint確定了這一件事情. 讓 Oracle 放手去做.

不好意思, 偷懶一下這次沒有用自己跑的實例說明, AskTom的說明應該夠清楚也有說服力.