Google Search

自訂搜尋

2009年2月27日 星期五

[Oracle News] Oracle Application Grid

Oracle 在併購 BEA Weblogic後終於有大動作了, 配合9i強調的 Database Grid, 這一次推出的是Application Grid. 重點一樣是在強調計算效能的分享(Sharing & Pooling)和現在最ㄏㄤ的雲端運算有異曲同工之妙. 整個架構重點在Fusion 中介軟體(Middleware ), 包含以下元件:

  • Oracle WebLogic Server: 最強大的Java運算平台, 內建clustering功能. 此外, 相關診斷和記憶體leak偵測功能也都具備. 如同大家對 Application Server的印象, 它提供該有的功能.

  • Oracle Coherence: 針對記憶體快取需要提供一個平台, 可以橫跨Java, .NET, and C++ .

  • Oracle Tuxedo: 提供一個平台去整合以C, C++, and COBOL開發的mainframe應用系統. 讓這些舊酒可以用SOA等新瓶來包裝.

  • Oracle JRockit: Java runtime技術去觀察, 管理,並減少記憶體leaks.

  • Oracle Enterprise Manager:提供整個Application Grid一個集中的管理平台和介面.

[IT Architecture] Oracle ILM- Information Lifecycle Management

針對過期資料做備份對資訊人員來說應該是天經地義的事情, 主要有以下三個考量

- 資料庫的效能考量: 純就 Oracle而言, Table 資料不做 purge, 放任成長, 對效能一定有影響.

- 成本考量: 一般資料多儲存於SAN, 儲存媒介所費不貲, 將過期的資料移儲至相較便宜的媒體, 對成本有一定的幫助

- 法律的相容: 所謂法律指得是像沙賓SOX, GLB and HIPAA 等規範對企業資料的保留期限的要求.


這方面的管理擴大到整個企業來說就是所謂的ILM(Information Lifecycle Management), 管理資料的整個生命週期:從抓取、創造、保留、備份、到銷燬資料的整個過程,以低成本的方式儲存大量的資料,還要能易於取得,且必須符合沙賓、HIPPA等法案所規定的資料保存與保護的需求.


ILM很自然的成為IT人員再開發系統之外另外一個要考量的重點. 但以現行企業多數的作法是根據應用系統的特性, 如果是套裝系統如SAP, 本身就有考量到資料備份(Archive), 則就使用SAP提供的Archive工具搭配合適的媒體管理工具(Media)就可以做到ILM. 而若是企業自行開發的軟體, 則多由資料庫端做 Archive. 由開發人員提供TABLE的設計邏輯, 將備份邏輯用PL/SQL(當然C或VB等語言也可以, 但是PL/SQL對資料處裡的效能最好)開發好後, 加入排程後, 將資料定期備份成檔案後由DBA將資料燒錄成光碟. 當然執行細節各家做法又會有差異. 而當使用者有查詢歷史資料需求時, 在請DBA從光碟中將資料回復提供使用者查詢.


從以上的流程可以看到得是, 整個過程有太多人為的作業, 出現問題的風險不低. 本人服務的公司就曾出現客戶端要求查閱三年前的生產資料, 但是DBA回應資料不知道再上述的哪一個環節出問題所以無法找到該資料. 真得是哪裏死的都搞不清楚?


Oracle對這個問題的解法就是ILM. 在Oracle 9i時代, Oracle的作法是在它的HTML-DB(現已改名為APEX)上開發一個做 Data Archive的應用程式包含以下功能

  • 提供一個GUI介面去管理整個ILM環境

  • 定義ILM各個階段的目的.

  • 定義資料備份的規則後產生相關的Script.

基本上功能有但是都很陽春, 隨著 Oracle的版本演進和外在環境變化(主要是儲存媒介- 硬碟的成本下降), 11G 引進的一些新功能.

到了 O
racle 11g, ILM做了大幅度的修正, 整個流程的涵蓋度比起9i來說, 完整了很多, 主要在和儲存端的結合. 在技術上它整合了 partitioning, 允許資料的備份使用 partition-level的相關語法, 這對DBA而言是一個好消息.
  1. 定義要做archive 的資料類別(Define the Data Classes): 簡單得說就是定義Table的重要性, 資料保存的期間, Table用哪一個欄位(Create_date,...)來判斷資料的新舊,..等等.

  2. 建立儲存層別(Storage Tiers): 將資料根據存取的頻繁程度, 以下四個Level, 由上而下分別代表存取頻率由高至低. 舉例,一個Table的資料在資料類別定義後, 根據儲存層別不同會被儲存在不同的層別. 最新的資料儲存在'Ihgh Performance'層別, 以此類推. 這時Partitioning就派上用場, 如何將第一步的資料類別指定給儲存層別就是透過Partitioning.
    High Performance
    • Low Cost
    • Online Archive
    • Offline Archive (optional)

  3. 建立資料存取政策(Data Access and Migration Policies): 這邊就是定義資料如何被搬移和後續存取的權限管理.

  4. 定義規範(Define and Enforce Compliance Policies): ILM的實施一部分是法律的規範, Oracle也將相關規範整合入系統, 以利後續管理目的.

透過11G的一些新功能如前文所提到的加上資料庫壓縮等功能, 整個ILM在11G有了新面貌, 當然Oracle的對手也不留情的抨擊Oracle的ILM視野太狹隘(ILM多由硬體儲存廠商提出為多, 構面不侷限於資料庫), 但是對資料庫來說, Oracle能夠提出Solution並內崁於DBA平日的管理工具中, 對賴資料庫維生的多數系統開發人員來說當然是佳音一則.

參考文件:

http://www.dba-oracle.com/t_11g_ilm_information_lifecycle_management.htm


http://www.zdnet.com.tw/news/software/0,2000085678,20127191,00.htm

2009年2月24日 星期二

[PL/SQL] Oracle 11G SQL/PLSQL New Features

自從Oracle 11g 2007年 release以來, 不斷有一些新的功能被提出討論. 11G的重點在DBA管理工作的自動化, 這使得DBA有時間去做一些更有附加價值的事情而不是聚焦在重複性的資料庫維護動作. 而對開發人員, SQL和PL/SQL則是另外一個重點, 本文介紹一些新的功能和筆者的想法, 順道將網路上其他人對這些新功能的介紹做一些整理.

1. PL/SQL的語法: 新增 "Continue" 關鍵字, 讓它更像C語言. 在迴圈裡面使用"Continue",
讓程式跳過Continue以下的指令而執行下一個迴圈,如此程式碼裡可以少看到很
多"GOTO". 下面是一個例子.

begin
for i in 1..3
loop
dbms_output.put_line(』i=』||to_char(i));
if ( i = 2 )
then
continue;
end if;
dbms_output.put_line(』Only if i is not equal to 2′);
end loop;
end;

結果會長成

i=1 Only if i is not equal to 2
i=2
i=3 Only if i is not equal to 2


2. Stored procedure 的編譯和狀態控制改善

- 除了"Enabled"和"Invalid"以外,多一種Stored Procedure的狀態就是"Disabled".
主要是資料庫管理面上的需要,舉例, 當有Schema改變,程式還沒有要跟著改變時,
可以將程式狀態先行換為'Disabled',此時'Invalid'還是屬於異常狀態,需要特別
處理,而'Disabled'則可以待開發人員確認後再處理.
- Native PL/SQL compiling
所謂 Native就是PL/SQL在編譯後直接產生機器碼並儲存在 System tablespace, 在
執行時也直接進入 shared memory. 而無需透過C編譯器,即所謂的 Intrepreted模
式. 其實此功能在10G即已存在只是聽說在RAC下會有問題,所以11G作了一些改善.
- 減少PL/SQL stored procedure 變成invalidatied的機制
減少因為DDL而導致程式變成 Invalid的機會.

3. 新的轉置SQL"PIVOT"語法
在Oracle要作轉置基本上可行但是要對SQL動很多手腳, 下面就是一個實例,可以看到SQL裡
面用了一些max, decode,sum等指令,有點小麻煩.
select sum("10") "10",sum("20") "20",
sum("30") "30",sum("40") "40"
from(
select max(decode(department_id,10,salary,null)) "10",
max(decode(department_id,20,salary,null)) "20",
max(decode(department_id,30,salary,null)) "30",
max(decode(department_id,40,salary,null)) "40"
from employees
group by department_id
) ;
到了11G你可以這樣做, SQL看起有邏輯而且簡單多了!
select *
from (select department_id,sum(salary) salary
from employees
where department_id > 0
group by department_id)
pivot (sum(salary)
for department_id in (10,20,30,40)
);

4. SQL/PLSQL 的延展性 (Scalibility) : 新的SQL hint /*+result_cache*/   
在SQL中加入此 Hint, 讓SQL的結果被Cached在Memory中而不是Cached讀取的資料在
buffer cache. 針對執行頻繁而且結果較固定的SQL, 使用此HINT對效能應該很有幫助.

5. 改善optimizer收集statistics的效能
Oracle 11g
改善dbms_stats的效能. DBA通常會定期執行此程式收集和更新Statistics,
這個動作多多少少會對database的效能有一點副作用, 這一個改善應可將此
作用降低.

6. SQL execution Plan Management
Oracle 11g 的SPM允許你更進一步控制SQL的 Execution plan,避免系統環境出現異動時,
Execution Plan跑掉.請參閱Link.

參考文件:

http://www.dba-oracle.com/oracle11g/oracle_11g_new_features.htm

http://www.oracle-base.com/articles/11g/PlsqlNewFeaturesAndEnhancements_11gR1.php#continue_statement

2009年2月20日 星期五

[SQL Tune] 新工具(SPM)- 避免 SQL Execution Plan 迷路

很多Oracle的使用者都曾經經歷過以下痛苦經驗:
  • Database升級完之後,某些SQL突然變的慢得不行.
  • Table加了Partition後,本來跑3秒的SQL變成30分鍾也跑不完.
諸如此類不勝枚舉,大致和系統改變有關. Oracle optimizer是Oracle得以強過其他關連式資料庫的利器,但也因為它太過強大, 太過聰明,偶而會秀逗. 當然SQL的Execution plan跑掉不見得是壞事,因為大部分可能變得比較好,例如,資料內容有大幅變動後反映在Statistics上時,這時Execution Plan當然要跟著改變. 這種改變可能是好的改變. 但是如果不是,那就不好了,正式環境的SQL那裡會允許SQL的效能一下子掉得天差地遠. 所以針對Optimizer對Execution Plan的改變,當然只能接受變好不能變差.

在11G之前, 管理 Execution plan的方式是用 stored outline或 SQL profile. 但是這兩個工具相對對DBA而言, 比較需要手動的介入. 相對而言, SPM是smart得多了.

Oracle瞭解大家的痛苦,在11g 出現了一個新功能叫做:SQL Plan Management (SPM),SPM允許使用者針對指定SQL維持一個穩定的效能. 有了SPM後,SQL變成 'Managed SQL' . 所謂'Managed SQL'就是說SPM會針對'Managed SQL'去偵測Execution Plan的改變,為了這個目的,SPM會維護所有'Managed SQL'的Execution Plan歷史紀錄. 這時又有一個 'SPM aware optimizer'負責存取,使用和管理SQL Management Base (SMB)的資訊.

而SMB是負責儲存一組被接受的Plan,而何謂可接受(Accepted)當然要透過SPM去判斷,確定效能沒有問題才能加入SMB. 這樣大概可以瞭解,SPM就是透過將特定SQL的所有Execution Plan儲存起來後,在執行階段去判斷哪一個Plan才是效能最好的. 這時若有一組新的Plan產生,就不會被
'SPM aware optimizer'所考慮因為他還沒有機會進入SMB當中.

下面這個圖說明3個SQL的Plan歷史如何被儲存和被SPM使用.


再來就是要維護一個正確的SMB,有以下幾個方式. 基本上,Oracle在SPM啟動後,它會自動偵測重複性(Repeated)的SQL,將其Execution plan記錄下來,並決定接受與否. 至於非重複性也就是Ad-hoc的SQL就不會被紀錄.
  • 自動偵測: 將參數OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES設為True,此時所有SQL的Plan歷史會記錄Optimizer執行時的相關資訊,例如SQL本身,SQL compile時的環境等. 記錄的資訊未來就可以用來重新產生Execution Plan. 所有該SQL執行產生Plan的歷史紀錄都會被紀錄下來,如果效能被認可,就會被視為可接受.
  • 手動偵測:如果有使用SQL Tuning Set (STS),則SPM也可以手動更新SMB使用以下功能 : dbms_spm.load_plans_from_sqlset 去指定特定的SQL給SMB.
  • 手動偵測:將Cursor cache手動更新SMB,使用以下功能:dbms_spm.load_plans_from_cursor_cache
在SMB建立之後, 每一個SQL在執行之後, 當Optimizer產生一個新的 Execution plan後, 就會和SMB裡面的 Execution plan作比較, 如果有一樣的就直接採用. 如果沒有, 則在SMB裡找一個Cost最低的Execution plan來執行. 而針對未被使用的Execution plan則會被放置到Un-accepted區域. 一直到未來也許環境改變後, 該Execution plan有機會被選取.

至於Execution plan被記錄下來後, 如何管理這裡被記錄且驗證過的Execution plan. Oracle 提供了package DBMS_SPM和 view dba_sql_plan_baseline 供DBA管理之用.

http://download.oracle.com/docs/cd/B28359_01/server.111/b28274/optplanmgmt.htm

[IT Architecture] Oracle Security - Encrypted Tablespace

如之前文章所談,在資訊安全的領域尤其是資料安全是一個備受注目的領域. 現行的企業資料大多存放於關連式資料庫(Oracle是大宗)之中,裡面的資料安全有很多層面在進行保護,不論是透過Database或Application都有很多方案可加強資料安全. 但假想一個狀況,資料在備份到磁帶後,假設磁帶被有心人取得後,只要他有安裝ORACLE並且懂得如何Restore,這些資料不是馬上被看光光. 別擔心,ORACLE早就想到這一點,他的SOLUTION就是- Encrypted Tablespace. 將Oracle的TableSpace做加密的動作後,將加密用的Key另外儲存. 這時就算有心人拿的磁帶拿不到加密Key也是白搭.

Oralce在10G時發表了 TDE(Transparent Data Encryption) Column Encryption,他可以針對Table的特定欄位做加密,但這個作法對效能有一定的副作用,因為被加密的欄位若有Index,其值也同時被打亂,後續的存取因為值已經被打亂變成比較沒有效率. 儘快整個存取過程對開發人員是透明的,就是程式不用作另外處理,但因為效能問題,整個成效被大打折扣.

到了Oracle 11G, 一個新觀念被導進來,就是Encrypted Tablespace. 加密的對象變成整個Tablespace, 有效解決了Column level加密所造成的效能問題. 整個運作過程如下述:
  • 當被加密的資料被選取時,Server Process一樣將資料搬到Buffer cache,然後回應給User Session. 資料在搬到Buffer cache之前就被解密. 所以資料在Buffer cache時已是解密狀態. 這時不管是Index range scan或Join等的動作,因為也運作在Buffer cahce,所以效能的問題就被解決.
  • 後續當資料被寫回磁碟時,DB Writer會再將資料作加密的動作. 也包括 Log writer同樣也會做加密動作.
整個加密的主角在Encryption key,基本上這個key被儲存在Database之外,就是由所謂的External security module管理. 這個External security module需要額外的密碼作管理. 這也是說,儘管有心人拿到儲存資料的Tape,但只要他拿不到這組密碼一樣解不開資料.

資料安全管理不易推動的原因多半不是因為沒有工具,而是工具本身有太多副作用不是對執行效能有影響就是造成管理或程式開發很多額外的工作. ORACLE 11G提供的這個新工具想必吸引很多CIO的目光,讓我們一起看看他未來的發展吧!

[PL/SQL] 讓人吐血的ORA-02046(Distributed Transaction)

今天中午,客訴事件又添一件,人客又在抱怨資料沒產生,給客人看的網站上查不到想看的資料!天啊,這已是這個月來的第N起啦! 工程師查半天,程式就是跑不過,ERROR LOG中滿
滿的 ORA-02046. 這時看起來大勢已去,怒火中燒的客戶又在樓下等資料,腦中滿是問號,突
然靈機一動,將程式移到測試環境再去存取前端ERP的資料(這隻程式是一支ETL,從後端
Data Warehouse資料庫去存取前端ERP的資料庫),莫名其妙的程式就突然跑過了,這時趕緊
將產生好的資料搬到正是環境中,好跟客戶交差(為甚麼測試環境可以過,正式環境不行,至
今未解,但公司的環境因為DBA要求開發人員先行測試即將Upgrade的Oracle版本,所以兩個
環境的版本不一樣,測試環境是9i,正式環境是8i).

但是到底出了甚麼是啊?下面是官方說法:
=====================
ORA-02046:distributed transaction already begun
Cause:internal error or error in external transaction manager. A server session
received a begin_tran RPC before finishing with a previous distributed tran.
Action:none
=====================
看到了嗎? Action是'None',在Google一下,網路上幾乎沒有針對這個問題有提供相關解答.
唯一有正面回應的是,這個ERROR都發生在跨DB存取的動作,可以將遠端要存取的TABLE先
複製回LOCAL端,免除掉DBLINK的動作. 但這個建議相信大多人不會採用,因為就以本公司
為例,相關ETL程式有數百隻,每支都這樣改還得了,況且複製資料還要整體考量Timing的
問題,牽扯實在太大.

那Metalink呢?有沒有解答啊?引用一下http://www.orafaq.com/forum/t/72797/0/的問答
,看看內文提到,metalink也沒有太多解答.

========================================
Actually, quite a few people have sent this error into Oracle, and there are a number of cases
on Metalink about this error, none of them provide much elucidation. So actually, insisting he contact Oracle might not actually do too much good. If so, being able to provide them with a
trace file may help. This is an error that often doesn't throw any alerts.

Basically, what has happened is that the specific server session has received a begin_tran
rpc BEFORE it has finished with a previous distributed transaction.

There is no real clear, set pattern to the conditions that create this error message, and in
many cases, there doesn't seem to be a workaround either.

In one case, the person's application was in autocommit mode and turning that off resolved
the issue. In one case, the error occured in SQLPlus, but not when running the same code in OWB (where the code had been created). In another case, a person said they had increased DISTRIBUTED_TRANSACTION parameter and had it stop. In another case, the problem occured in a jdbc application, but not when the same code was run from SQLPlus.

It has been associated with select statements going from a 9.2.x database to an 8.1.x database.
In most cases, there is a dblink involved, one way or another (buried in a view or somehow). Some reports asscoiate it with insert statements.

In my case, I have been told to write a pl/sql procedure to replace Oracle's multimaster replication. As expected it does an update on a table on a remote database. This update statement causes the error to occur. The earlier version of this procedure, which is as similar
as possible except that it does not use bulk collect to gather the data, does not appear to cause the error to occur.

This is a difficult error and not a lot of information available from metalink. It seems to occur right in the middle of a distributed transaction.
================
=========================

那怎麼辦呢? 工程師嘛,任務就是解決問題,誓死達成任務. 好吧!那就回過頭把問題在定
義得更清楚一點! 底下就是更清楚的問題定義!

問題定義:
一隻每四小時執行一次的ETL程式,每次執行處理的資料量大概是三百筆上下. 主Crusor的
SQL和處理過程中都會不斷透過Database A存取Database B和Database C,最後將結果存於
Database A. 但自從三天前,每次執行此ETL都會撞到ORA-02046的問題,撞到的點都在執
行某副程式時發生,該副程式也是透過Database LINK存取Database B.

問題模擬:
將ETL由背景執行轉成前景執行,執行完後,一樣的ORA-02046出現.
先用以下SQL看看執行前後的Cursor狀態,沒有異常,遠小於Database的設定: Open cursor(Session中可以使用的Cursor, 目前設'10000').
=======================================
select a.name, b.value
from v$statname a, v$mystat b
where a.statistic# = b.statistic#
and lower(a.name) like '%' || 'cursor' ||'%'

NAME                                VALUE
------------------------------ ----------
opened cursors cumulative 26
opened cursors current 9
session cursor cache hits 0
session cursor cache count 13
cursor authentications 1
=======================================

另外一個常見的 Distributed database的問題是參數 'Open Link', session裡所使用的DB
Link總數,看一下目前設定,這個就更不可能超過啦. 重點是若是前述兩個問題,錯誤訊息
也不應該是Ora-02046.

但是同時間也發現,ORA-02046一旦出現,後續所有跨該 DB Link的SQL都會碰到一樣的錯誤訊
息.這時問題既然存在於DB Link,那就看一下 V$DBlink,果然,此View底下的'欄位
'Open Cursors'的值一旦是慢慢變大成9時,討人厭的Ora-02046開始層出不窮. 這個欄位
Oracle的定義是
==========================================================
Whether there are open cursors for the database link
===========================================================

有看沒有懂吧!為什麼這個值一變成9,系統就會拋出Ora-02046,不解!遍尋網路,也沒有更
進一步的解釋.

這時下個指令將DB Link關閉,Ora-02046不再出現.相關跨DB LINK的SQL也可以繼續執行.
====================
ALTER SESSION CLOSE database link A;
====================

但是問題到底怎麼解決啊?看看最近一次程式的Change Log,是在主Cursor的SQL中加了一個
Function,此Function 是存在於Database B,再從Database B中去存取Database A. 先試著
將此Function搬到Database A後,SQL再直接執行呼叫此Function,問題居然解決了. 天啊!
到底是撞倒哪一個參數或限制,至今無解,但和之前談的作法一樣的是:
既然問題發生在 Distributed Transactions,就試著將Distributed Transaction的需求降低
,將跨DB的Function移至Local端.問題暫時解決,未來有機會再將此問題量化來看,看看有沒
有機會看得更清楚問題所在.

也希望ORACLE大人行行好,將此一問題講得更清楚一點,不要只放一個Action='None',這可
讓很多人少掉很多白頭髮耶!

2009年2月10日 星期二

[IT Architecture] 文件安全管理Solution Survey(Part I)

資訊安全的相關議題是身為一個MIS最常被老闆問到的幾個問題之一,尤其是當公司有新的產品接近量產或即將發表,老闆更是會像神經質般找這些不常不太搭理的MIS來,問問資訊安全有沒有SOLUTION,花錢沒關係!好像這些文件隨時都會有公司內部人員會將其外洩似的. 這時MIS就要找一堆VENDOR來,問一堆問題,談一堆需求,然後要報價單. 大夥忙完一陣子把報價和建議案提出來給老闆後, 這時老闆又會說,Proposal寫得不錯但是現在公司狀況不太好,可能先緩一下. 哈哈!這種CYCLE,MIS們是不是都有同感啊? 近來小弟就是接獲類似需求,既然是個CYCLE那就趁這一次把報告弄得完整一點,以被未來不時之需.

0.Wiki定義 :
最近的習慣是做一些SURVEY時先去WIKI看看DEFINITION,避免走偏方向.不過WIKI關於這方面好像不夠深入,我再加了一些東西!

=============================================================

信息安全資訊保安有對立的兩方面的含義:一是指作為維護政治穩定的國家的信息安全,一是指最作為人權需要的個人的獲取信息的自由。簡單來講,有關信息安全的內容可以簡化為下列三個基本點:

基於這個原因,任何有違信息的「可用性」都算是違反信息安全的規定。因此,世上不少國家,不論是美國還是中國都有要求保持信息可以不受規限地流通的運動舉行。

對信息安全的認識經歷了的數據安全階段(強調保密通信)、網路信息安全時代(強調網路環境)和目前的信息保障時代(強調不能被動地保護,需要有保護——檢測——反應——恢復四個環節)。

安全技術嚴格地講僅包含3類:隱藏,訪問控制和密碼學。 典型的安全應用有:數字水印屬於隱藏;網路防火牆屬於訪問控制;數字簽名屬於密碼學。

資訊安全的目的在於保護電腦資源,包括硬體、軟體、資料及程式等,以防止不當的變更、破壞及未受權使用;綜合言之,資訊安全管理乃是保護電腦資料隱密性、 完整性與可用性的目的,對電腦系統內的整體架構(包含軟、硬體、作業程序、相關人員等所做的預防措施、災害緊急應變處理原則及復原裝置,以防範電腦資訊遭不當的變更、破壞及為授權使用,促進資訊的正當合理運用)

===================================================================
整個資訊安全的廣義範疇會包括網路安全(防火牆/網路攻擊/駭客攻擊/流量管控/..), 應用程式安全管理(即時通訊管理/郵件管理/應用程式管控/..), 文件安全管理. 另外電腦和通訊資產管理(PC&NB管理/USB管控/儲存設備/..)可說是執行以上管理的基礎工作, 所以一般資安專案也會多少考慮資產管理.
而文件安全的討論則著重在機密性和完整性,舉凡文件的加密(Authentication),適當的人在適當的時刻用適當的方式看到適當的文件(Authorization),文件的增刪改查都被適當的管控等等都是文件安全管理的範疇.

1.名詞解釋:
DRM (Digital Rights Management) :數位內容使用權利管理

2.參考產品:
目前在初步GOOGLE後,SORTING出來的廠家或產品列表如下,睿揚/意藍/喬篷/以柔/博格/數位商業EZ-Lock/微軟/TrustView/錦衣衛/EMC. 主要會針對TrustView和EMC IRM的功能面和架構面做一些評估和大家分享.

2009年2月9日 星期一

[EDW] Oracle 的硬體夢 - HP Oracle Database Machine

連著兩期的ORACLE雜誌都在介紹Oracle和HP聯手推出專門針對Data Warehouse市場的主機. 這一期還是放在封面故事,可見Oracle對此產品的重視. 到底這台主機有什麼魔力,對Data Warehouse又有啥幫助呢?

現在的商業環境越行複雜,決策人員要作分析時所需要的資料維度也比以往更多元,導致資料庫的資料量是以倍數的成長. 這時候,商業智慧軟體如何確定使用者在作分析查詢時的效能不受資料量倍增的影響呢?調整程式SQL當然是一個作法,但參考http://oracle-wei.blogspot.com/search/label/Performance%20Tune, 從底層硬體著手才是王道.

而對資料倉儲而言,效能的瓶頸會在哪裡呢?CPU,MEMORY還是IO?多數人會回答IO,沒錯,資料倉儲的特性就是AD-HDC QUERY一堆,FULL TABLE SCAN更是屢見不鮮,個個都是IO殺手. 對此,Oracle和HP聯手推出一款用八台配備Intel CPU的Database server架構成的Database Grid加上Linux OS還有由14台HP Oracle Exadata組成的Storage Grid. 號稱可提供168 terabyte和14GB per second的資料存取頻寬. 資料存取的改善又來自於InfibiBand的光纖技術大幅加快了Database和Storage之間得存取速度. 看看Oracle怎麼介紹這個產品呢?





那到底Oracle和HP還用了啥麼伎倆呢? 因為硬體誰都會做,上述的硬體花錢不就解決了嗎? Oracle的說法是透過減少資料的傳遞量, 也就是資料在 Database和Storage之間的傳遞. 這個硬體可以將SQL的運算盡可能做在 Storage端, 而非傳統的Database端,也就是說回傳給Database端的不是Data Block而是查詢結果. 如此一來,資料的傳遞量自然大幅下降.

最後一提的是這些設定都是 Pre-Configured也就是客戶不用花太多功夫再做設定,即可享用這些好處. 兩個資訊界的巨人現在打破藩籬,試著提供給客戶更好的服務,大家拭目以待吧!

2009年2月6日 星期五

[IT Architecture] 供應鏈管理系統(SCM) - 台塑網

目前服務的公司, 自去年初 SAP上線後, 內部流程已大致底定. 但SAP著墨的重點在內部流程的銜接, 經過一年的使用,一大半使用者的問題來自於整個系統還有一塊大缺口就是供應鏈管理的部分. 而所謂的廣義的供應鏈管理定議如下 - From Wiki:
=====================================================================
供應鏈管理的目標是在滿足客戶需要的前提下,對整個供應鏈(從供貨商,製造商,分銷商到消費者)的各個環節進行綜合管理,例如從採購、物料管理、生產、配送、營銷到消費者的整個供應鏈的貨物流、信息流和資金流,把物流與庫存成本降到最小。
供應鏈管理就是指對整個供應鏈系統進行計劃、協調、操作、控制和優化的各種活動和過程,其目標是要將顧客所需的正確的產品(Right Product)能夠在正確的時間(Right Time)、按照正確的數量(Right Quantity)、正確的質量(Right Quality)和正確的狀態(Right Status)送到正確的地點(Right Place),並使總成本最小。
一個公司採用供應鏈管理的最終目的有兩個:

(1)提升客戶的最大滿意度(提高交貨的可靠性和零活性)
(2)降低公司的成本(降低庫存,減少生產及分銷的費用)
====================================================================
但公司目前最迫切的是對供應商之間的供應鏈管理(因為對客戶端的供應鍊管理多半由客戶端主動要求), 這一段一直被忽視, 因此定義出了幾項需求出來:

0. 基本上,整個需求定位在ERP系統流程的延伸就是將流程管理延伸至供應商包含資料流部分, 也就是供應商B2B的部分. 有點像將內部流程的觸角向外延伸至供應商和交貨商(Forwarder, Broker).

1. 既然是SCM, 市面上一堆SCM的套裝軟體, 底下是一個網站(http://www.business-software.com/erp-solutions/supply-chain-management/index.php)上的比較資料, 基本上這些套裝軟體不在我SURVEY的範疇,各位看官有興趣可以點以下連結看看.
基本上不考慮有以下幾個原因:
  • 太貴!這個蕭條時刻,動輒上千萬的咚咚還是別碰為妙,因為太貴案子根本不會被核准. 另外,貴在產品本身也就算了,這些套裝產品顧問導入費用更是驚人,搞不好還大老遠請個新加坡或印度的顧問,貴得要死又難溝通.
  • 根據前年導入SAP的經驗,這些產品功能雖然完成,但多半強調所謂的Best Practice,客製的能力又多半不強. 以本公司特殊的代工商業流程,導進來憋手蹩腳. 使用者和IT都痛苦.
  • 基本上,既然方才談到SCM是ERP的延伸,和既有SAP的介面會是整個專案的重點,這又會增加套裝軟體客製的EFFORT(我家的SAP已被客製到不行).

2. 也因此決定將觸角轉進同集團其他公司已導入中的本土企業軟體產品, 台塑網. 這裡將幾個本公司會用到的SCM範疇和使用者的問題和台塑網的SOLUTION 整理出來.

SCM 範疇

遇到的問題

台塑網

採購標案管理(Quotation management)

目前工廠的標案僅由採購員做詢議比價的動作後將最後結果上傳至SAP. 和供應商之間的交易過程無法追蹤, 整個過程不夠透明化.

公司人和和供應商在WEB介面上進行詢議比價的過程,完成後回傳SAP. 缺點是,系統是封閉性的就是架在公司內部,而非台塑網強調的電子市集,所以對採購人員Sourcing的需求幫助不大.

採購單追蹤(PO Tracking)

在採購單發出給供應商後, 供應商如何確認, 如何更新交期等, 必須有一個系統平台供公司和供應商互動.

採購單開立,改版和供應商確認都在WEB上進行,透過和SAP的介面,資訊透明.

交貨管理(Shipment Management)

在供應商要出貨時如何通知公司各部門作相關準備, 資訊流如何連結,如何在正確的時間提交正確的數量其實是一門大學問. 如何避免供應商塞貨或晚出貨都是大問題.

透過交貨提示,ASN開立和催交功能,避免交貨提早或延遲.

庫存管理(Inventory Management)

供應商可透過WEB查詢收貨狀況, Consign庫存狀況. 也可採用VMI(Vendor Management Inventory)模式, 由公司提供庫存高低水位, 供應商自動補貨.

公司和供應商都透過各自系統提供庫存資料,庫存資訊透明.

貨況管理

將供應鍊管理延伸至 Forwarder和Broker, 將進口的貨物的資訊流連結以利進出口人員追蹤. 或在離開供應商或的狀況,我方人員可以一目瞭然.

透過Forwarder, Broker的資訊和ASN資料連結,可以清楚知道貨況.

貨款管理

將前述活動產生的費用予以有效管理.

貨款和運費的管理,提供報表供財務人員查詢.

總得來說,目前和台塑網的案子正處於洽詢階段,根據供應鍊管理的定義,希望系統的導入將公司存貨成本和人員效率透過SCM予以最佳化.

參考文件:

Wiki: 供應鏈
http://www.business-software.com/erp-solutions/supply-chain-management/index.php