企業(yè)實現(xiàn)數(shù)據(jù)共享，可以使更多的人更充分地使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復勞動和相應費用。但是，在實施數(shù)據(jù)共享的過程當中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別，有時甚至會遇到數(shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題，嚴重阻礙了數(shù)據(jù)在各部門和各軟件系統(tǒng)中的流動與共享。數(shù)據(jù)是組織機構(gòu)由經(jīng)驗型決策轉(zhuǎn)向數(shù)據(jù)型決策的驅(qū)動力。我們不僅要滿足當前的各個需求場景，還要把數(shù)據(jù)作為資源長久持續(xù)地保留下來，這也離不開數(shù)據(jù)集成。因此，如何對數(shù)據(jù)進行有效的集成管理已成為增強企業(yè)商業(yè)競爭力的必然選擇。
由于現(xiàn)代企業(yè)的飛速發(fā)展和企業(yè)逐漸從一個孤立節(jié)點發(fā)展成為不斷與網(wǎng)絡交換信息和進行商務事務的實體，企業(yè)數(shù)據(jù)交換也從企業(yè)內(nèi)部走向了企業(yè)之間;同時，數(shù)據(jù)的不確定性和頻繁變動，以及這些集成系統(tǒng)在實現(xiàn)技術(shù)和物理數(shù)據(jù)上的緊耦合關(guān)系，導致一旦應用發(fā)生變化或物理數(shù)據(jù)變動，整個體系將不得不隨之修改。因此，我們進行數(shù)據(jù)集成將面臨著如何適應現(xiàn)代社會發(fā)展的復雜需求、有效擴展應用領(lǐng)域、分離實現(xiàn)技術(shù)和應用需求、充分描述各種數(shù)據(jù)源格式以及發(fā)布和進行數(shù)據(jù)交換等問題。
數(shù)據(jù)集成業(yè)務場景
-
企業(yè)數(shù)據(jù)集成，當并購企業(yè)的時候，需要整合所有企業(yè)數(shù)據(jù)，比如，把它們所有的客戶數(shù)據(jù)進行集成，以更好地服務于我們的客戶群體。
-
異構(gòu)系統(tǒng)數(shù)據(jù)流的集成，針對某個業(yè)務流程，需要集成多個數(shù)據(jù)源和應用，而數(shù)據(jù)流可能會來自異構(gòu)數(shù)據(jù)源。
-
部署新應用，一項新的企業(yè)應用需要來自現(xiàn)有應用程序中的所有數(shù)據(jù)，部署新應用時可能需要的數(shù)據(jù)集成。
數(shù)據(jù)集成需要解決的問題
針對上面應用場景，數(shù)據(jù)集成仍有許多問題亟待解決。數(shù)據(jù)集成的本質(zhì)是實現(xiàn)不同數(shù)據(jù)源之間的數(shù)據(jù)交換，主要解決數(shù)據(jù)的分布性和異構(gòu)性的問題，其前提是被集成應用必須公開數(shù)據(jù)結(jié)構(gòu)，即必須公開表結(jié)構(gòu)，表間關(guān)系，編碼的含義等。一個商業(yè)數(shù)據(jù)集成產(chǎn)品通常需要具備以下功能:
-
具備元數(shù)據(jù)管理機制，需要支持多元異構(gòu)數(shù)據(jù)導入
-
能穩(wěn)定高效的即時增加、更新數(shù)據(jù)
-
具備數(shù)據(jù)可視化能力
-
能對數(shù)據(jù)質(zhì)量實時監(jiān)控以及校驗，對臟數(shù)據(jù)進行收集、處理
-
完善的運維體系，開放性，方便第三方擴張數(shù)據(jù)源
-
系統(tǒng)水平擴展能力
具備完善的運維體系、在復雜網(wǎng)絡下數(shù)據(jù)集成的能力，比如支持系統(tǒng)擴展、數(shù)據(jù)共享以及第三方數(shù)據(jù)源等
目前業(yè)內(nèi)公司的集成產(chǎn)品有很多，睿治數(shù)據(jù)集成管理是億信華辰自研的數(shù)據(jù)集成系統(tǒng)，可實現(xiàn)跨部門數(shù)據(jù)的傳輸、加載、清洗、轉(zhuǎn)換和整合，支持自定義調(diào)度和圖形化監(jiān)控，實現(xiàn)統(tǒng)一調(diào)度、統(tǒng)一監(jiān)控，滿足運維可視化需求，提高運維管理工作效率。
豐富的數(shù)據(jù)適配
睿治數(shù)據(jù)集成管理系統(tǒng)具備強大的數(shù)據(jù)適配能力，支持多種數(shù)據(jù)源和數(shù)據(jù)格式。對于常用的關(guān)系型數(shù)據(jù)庫系統(tǒng)，還提供了本地連接（如Oracle OCI）
數(shù)據(jù)協(xié)議傳輸
支持通過多種數(shù)據(jù)傳輸協(xié)議在源段和目標端傳輸已經(jīng)轉(zhuǎn)換處理過的數(shù)據(jù)。支持的協(xié)議包括JMS(MQ 消息隊列)、 Web Service、 HTTP(S)、 FTP 等
高性能數(shù)據(jù)處理
睿治數(shù)據(jù)集成管理系統(tǒng)可以充分利用硬件服務器的資源，高效處理大數(shù)據(jù)量的集成交換場景。多線程并發(fā)方式的業(yè)務啟動執(zhí)行方式，可以極大的提高數(shù)據(jù)處理的能力，以輕松應對大數(shù)據(jù)量的集成業(yè)務。
高可用性
睿治數(shù)據(jù)集成管理系統(tǒng)支持集群部署，可以啟動多個運行服務端節(jié)點，因此數(shù)據(jù)可以在多個務端節(jié)點上行處理，并且其中一個運行服務節(jié)點宕機也不影響整個任務的執(zhí)行。
靈活擴展
睿治數(shù)據(jù)集成管理系統(tǒng)是一個靈活、開放、擴展性強的數(shù)據(jù)集成產(chǎn)品，基于插件化的產(chǎn)品架構(gòu)使得用戶可以非常方便的擴展數(shù)據(jù)集成功能。
