DataCleaner

DataCleaner是一個開源的，完全免費的解決方案的組織和希望提高和衡量其數據質量的企業。
與DataCleaner，用戶將能夠對個人資料，比較，驗證對業務規則數據，並監視這些測量的隨時間的進展。
它的特點，我們可以提到數據監測，數據分析和DQ分析，數據整理和充實，檢測和合併重複的，客戶數據的質量，以及超高速ETLightweight（提取 - 轉換 - 加載）。
要了解更多關於DataCleaner的功能和能力，以及如何與它的工作，請參考http://eobjects.dk/docs

What在此版本中是新的

• 在改進和新功能：
• 我們做了它可以創建並通過DataCleaner的桌面UI刪除表。注意，術語;表＆QUOT;這裡實際上涵蓋的不僅僅是關係數據庫表。它還包括表在MS Excel中的數據存儲在MongoDB的集合，文件類型的CouchDB和ElasticSearch等等...基本上支持寫操作，除了單表數據存儲，如CSV數據存儲所有數據存儲類型，支持此功能！該功能是通過曝光：
• ＆QUOT;創建表＆QUOT;通過模式中的應用程序左側的樹右鍵菜單中啟用。
• ＆QUOT;創建表＆QUOT;還可以通過在成分表中選擇輸入，比如插入到表中，表查找和更新表啟用。
• ＆QUOT; DROP TABLE＆QUOT;通過在應用程序的左側的樹狀表的右鍵菜單中啟用。
• 我們已經添加指定的Salesforce.com Web服務端點的URL（可選）功能。這使您可以使用DataCleaner連接到Salesforce.com的沙箱環境中，也以自己的定制終端​​。
• 的ElasticSearch的支持得到了改進，允許自定義映射，以及重複使用ElasticSearch數據存儲的定義，現在也用於搜索和索引。
• 記錄和選擇的重複檢測功能可能重複的採樣進行了改進，從而更快地配置，因為在訓練中做出的決定是比較有代表性的。
• 的重複檢測模型文件格式已被更新其中​​已取消了需要單獨的'參考'文件以節省過去訓練決定。與舊格式的兼容性得到了保留，但使用新的格式，能夠為用戶體驗增加了許多好處。
• 錯誤修正：
• 在一個線程匱乏問題已修復DataCleaner顯示器。這個問題的影響是巨大的，但它發生只在罕見的，非常個性的案件。如果DataCleaner監視器上自定義偵聽對象將拋出一個錯誤，它會導致資源沒有釋放了，並採取了從服務器上的石英調度池中的線程。如果這會發生很多次的服務器可能最終運行在池中的線程。
• 結果屏幕上的垂直菜單現在做顯示有效果的成分的標籤的正確的工作。這使得更容易識別哪個菜單項指向什麼結果項目。

什麼在3.5.7版本新：

• 在該“同義詞查找”轉型現在有一個選項到輸入的每個令牌抬頭。這如果你正在做一個長文本字段的值範圍內更換的同義詞是很有用的。
• 通過這個監視器的網絡服務阻斷執行DataCleaner作業有時可能會失敗，並引起阻塞線程的錯誤。此問題已得到解決。
• 的改進是在作業方式和組件的序列被關閉/執行後清理。
• 的JNLP / Java的Webstart的版本DataCleaner的是由Java運行時造成在某些情況下某些JAR文件不被Webstart的啟動被識別，錯誤暴露出來。此問題已得到修復通過稍微修改這些JAR文件。
• 在文檔中的一些死鏈接是固定的。

什麼是3.5.4版本，新的：

• 現在可以隱藏變換輸出列。隱藏，不會影響處理的流程在所有，但簡單地從用戶接口隱藏它們，並因此潛在地使得體驗更乾淨，與其他組件進行交互時。
• 在新的Web服務已經被添加到監控Web應用程序，它提供了一種方法來查詢某一項工作的執行狀態。
• 修正了，導致HTML報告失敗，對於某些類型的分析時，沒有記錄已被處理。
• 和6個其他的小錯誤已被不客氣。

什麼在3.5.1版本新：

• 在捕捉更改的記錄：
• 新的過濾器可用於支持記錄增量處理，但沒有處理之前，例如：用於分析或複製只修改的記錄。新過濾器的名稱是捕捉更改的記錄，指的變更數據捕獲的概念。
• 在排隊的執行工作：
• 的DataCleaner顯示器現在排隊同一作業的執行，如果多次觸發。這可以確保您不小心碰到了同樣的工作，同時這可能會導致各種問題，​​根據工作做什麼。
• 小錯誤修正：
• 若干bug修正實施。

什麼版本3.5是新的：

• 在幾個嚮導現在可用於註冊數據存儲;包括文件上傳到服務器上的CSV文件，數據庫連接條目中，Salesforce.com憑據引導註冊等等。
• 在作業的建築奇才也擴展了一些增強的功能;選擇值分佈和模式發現在快速分析嚮導的字段，用於創建基於EasyDQ客戶的清潔工作，進行實彈射擊Pentaho的數據集成工作（閱讀更多下文）一份新的工作嚮導，一個全新的嚮導。
• 您現在可以即席直接在Web用戶界面查詢任何數據存儲。這使得它容易得到快速的或零星分析上市公司數據，而無需設置工作或處理數據的其他管理辦法。
• 一旦創建工作或數據存儲，用戶被引導到採取行動，新建的對象。例如，您可以非常快速地運行作業它的建成之後，或查詢數據存儲在註冊後。
• 現在，管理員可以直接上傳作業到資源庫，這是特別方便，如果你想手工編輯工作文件的XML內容。
• 在很多技術克魯夫特現在是隱藏在贊成顯示簡單的對話框。例如，當作業被觸發大負荷指示符示出，並在完成時，結果將被顯示。以前有仍然可以在點擊一個鏈接了解更多詳細信息中顯示的高級日誌記錄畫面。

什麼是3.1.2版本，新的：

• 我們已經添加在監控Web服務申請獲取指標值（列表）。這使得監控更是一個關鍵的基礎設施組件使用，以此來監控數據（質量），結果暴露在第三方應用程序。
• 在該“查表”部分已經加入加入語義可配置性的提高。使用連接的語義，你可以調整，如果你想查找到語義工作就像一個LEFT JOIN或INNER JOIN。
• 的EasyDQ組件都進行了升級，增加更多的配置選擇和更豐富的重複數據刪除結果界面。
• 在性能的提升已經此版本的具體重點。改進已在DataCleaner的發動機，以進一步利用以前沒有包括在某個角落情況下，流處理方法。

什麼是3.1.1版本，新的：

• 的日期和時間相關的分析選項已經擴大，增加配送分析儀週數，月，年。有關日期和時間的所有分析儀現在稱為QUOT子菜單中進行分組，時間日期和QUOT;在＆QUOT;分析＆QUOT;
• 可選＆QUOT;描述統計和QUOT;選項已被添加到數分析器和日期/時間分析器。這個選項增加了額外的度量這些分析儀，如中位數，偏度，百分度和峰度的結果。這些指標是可選的，因為它們的內存佔用稍大於現有的度量較大。
• 在監視Web應用程序的時間線圖表中的線現在在這些小圓點。這對於具有幾個（或者甚至只是一個）觀測圖表它們特別有用。 - 指出確切位置觀察點是
• 在調用時，即席查詢，也得到了大幅度地提高了查詢分析器。現在，查詢可以包含DISTINCT子句，* -wildcards，子查詢和有容錯對文本的情況下的問題。
• 在兩個新的變壓器已添加生成的UUID和產生時間戳。

什麼是3.1版本的新：

• 在公制公式 - 闡述了數據質量的KPI：
• 現在可以建立更在DataCleaner的監控Web應用程序詳細數據質量的KPI。用戶界面允許您構建複雜的公式在一個類似電子表格的公式風格;利用DataCleaner作業收集的變量。
• 度量公式可以結合任意數量的度量，常數和操作，只要它可以表示為一個數學方程式。
• 例如 - 測量重複記錄速度的總記錄數的百分比。或測量的產品代碼符合一組多個字符串模式的量。
• 在即席查詢 - 任何數據存儲的：
• 隨著DataCleaner 3.1，你現在可以執行即席查詢到任何數據存儲！查詢可以表示純SQL和將被應用到數據庫以及文件，NoSQL數據庫多，提供真正有用的查詢機制以延伸到您的發現和數據分析的經驗。
• 在查詢選項也可以通過網絡服務來監視用戶與管理員的角色。該查詢被提供為HTTP參數或POST體，其結果被提供作為一個XHTML表
• 值匹配 - 一個新的分析選項：
• 在很多時候，你有哪些值應該被允許和預期對特定領域的堅定理念。在DataCleaner還有的一直是價值分配的分析選項，它會幫助你堅持你的假設。在DataCleaner 3.1雖然，你有一個更精確的產品 - 價值匹配。這種分析選項，您可以​​指定一組預期值，然後再進行類似的分析值分佈，特別是驗證和識別異常值。
• 複製，刪除和作業管理：
• 在DataCleaner監視應用程序的工作和成果管理有了很大的提高。現在，您可以點擊工作在監視器的計劃頁面，並找到可供操作，如重命名，複製，刪除等管理選項。每個操作尊重的聯繫，以在監視器等文物，如分析結果，日程安排等。這意味著監控倉庫的管理變得更加容易和成熟。
• 在管理數據質量的歷史：
• 有時候，你所面臨的情況，你確實想要做的監測與歷史數據！這可能是你有歷史性的轉儲或數據庫，您希望展示和講述故事的備份。現在，您可以做這種歷史數據的分析，上傳到DataCleaner顯示器，並採用新的Web服務，設置特定的分析結果的歷史數據。這意味著使用其預定日期的時間表會正確繪製的結果，但與你在以後某個時間點收集可能的結果。
• 在集群調度程序支持（僅EE）：
• DataCleaner顯示器的調度器已被外部化，以便它可以通過簡單的結構的裝置來代替。在DataCleaner的企業版（EE），我們提供了一個集群調度，提供負載平衡和分發您處決跨越機器集群的能力。
• 單點登錄（SSO）使用CAS（EE只）：
• 在企業版（EE）DataCleaner我們現在提供的監控應用的單點登錄選項。現在DataCleaner可以成為你的IT基礎設施，還安全，明智的一個組成部分。
• ...還有很多很多：
• 在上面的只是一個匯總。三十多個問題在此版本中得到解決。我們已經解決了幾個請求從論壇和社區的未來，我們鼓勵大家使用這種媒介作為變革的工具。我們很樂意讓DataCleaner的發展由社區流的嚴重影響。

什麼是3.0.3版本，新的：

• 將在監控存儲庫重命名工作服務
• 您可以在UI訪問此作為一個RESTful Web服務或交互。
• 在Web服務中添加了改變的分析結果歷史日期在監控存儲庫。
• 在Web應用程序已經取得了與傳統的JSF容器兼容。
• 在Web應用程序配置緩存大大提高，從而導致更快的頁面加載和初始化工作時間。

什麼在3.0.2版本新：

• 在當前觸發在監控web應用程序的工作，面板自動刷新每一秒得到執行的最新狀態。
• 在基於文件的數據存儲（如CSV或Excel電子表格）使用絕對路徑現在正確地解決了監視Web應用程序。
• 的＆QUOT;從鍵/值映射＆QUOT選擇;現在，Transformer支持像＆QUOT嵌套查詢表達式; Address.Street＆QUOT;或QUOT; orderlines [0] .product.name＆QUOT;
• 在該表查找機制都進行了性能優化，對JDBC數據庫運行時，使用預處理語句。

數據存儲＆QUOT;
• 現在，管理員可以直接從＆QUOT下載基於文件的數據存儲;頁。
• 在異常處理在監控Web應用程序已進行了一些改進，使得錯誤信息更精確和直觀。