DataCleaner

DataCleaner是一個開源並且完全免費的解決方案的組織和企業希望增加和衡量其數據的質量。

通過DataCleaner，用戶將能夠來分析，比較，驗證對業務規則的數據，並監控這些測量的發展隨著時間的推移。

在它的特點，我們可以提到數據監測，數據分析和DQ分析，數據清理和充實，檢測並合併重複的，客戶數據質量，以及超高速ETLightweight（提取 - 轉換 - 加載）。

要了解更多有關DataCleaner的功能和性能，以及如何使用它，請參閱http://eobjects.dk/docs

What是新的在此版本中：

• 改進和新功能：
• 我們做了它可以創建並通過DataCleaner的桌面UI刪除表。注意，術語;表＆QUOT;這裡實際上涵蓋的不僅僅是關係數據庫表的更多。它還包括CouchDB中和ElasticSearch在MS Excel數據存儲表，在MongoDB中集合，文件類型等等...基本上支持寫入操作，除了單表數據存儲，如CSV數據存儲所有數據存儲類型，支持此功能！該功能是通過暴露：
• ＆QUOT;創建表＆QUOT;通過在應用程序的左側的樹的模式的右鍵菜單中啟用。
• ＆QUOT;創建表＆QUOT;也使通過在組件表中，選擇輸入，比如插入到表，表查找和更新表。
• ＆QUOT; DROP TABLE＆QUOT;通過在應用程序的左側的樹表的右鍵菜單中啟用。
• 我們已經添加指定您的Salesforce.com Web服務端點的URL（可選）功能。這允許您使用DataCleaner連接到Salesforce.com的沙箱環境中，同時以自己的定制終端​​。
• 的ElasticSearch支持已得到改進，允許自定義映射以及現在重用ElasticSearch數據存儲的定義也為搜索和索引。
• 的記錄，並在重複檢測功能可能重複選擇採樣進行了改進，從而更快地配置，因為在訓練中所做的決定是比較有代表性的。
• 重複檢測模型文件格式已經更新已經取消了單獨的“參考”文件的需要，為了節省過去訓練的決定。與舊格式的兼容性得到了保留，但使用新的格式能夠為用戶體驗增加了許多好處。
• 錯誤修正：
• 系統線程匱乏問題已修復DataCleaner監視器。這個問題的影響是偉大的，但它發生只在罕見的，非常個性的案件。如果自定義監聽器DataCleaner監視器對象應該拋出一個錯誤，它會導致資源一直沒有釋放，並從服務器上的石英調度池佔用一個線程。如果這會發生很多次服務器最終可能耗盡該池中的線程。
• 結果屏幕上的垂直菜單現在做顯示具有效果的成分的標籤的正確的工作。這使得更容易識別哪個菜單項指向什麼結果項目。

在什麼版本3.5.5新是：

• 在'同義詞查找“轉型現在有一個選項查找輸入的每一個令牌。如果你是一個長文本字段的值範圍內做更換的同義詞，這非常有用。
• 通過這個顯示器的Web服務阻斷DataCleaner作業的執行，有時可能會失敗，造成阻塞線程的錯誤。此問題已得到解決。
• 的改進的方式的作業作出和組件的序列被關閉/執行後清理。
• DataCleaner的JNLP / Java的Webstart的版本在Java運行時造成在某些情況下某些JAR文件不被Webstart的發射被認可，錯誤暴露出來。此問題已得到修復通過稍微修改這些JAR文件。
• 在文檔中的一些死鏈接是固定的。

什麼是新的在3.5.4版本：

• 現在可以隱藏轉換的輸出列。隱藏，不會影響處理的流程在所有的，而是簡單地隱藏來自用戶接口，並從而潛在地使得體驗更乾淨，與其他組件進行交互時。
• 新的Web服務已經被添加到監控Web應用程序，它提供了一種輪詢特定作業的執行狀態。
• 修正了，引起HTML報告時，沒有記錄已被處理，無法對某些分析類型。
• 和6個其他的小bug已經被不客氣。

什麼3.5.1版本是新的：

• 捕獲更改的記錄：
• 添加了新的過濾器，以使那些以前沒有處理的記錄增量處理，例如為分析或僅複製修改的記錄。新的過濾器的名字是捕獲更改的記錄，指的變更數據捕獲的概念。
• 作業隊列執行：
• 的DataCleaner顯示器現在排隊同一作業的執行，如果是多次觸發。這可以確保你不小心碰到同樣的工作，同時這可能導致各種問題，​​根據不同的工作做什麼。
• 小錯誤修正：
• 若干bug修正開始實施。

什麼在3.5版本中新是：

• 現在，有幾個嚮導可用於數據存儲登記;包括文件上傳到服務器的CSV文件，數據庫連接項，Salesforce.com憑證引導註冊等等。
• 作業的建築奇才也擴展了一些增強功能;價值分配的選擇和模式發現在快速分析嚮導的字段，用於創建基於EasyDQ客戶清潔工作，進行實彈射擊Pentaho的數據集成工作（閱讀更多下文）一份新的工作嚮導，一個全新的嚮導。
• 您現在可以即席直接在Web用戶界面查詢任何數據存儲。這使得它容易得到快速的或零星分析上市公司數據，而無需設置工作或處理數據的其他管理方法。
• 一旦創建工作或數據存儲，用戶被引導到採取行動，新建的對象。例如，您可以非常快速地運行作業它的建成之後，或查詢數據存儲在註冊後。
• 管理員，如果你想手工編輯的作業文件的XML內容現在可以直接上傳作業存儲庫中，這是特別方便。
• 有很多的技術的克魯夫特現在隱藏在贊成顯示簡單的對話框。例如，工作時觸發了大量負荷指標顯示，完成後，結果將顯示。以前有仍然可以在點擊一個鏈接，了解更多詳細信息中顯示的高級日誌屏幕。

什麼是新的在3.1.2版本：

• 我們已經添加在監控Web服務申請獲取度量標準值（列表）。這使得監控更加有用的一個關鍵基礎結構組件，以此來監控數據（質量），結果暴露給第三方應用程序。
• 在“查表”組件已通過增加加入語義作為配置屬性提升。使用JOIN語義，如果你想查找像左語義工作JOIN或INNER JOIN你可以調整。
• 的EasyDQ組件升級後，進一步增加配置選項和更豐富的重複數據刪除結果界面。
• 性能改進已經此版本的具體重點。改進在DataCleaner的發動機，以進一步利用以前沒有包括在某個角落情況下，流處理辦法作出的。

什麼是新的在3.1.1版本：

• 的日期和時間相關的分析選項已經擴大，增加分佈分析儀週數，月，年。有關日期和時間，所有的分析儀現在被稱為＆QUOT子菜單中進行分組;日期和時間＆QUOT;根據＆QUOT;分析＆QUOT;
• 可選的＆QUOT;描述統計和QUOT;選項已被添加到數分析器和日期/時間分析器。這個選項增加了額外的指標，這些分析儀，如中位數，偏度，百分度和峰度的結果。這些指標都是可選的，因為其內存佔用比現有的指標略大。
• 在監視Web應用程序的時間線圖表中的線，現在在他們小點。這是用於它們與幾個（或者甚至只是一個）觀測圖表特別有用。 - 指出確切位置觀察點是
• 查詢分析器調用時，即席查詢，也得到了顯著提高。現在，查詢可以包含不同的條款，* -wildcards，子查詢和是容錯對文本的情況下的問題。
• 兩個新的變壓器已添加用於生成的UUID和產生時間戳。

什麼是新的在3.1版本：

• 公制公式 - 闡述了數據質量的KPI：
• 現在可以建立更在DataCleaner的監控Web應用程序詳細數據質量的KPI。用戶界面允許您打造一個類似電子表格的公式式的複雜的公式;利用DataCleaner工作收集的變量。
• 度量公式可以結合任意數量的指標，常數和操作，只要它可以在一個數學方程式來表達。
• - 例如，衡量的總記錄數百分比的重複記錄的速度。或測量的產品代碼符合一組多個字符串模式的量。
• 廣告-hoc查詢 - 任何數據存儲：
• 隨著DataCleaner 3.1，你現在可以執行即席查詢到任何數據存儲！查詢可以在純SQL中表達，將被應用到數據庫以及文件，NoSQL數據庫，並能提供一個真正有用的查詢機制延伸到你的發現和數據分析經驗。
• 查詢選項也可以通過網絡服務來監視用戶與管理員角色。查詢被提供為HTTP參數或POST體，其結果被提供作為一個XHTML表
• 值匹配 - 一個新的分析選項：
• 很多時候，你有哪些值應該被允許和預期特定領域的堅定理念。在DataCleaner還有的一直是價值分配的分析選項，它會幫助你堅持你的假設。在DataCleaner 3.1雖然，你有一個更精確的產品 - 價值匹配。該分析選項使您可以指定一組預期值，然後進行分析一樣的值分佈，特別是驗證和確定意外的值。
• 複製，刪除和作業管理：
• 在DataCleaner監控應用程序的工作和成果管理有了很大的提高。現在，您可以單擊作業在顯示器的計劃頁面，並找到可用於諸如重命名，複製，刪除等操作管理選項。每個操作方面與顯示器等文物，如分析結果，時間表和更多的聯繫。這意味著監控倉庫的管理變得輕鬆了許多，成熟。
• 管理數據質量歷史：
• 有時候你面對，你真正想要做的監控與歷史數據的情況下！這可能是你有歷史性的轉儲或數據庫，您希望展示和講述的故事備份。現在你可以做到這一點的歷史數據的分析，將其上傳到DataCleaner顯示器，並採用新的Web服務，設置特定的分析結果的歷史數據。這意味著你的時間表將使用他們的預期日期合理分配的結果，但與你在稍後的時間點可能收集到的結果。
• 集群調度支持（僅EE）：
• DataCleaner顯示器的調度器已被外部化，以便它可以通過簡單的結構的裝置來代替。在DataCleaner的企業版（EE），我們提供集群調度，提供跨設備的集群負載均衡和分發執行的能力。
• 單點登錄使用CAS（SSO）（EE只）：
• 在企業版（EE）DataCleaner，我們現在提供的監視器應用程序的單點登錄選項。現在DataCleaner可以成為你的IT基礎設施，也有安全明智的一個組成部分。
• ...還有很多很多：
• 上面的只是一個匯總。三十多個問題已在此版本中得到解決。我們已經解決了幾個請求從論壇和社區的未來，我們鼓勵大家使用這種媒介作為變革的工具。我們很樂意讓DataCleaner的發展由社區流的嚴重影響。

什麼是新的在3.0.3版本：

• 將在監控存儲庫重命名工作服務
• 您可以在UI訪問此作為一個RESTful Web服務或交互。
• 改變分析結果的歷史日期在監控存儲庫中添加Web服務。
• Web應用程序已經取得了與傳統的JSF容器兼容。
• 在Web應用程序配置緩存大大提高，從而導致更快的頁面加載和初始化工作時間。

在什麼版本3.0.2新是：

• 在當前觸發在監控web應用程序的工作，面板自動刷新每一秒得到執行的最新狀態。
• 基於文件的數據存儲（如CSV或Excel電子表格）使用絕對路徑，現在正確地解析在監控Web應用程序。
• 的＆QUOT;從鍵/值映射＆QUOT選擇;現在，Transformer支持像＆QUOT嵌套查詢表達式; Address.Street＆QUOT;或QUOT; orderlines [0] .product.name＆QUOT;
• 表查找機制已針對性能進行優化，對JDBC數據庫運行時，使用預處理語句。

數據存儲＆QUOT;
• 管理員現在可以直接從＆QUOT下載基於文件的數據存儲;頁。
• 在監視Web應用程序異常處理進行了改進了一下，使得錯誤信息更精確和直觀。

什麼是新的在3.0.1版本：

• 在此版本主要修正錯誤的是關於恢復列和具體枚舉分類已映射。例如在新的完整性分析，我們發現，重裝保存的作業之後，映射並不總是正確的。
• 另外一些內部方面做了改進，使其更容易使用Spring Framework部署環境中DataCleaner監視Web應用程序。
• 最後但並非最不重要的，在桌面應用程序的可視化設置已經通過自動考慮看看在工作得以改善可視化，並根據所需很好地表現出來的細節，屏幕大小和數量來回切換顯示的文物。

什麼版本3.0是新的：

• 時間表的顯示和數據質量指標的趨勢
• 管理和含作業，結果，時限等集中存儲庫。

DataCleaner工作
• 計劃和審計
• 提供的Web服務來調用DataCleaner轉換
• 安全性和多租戶
• 警報和當數據質量指標超出其預計的舒適區的通知。
• 有一個新的完整性分析這是非常有用的只是標識有不完整的字段的記錄。
• 您現在可以導出DataCleaner結果非常漂亮的HTML報告，你可以給你的經理，或發送到你的XML解析器！
• 新的監測環境也與桌面應用程序集成。因此，桌面應用程序現在必須發布作業和結果到顯示器庫中，並且被用作對於已經在存儲庫中的內容的交互式編輯的能力。
• 新的面向日期轉換現已：日期範圍過濾器，它允許您根據日期範圍為子集的數據集，日期格式，它允許使用日期掩碼格式的日期
。
• 正則表達式解析器（這在以前只能通過ExtensionSwap）已被列入DataCleaner。這使得分析和使用正則表達式規範的富文本字段非常方便。
• 有可用的新文本的情況下變壓器。這種轉變可以大/小寫和句子和單詞的正確資本之間輕鬆轉換。
• 兩個新的查找/替換變革已添加：普通查找/替換和正則表達式查找/替換
• 桌面應用程序的用戶體驗得到了提高。我們已經增加了一些在應用程序的幫助信息，發色顯得更加明亮清晰，提高了字體的處理。

在什麼版本2.5.2新是：

• 的Apache CouchDB的支持：
• 我們已經添加了對NoSQL的數據庫的Apache CouchDB的支持。 DataCleaner支持從閱讀，分析和寫作到您的CouchDB實例。
• 更新表作家：
• 繼我們之前的努力，使ETLightweight風格的功能集成到DataCleaner，我們增加了一個作家的更新表中的記錄。您可以使用此例如基於特定條件插入或更新記錄。
• 就像插入到表的作家，新DataCleaner更新表的作家並不局限於基於SQL的數據庫，但它支持寫入任何數據存儲類型（目前關係型數據庫，CSV文件，Excel電子表格的MongoDB數據庫和MongoDB數據庫）但語義相同，在SQL傳統UPDATE TABLE語句。
• 鑽取到細節保存在結果文件的信息：
• 當使用DataCleaner 2.5的保存結果的功能，一些用戶遇到他們深入到詳細信息丟失。在DataCleaner 2.5.2我們現在還堅持這個信息，使您的DQ檔案更有價值的調查歷史數據事件時。
• 改進EasyDQ錯誤處理：
• 的EasyDQ組件已經在錯誤處理方面的改善。如果出現短暫的網絡問題或其他類似的問題會導致一些記錄失敗，EasyDQ組件將現在正常恢復，最重要的 - 你的批處理工作將佔上風，甚至不顧錯誤
• 對於NoSQL的數據存儲表映射：
• 由於CouchDB的和MongoDB不表為主，但我們提供了兩種方法來與他們合作更加動態的結構：默認，這就是讓DataCleaner自動檢測表結構，它允許你手動指定高級您所需的表結構。此前，高級選項是只能通過XML配置，但現在的用戶界面，包含直接在應用程序這樣做適當的對話框。

什麼2.4.1版本是新的：

• 功能增強：
• 批量加載功能寫入數據時到數據庫表我們很大的提高。希望在這裡看到的改進幅度許多訂單。
• 寫入數據已經更方便地通過添加選項窗口菜單提供。
• 您現在可以輕鬆地通過雙擊其標籤重命名工作的組成部分。
• JavaScript的變壓器現在有語法著色，讓你的Javascript更容易檢查和修改。
• 錯誤修正：
• 當讀取和寫入同一個數據存儲（例如，在DataCleaner臨時區域），我們已經確信，該數據存儲的表緩存被刷新。此前某些情況下允許您查看表格的一個徹頭徹尾的最新看法。
• 啟動應用程序時，一個潛在的僵局得到解決。這種僵局在JVM的一個問題的結果，但我們的工作圍繞它通過同步Java中的特定API的所有呼叫。

什麼2.4版本是新的：（又名重複數據刪除或記錄模糊匹配）

• 重複檢測，這是免費使用高達50萬的值。
• 地址數據驗證和清洗。這允許你檢查是否存在地址，如果他們正確的格式，甚至建議如果你有失誤的更正。
• 姓名數據驗證和清洗。隨著名稱的服務，EasyDQ不僅一貫格式化你的名字，但還檢查拼寫錯誤和解釋的名稱部分。
• 電子郵件和電話驗證和清洗。這些服務提供檢查電子郵件和電話的數據，確保存在的郵件域，即國家代碼是否正確等等。

什麼是新的在2.3版本：

• 國際數據支持：
• 如果您正在使用國際數據的工作，那麼你可能在你的數據中國或希伯來語不同的字符集，例如。我們添加的字符集分佈分析，這是一個可以讓你找出哪些是在你的數據中使用的字符集分析選項。
• 與含有不同的字符集數據的工作可能會產生問題。使用新的音譯變壓器現在可以從音譯不同​​的書寫系統，以拉丁字符的字符串。
• 還有一個新的網絡直播演示，重點文檔部分的DataCleaner 2.3國際數據功能。
• 由二次柱分析結果分組：
• 的模式分析儀現在能夠基於二級欄目組模式。這是非常有用的分析，如：
• 獲取電話號碼，按國家分類的模式。
• 獲取基於電子郵件域的電子郵件的用戶名的方式。
• 同樣已經為值分佈分析儀做了什麼;這使得分析，例如：
• 是不是所有的城市名稱不同，當按郵政編碼劃分？
• 什麼是性別的特定客戶類型中的分佈？
• 改進圖表：
• 的模式取景效果現在可以在圖表中顯示。這使得分佈可見，並顯示多少＆QUOT的;長尾＆QUOT;模式是有的。
• 值分佈分析儀的輸出已經在幾個領域進行了改進：
• 圖表的可讀性得到了提高。
• 它顯示的行的總數和重複計數超過這些行：存在於行的不同值的數目。這有助於找出重複的值多久存在。
• 如果有空字符串，我們使用它的關鍵字，因此，這是更容易識別。
• 輸出：
• 接下來到已經存在的輸出格式（CSV文件和數據存儲H2），我們增加了寫輸出到Excel電子表格。
• 寫入數據存儲之後，現在可以預覽輸出，這樣就可以輸出是否按照您的期望檢查。
• 現在是也可以將​​輸出添加為新的數據存儲，因此，它可以被用作一個新的工作輸入。
• 其他改進：
• 文檔已普遍提高。具體地，記錄和命令行接口描述已被添加。
• 的擴展機制已經被模塊化幾件申請，並引入谷歌吉斯為擴展開發人員通常可依賴注入框架的改善。
• 當然，我們做了二十多個小的改進和bug修復。

什麼2.2版本是新的：

• 對於此版本的主要驅動力是一個關於可擴展性的故事。同時釋放的應用中，我們同時放釋放一個新的DataCleaner網站設有一個重要的新領域：本ExtensionSwap。該ExtensionSwap的想法是允許擴展DataCleaner和安裝的共享簡單地通過點擊在瀏覽器中的一個按鈕<！/ LI>
• 的DataCleaner擴展API已經提高了很多在這個版本中，從而能夠創建自己的變壓器，分析儀和過濾器。如果你覺得你的擴展可能感興趣的其他用戶，請在ExtensionSwap分享它，我們提供一個渠道，讓您輕易地分發給成千上萬的用戶。擴展API和ExtensionSwap在我們新的網絡廣播演示了開發人員和其他技術人員有興趣的進一步說明。
• 我們還發布了一組關於ExtensionSwap初始​​擴展：該HIquality聯繫人為DataCleaner擴展，它提供了先進的姓名，電話和電子郵件清洗的基礎上，人類的推論自然語言處理DQ Web服務。我們也運送樣本的擴展，這將作為想嘗試擴​​展開發自己開發的例子。在未來的幾個月，我們將確保從後我們內部的，我們在人類推理的知識收集團隊使用工具組合發起更擴展。
• 在除了可擴展性，我們也注重嵌入性。我們希望能夠輕鬆地嵌入DataCleaner到其他應用程序進行分析和數據分析可能的任何地方！我們已經創建了一個新的引導API，它允許應用程序捆綁DataCleaner和動態配置引導，或在A＆QUOT運行;單個數據存儲模式＆QUOT ;,凡申請是向剛檢查單個數據存儲調諧（通常由應用程序定義嵌入DataCleaner）。我們已經有了在作品中嵌入DataCleaner的一些非常有趣的情況 - 無論是在其他開源應用以及商業應用
• 我們已經增加了分析的SAS數據集的支持。這是值得我們頗為自豪，因為我們是，據我們所知，第一個主要的開源應用程序來提供這樣的功能，最終釋放出大量的SAS用戶。在SAS互通性部分被創造了作為一個單獨的項目，SassyReader，所以我們希望看到收養DataCleaner的免費開源社區很快呢！
• 我們還增加了另一種類型的數據存儲支持：固定寬度的文件。固定寬度的文件是文本文件，其中每列都有固定的寬度。沒有分離器或引號字符，如CSV文件，而不是每行的長​​度相等和每個線將被標記化根據一組值的長度。
• 一個選項，以＆QUOT;失敗的不一致＆QUOT;加入到CSV文件和固定寬度的文件數據存儲。這些標誌使用這些文本文件的數據存儲基礎時添加格式完整性檢查。
• 修正了，這引起了CSV分離器設置不保留在用戶界面，編輯CSV數據存儲時。
• 日文和其他字符不會在用戶界面支持。這家＆QUOT;錯誤＆QUOT;是在系統上調查可用字體和選擇，可以使該特定字符的字體的問題。在大多數現代系統將有能力提供的字體，但在一些Unix / Linux的分支可能仍有局限性。
• 的文檔部分已更新！自從最初的2.0版本的文檔已經遠遠落後，但我們終於設法得到它最新的。目前還有部分在文檔丟失，但它應該肯定是基本用法以及大多數主題的參考價值。
• 應用的啟動時間是由並行化的配置負載和通過延遲不需要的初始窗口顯示的結構的那些部分的初始化改善。
• 的拼音相似取景器分析儀已經從主要發行版本中刪除，因為這是相當實驗，大多作為一個概念證明和開胃給社會創造更多先進的匹配分析儀。現在，您可以找到並在ExtensionSwap安裝拼音相似取景器。
• 取消或errornous工作的處理進行了改進，用戶界面通過禁用按鈕和進度指示器，如果作業已經停止更正確響應。
• 修正了有關表格大小和使用滾動條的一些小的UI問題。

什麼在2.1.1版是新的：

• 增強：
• 增加了數據存儲列表上的搜索/過濾文本字段。這使您可以快速找到您的數據存儲，如果你已經超過可在屏幕上登記的數據存儲。
• 國家代碼參考的數據添加到標準發行，由於去格雷厄姆萊因德提供這些。
• 添加水平滾動條的數據預覽窗口中有超過10列。
• 能夠與新的功能在選項對話框在運行時添加一個擴展包。更加注重擴展將遵循即將發布。
• 我們已經通過允許您調用與應用暴露了我們在命令行界面（CLI）的早期預覽＆QUOT; -usage＆QUOT;參數，該參數將顯示CLI選項。
• 新增數字格式選項的＆QUOT;轉換為數字＆QUOT;變壓器。
• 錯誤修正：
• 與列（150 +）的大量查詢表時，固定的內存外的一個問題。
• 修正了導致問題＆QUOT;極限分析＆QUOT;複選框不正確檢查時，工作重開後保存
• 不是一個真正的bug修正，因為它從來沒有一個正式的功能，但現在我們支持還原從DataCleaner以前版本的用戶優先級（userpreferences.dat文件）。

什麼2.1版本是新的：

• 有很多的用戶界面上所做的工作（看到媒體頁）：
• 我們決定以除去含有環境配置選項的左手側窗口。
• 不過，所有這些選項現在已經移動到工作大樓窗口，使用戶只需專注於建立一個工作所需的所有交互的單一窗口。
• 歡迎/登錄對話框也贊成，可以在被拉扯或從主窗口隱藏在多個離散的面板中刪除。