MDP(模塊化的工具包的數據處理)是廣泛使用的數據處理算法,可以根據管道類比來構建更複雜的數據處理軟件相結合的庫。
從用戶的角度來看,MDP由監督和無監督學習算法,和其它數據處理單元(節點),可以組合成數據處理序列(流)和更複雜的前饋網絡架構的集合。給定的一組輸入數據,MDP照顧依次訓練或執行所有節點的網絡中。這允許用戶指定複雜的算法為一系列以自然的方式更簡單的數據處理步驟。
現有算法的基礎是穩步增長,包括名稱,但最常見的,主成分分析(PCA和NIPALS),若干獨立成分分析算法(CUBICA,FastICA算法,TDSEP,玉石和XSFA),慢速特徵分析,高斯分類,受限玻爾茲曼機,和局部線性嵌入。
特別是已經採取謹慎措施,使高效的計算速度和內存方面。為了降低存儲器要求,能夠執行數據的使用學習的批次,並以限定節點的內部參數是單精度,這使得非常大的數據的使用設置成為可能。此外,“平行”子包提供並行執行的基本節點和流程。
從開發者的角度來看,MDP是一個框架,使新的監督和無監督的學習算法的實現變得更加容易和簡單。基本類,“節點”,需要像數字型和維度檢查繁瑣的任務關懷,讓自由的精力集中在學習和執行階段實施開發。因為共同的交界面,該節點然後自動集成了庫的其餘部分,並在網絡中可以被用於與其他節點。一個節點可以有多個訓練階段和階段的偶數數目不詳。這使得需要在進行實際的訓練前,收集整個輸入一些數據需要遍歷一個訓練階段,直到收斂標準是滿意的算法,以及其他的實施。訓練用的輸入數據塊每個階段的能力,如果保持與迭代器所生成的數據塊。此外,崩潰恢復可選配:失敗的情況下,流的當前狀態保存以便稍後進行檢查。
MDP已被寫入在神經科學理論研究的範圍內,但它已被設計為在可訓練數據處理算法用於任何上下文很有幫助。其對用戶側一起實現節點的可重用性簡單使它也是一個有效的教育工具。
什麼在此版本中是新的:
- 在Python的支持3。
- 新的擴展:緩存和梯度 。
- 的改進和擴展教程。
- 若干改進和錯誤修正。
- 在此版本是在BSD許可下。
什麼是2.5版新:
- 在2009-06-30:增加在線檢測數值後端,並行支持Python,symeig後端和數值後端單元測試的輸出。應該幫助調試。
- 2009-06-12:截止和直方圖節點集成
- 2009-06-12:在平行流(異常處理)修正了
- 2009-06-09:在LLENode修正了當output_dim是一個浮動。感謝康拉德Hinsen。
- 2009-06-05:在平行流多個調度修正錯誤
- 2009-06-05:修正了逆層的錯誤,感謝阿爾貝托·埃斯卡蘭特
- 2009-04-29:增加了一個LinearRegressionNode
- 2009-03-31:PCANode不抱怨了,當協方差矩陣具有敵我識別SVD負本徵值==真或減少==真。如果output_dim已指定具有期望方差,負的特徵值將被忽略。改進的SFANode的情況下負本徵值的錯誤消息,我們現在建議預先設置節點與PCANode(SVD = True)或PCANode(減少= TRUE)。
- 2009-03-26:遷移從舊線封裝到新的線程之一。添加標誌,禁用緩存的進程調度程序。有定制調度一些重大變化(平行流訓練或執行不受影響)。
- 2009-03-25:新增SVN版本跟踪支持
- 2009-03-25:移除了copy_callable標誌調度,這是現在已經完全由分叉的TaskCallable取代。這對便利ParallelFlow接口沒有影響,但定制調度拿到破。
- 2009-03-22:在ProcessScheduler實施緩存
- 2009-02-22:make_parallel現在工作完全就地節省內存
- 2009-02-12:新增集裝箱方法的FlowNode
- 2009-03-03:新增CrossCovarianceMatrix與測試
- 2009-02-03:新增IdentityNode
- 2009-01-30:增加在HINET一個輔助函數來直接顯示流動HTML表示
- 2009-01-22:允許output_dim層中要延遲設置
- 2008-12-23:新增total_variance到NIPALS節點
- 2008-12-23:始終設置explained_variance和total_variance培訓PCANode後
- 2008-12-12:修改symrand到真正回歸對稱矩陣(不僅是正定)。適應GaussianClassifierNode考慮到這一點。適應symrand也返回複雜的埃爾米特矩陣。
- 2008-12-11:在PCANode固定的一個問題(當output_dim設置為input_dim總方差被視為不詳)。在ParallelPCANode固定var_part參數。
- 2008-12-11:(按相對於absoute方差方差濾)加var_part功能PCANode
- 2008-12-04:缺少固定在教程中AMAX通話軸ARG。感謝塞繆爾約翰!
- 2008-12-04:修正了空的數據處理迭代器在ParallelFlow。還增加了空迭代檢查在正常流量(拋出一個異常,如果迭代器為空)。
- 2008-11-19:修改PCA和SFA節點檢查negaive特徵值的COV矩陣
- 2008-11-19:symeig集成在SciPy的,MDP可以從那裡現在使用它 。
- 2008-11-18:新增ParallelFDANode
- 2008-11-18:更新了火車來調用,ParallelFlow支持額外的參數
- 2008-11-05:的使並行代碼重寫,現在支持HINET結構 。
- 2008-11-03:該HINET HTML repesentation創作者重寫。不幸的是,這也打破了公共接口,但變化是非常簡單的。
- 2008-10-29:關閉警告,遠程進程ProcessScheduler未來
- 2008-10-27:固定的問題,在ParallelFlow的init方法覆蓋kwargs
- 2008-10-24:在hinet.FlowNode固定pretrained節點錯誤
- 2008-10-20:PP(並行Python庫)安裝時,在並聯封裝固定關鍵進口缺陷
要求:
- 在Python的
- 與NumPy
- SciPy的
評論沒有發現