Apache Spark

火花的目的是要改善的處理速度進行數據分析和處理的程序。
這是寫在Java和Scala和提供其它系統所沒有的功能，主要是因為他們不是主流，也不是適用於非數據處理應用。

什麼是新的在此版本中：

• 在核心API現在支持多級匯聚樹，有助於加快昂貴降低運營
• 改進的錯誤報告增加了對某些疑難雜症的操作。
• 在星火的碼頭依賴現在的陰影，以幫助避免與用戶程序發生衝突。
• 星火現在支持SSL加密一些通信端點。
• 實時GC度量和記錄計數已被添加到用戶界面。

什麼是1.3.0版本的新：

• 在核心API現在支持多級匯聚樹有助於加快降低成本的操作。
• 改進的錯誤報告增加了對某些疑難雜症的操作。
• 在星火的碼頭依賴現在的陰影，以幫助避免與用戶程序發生衝突。
• 星火現在支持SSL加密一些通信端點。
• 實時GC度量和記錄計數已被添加到用戶界面。

什麼是1.2.1版本的新：

• 在PySpark的排序運算符現在支持外部溢出的大型數據集。
• PySpark現在支持大於2GB廣播變量和各種期間進行的外部溢出。
• 星火增加了作業級進度頁面星火UI，報告進度穩定的API，輸出指標的動態更新的作業完成。
• 星火現在能夠讀取二進制文件的圖像和其他二進制格式的支持。

什麼是在1.0.0版本新：

• 在此版本擴展了星火的標準庫，引入一個新的SQL包（星火SQL），允許用戶整合SQL查詢到現有的工作流程星火
• MLlib，星火的機器學習庫，擴大與稀疏矢量支持和一些新的算法。

什麼是0.9.1版本，新的：

• 在外部溢出固定哈希衝突錯誤
• 與星火的log4j的為依托，其他採伐後端用戶固定衝突
• 修正Graphx從星火組裝罐子失踪的Maven構建
• 修正了沉默由於映射輸出狀態超過阿卡幀大小故障
• 在ASM移除星火的不必要的直接依賴
• 刪除指標，神經節從默認的構建由於LGPL許可證衝突
• 在發行tar包修正了不含有火花組裝罐

什麼是0.8.0版本，新的：

• 在開發已經轉移到了Apache基金會Sowftware作為孵化器項目。

什麼是在0.7.3版本新：

• 在Python的性能：星火的機制產卵Python的虛擬機有經過改進，這樣做的時候速度更快的虛擬機有一個大的堆大小，加快了Python API。
• Mesos修復：添加到您的工作的JAR現在在Mesos反序列化任務的結果時，在classpath
。
• 錯誤報告：非序列化的異常和過大的任務結果更好的錯誤報告
• 例子：增加狀態流處理的例子有updateStateByKey
• 生成：星火流不再依賴於Twitter4J回購，應該允許它在中國建立
• 在foldByKey Bug修復，流計數，統計方法，文檔和網頁用戶界面。

什麼是0.7.2版本，新的：

• 在斯卡拉版更新至2.9.3
• 若干改進，百吉餅，包括性能修復和可配置的存儲級別。
• 在新的API方法：subtractByKey，foldByKey，mapWith，filterWith，foreachPartition，以及其他
• 在一個新的度量報告界面，SparkListener，收集有關每個運算階段的信息：任務長度字節洗牌，等
• 使用Java API，包括K-手段和計算圓周率的若干新的例子。

在什麼版本0.7.0新是：

• 在星火0.7增加了一個Python API叫做PySpark <。 / LI>
• 星火作業現在推出的Web儀表盤監控程序中的每個分佈式數據集（RDD）的內存使用情況。
• 星火現在可以在除SBT使用Maven構建。

在什麼版本0.6.1新是：

• 在固定咄咄逼人的消息超時，可能會導致工人從集群中斷開。
• 修正了獨立部署方式的錯誤，不暴露主機名來調度，影響當地HDFS。
• 在洗牌改進連接复用，這可以大大加快小洗牌。
• 在塊管理修正了一些潛在的死鎖。
• 修正了來自Mesos得到失敗的主機標識。
• 若干EC2腳本的改進，比如更好的操控現貨實例。
• 提出，星火結合定制的本地IP地址。
• 支持Hadoop的2分佈。
• 支持Debian的發行定位斯卡拉。

在什麼版本0.6.0新是：

• 在簡單部署
• 在星火的文檔已擴大一個新的快速入門指南，額外的部署說明，配置指南，指導調整和改進Scaladoc API文檔。
• 在使用異步的Java NIO一個新的通信管理器可以讓重排操作運行速度更快，特別是當發送大量數據或工作時，有許多任務。
• 在一個新的存儲管理器支持每個數據集存儲級別設置（例如是否保留在內存中的數據集，反序列化，磁盤等，甚至是跨節點複製）。
• 增強的調試。