Apache Spark

阿帕奇星火旨在提高數據分析和處理程序處理速度。

這是寫在Java和Scala和提供其它系統所沒有的功能，主要是因為他們不是主流，也不是無數據處理的應用程序非常有用。

星火先在加州大學伯克利分校AMP實驗室創建，後來捐獻給Apache軟件基金會

本發行版是新的：

• 統一內存管理 - 執行和緩存，而不是地區獨家師共享內存
• 木地板性能 - 使用平板模式時，改善平面掃描性能
。
• 改進查詢規劃具有不同的聚合查詢 - 不同的聚合的查詢計劃時，不同的列具有較高的基數更強大的
• 自適應查詢執行 - 自動選擇減速器連接和聚合的數量初步支持
• 在數據源API避免雙重過濾器 - 當執行帶過濾器下推一個數據源，開發人員現在可以告訴星火SQL避免雙重評估下推過濾
• 快速空安全的連接 - 加入使用空安全的平等（＆＃X3C =＆＃x3e;）現在將使用SortMergeJoin執行計算cartisian產品，而不是
。
• 在內存中的柱狀緩存性能 - 顯著（可達14倍），緩存包含在DataFrames或複雜的SQL數據類型時加速
。
• SQL執行使用關機堆內存 - 出現支持配置查詢執行使用了堆內存，以避免GC開銷

什麼是新的在1.5.2版本：

• 核心API現在支持多級匯聚樹有助於加快降低成本的操作。
• 改進的錯誤報告已添加了某些疑難雜症的操作。
• 星火的碼頭依賴現在遮蔽，以避免與用戶程序發生衝突。
• 星火現在支持SSL加密，一些通信端點。
• 實時GC指標和記錄計數已被添加到用戶界面。

什麼是新的在1.4.0版本：

• 核心API現在支持多級匯聚樹有助於加快降低成本的操作。
• 改進的錯誤報告已添加了某些疑難雜症的操作。
• 星火的碼頭依賴現在遮蔽，以避免與用戶程序發生衝突。
• 星火現在支持SSL加密，一些通信端點。
• 實時GC指標和記錄計數已被添加到用戶界面。

什麼是新的在1.2.0版本：

• PySpark的排序運營商現在支持大型數據集的外部溢出
• PySpark現在支持大於2GB廣播變量和各種期間進行的外部溢出。
• 星火增加星火UI作業級進度頁，報告進度穩定的API和輸出指標的動態更新的作業完成。
• 星火現在能夠讀取二進制文件的圖像和其他二進制格式的支持。

什麼是新的在1.0.0版本：

• 此版本擴展了星火的標準庫，引入一個新的SQL包（火花SQL），允許用戶整合SQL查詢到現有的工作流程星火
• MLlib，星火的學習機庫，擴大與稀疏向量的支持和一些新的算法。

什麼是新的在0.9.1版本：

• 在外部溢出固定哈希衝突的錯誤
• 與星火的log4j的用戶依靠其他日誌記錄的後端固定衝突
• 固定Graphx從星火組裝罐子缺少的Maven構建
• 修正了沉默由於映射輸出狀態超過阿卡幀大小故障
• 在ASM刪除星火的不必要的直接依賴關係
• 刪除指標 - 神經節從默認的編譯由於LGPL許可證衝突
• 在發行壓縮包修正了不含有火花組裝罐

什麼是新的在0.8.0版本：

• 開發已經轉移到了Apache基金會Sowftware作為孵化器項目。

什麼是在0.7.3版中的新：

• Python的性能：星火的產卵Python的虛擬機機制有經過改進，這樣做的更快，當JVM具有較大的堆大小，加快了Python API。
• Mesos修復：在Mesos反序列化任務結果時添加到您的工作的JAR現在將在類路徑中
。
• 錯誤報告：非序列化的異常和過大的任務結果更好的錯誤報告
• 例子：增加狀態流處理的例子有updateStateByKey
• 編譯：星火流不再依賴於Twitter4J回購，這應該允許它在中國建立
• 在foldByKey Bug修復，流計數，統計方法，文檔和Web UI。

什麼是0.7.2版本，新的：

• 斯卡拉版更新到2.9.3
• 幾點改進百吉餅，包括性能修復和可配置的存儲級別。
• 新的API方法：subtractByKey，foldByKey，mapWith，filterWith，foreachPartition，和其他人
• 一個新的度量報告界面，SparkListener，收集有關每個運算階段的信息：任務長度字節洗牌等
• 使用Java API，包括K-手段和計算圓周率的幾個新的例子。

在什麼版本0.7.0新是：

• 星火0.7增加了一個Python API叫做PySpark <。 / LI>
• 星火作業現在推出一個網絡信息中心監測程序中的每個分佈式數據集（RDD）的內存使用情況。
• 星火現在可以除SBT使用Maven構建的。

在什麼版本0.6.1新是：

• 修正了過於激進的消息超時，可能導致工人從集群斷開連接。
• 修正了獨立部署方式的錯誤，沒有暴露的主機名來調度，影響當地HDFS
• 在洗牌改進連接复用，可以大大加快小洗牌。
• 固定塊管理一些潛在的死鎖。
• 修正得到失敗的主機標識從Mesos的錯誤。
• 若干EC2腳本的改進，比如更好的操控現貨實例。
• 提出，星火結合定制的本地IP地址。
• Hadoop的2分佈支持。
• 有關Debian發行版定位Scala的支持。

在什麼版本0.6.0新是：

• 簡單部署
• 星火的文檔已擴大一個新的快速入門指南，更多的部署說明，配置指南，指導調整和改進Scaladoc API文檔。
• 使用異步的Java NIO一個新的通信管理器可以重排操作運行速度更快，尤其是發送大量數據或工作時，有很多任務時。
• 新的存儲管理器支持每個數據集存儲級別設置（例如是否保留數據在內存中，反序列化，磁盤等，甚至跨節點複製）。
• 增強的調試。