Apache Hadoop

大數據是一個營銷術語，涵蓋了從搜索引擎，通過積分卡等追踪的雜貨店購買模式等來源開始的數據挖掘的整個構想。在現代世界中，互聯網有這麼多數據源，如果沒有處理和處理，比例尺經常會使其無法使用，那麼任何一台服務器都需要花費大量的時間。輸入Apache Hadoop

通過利用Hadoop體系結構在網絡中的多台計算機上分發處理任務，處理時間以天文數據的形式減少，可以在合理的時間內確定答案。 Apache Hadoop分為兩個不同的組件：存儲組件和處理組件。簡而言之，Hapood使得多台物理機器中的一台虛擬服務器。實際上，Hadoop管理多台機器之間的通信，使它們之間的通信足夠緊密，以至於看起來好像只有一台機器在計算上工作。數據分佈在多台機器上以存儲和處理任務由Hadoop架構分配和協調

。這種類型的系統需要將原始數據轉換為大數據輸入規模的有用信息。考慮用戶輸入搜索請求時每秒收到的數據量。作為數據總量，您不知道從哪裡開始，但Hadoop會自動將數據集縮減為更小，有組織的數據子集，並將這些可管理子集分配給特定資源。然後將所有結果報告並彙編成可用信息。

易於設置的服務器雖然系統聽起來很複雜，但大多數運動部件在抽象背後都是模糊的。 設置Hadoop服務器非常簡單，只需將服務器組件安裝在滿足系統要求的硬件上即可。更難的部分是規劃出計算機網絡，Hadoop服務器將用來分配存儲和處理角色。這可能涉及設置局域網或通過Internet連接多個網絡。您還可以利用現有的雲服務，並在流行的雲平台（如Microsoft Azure和Amazon EC2）上支付Hadoop集群。這些更容易配置，因為您可以將它們自組織起來，然後在不再需要它們時停止使用它們。這些類型的集群非常適合測試，因為您只需支付Hadoop集群處於活動狀態的時間。