位置:首頁 > 大數據教學 > Hadoop教學 > Hadoop大數據解決方案

Hadoop大數據解決方案

傳統的企業方法

在這種方法中,一個企業將有一個計算機存儲和處理大數據。對於存儲而言,程序員會自己選擇的數據庫廠商,如Oracle,IBM等的幫助下完成,用戶交互使用應用程序進而獲取並處理數據存儲和分析。

Big Data Traditional Approach

局限性

這種方式能完美地處理那些可以由標準的數據庫服務器來存儲,或直至處理數據的處理器的限製少的大量數據應用程序。但是,當涉及到處理大量的可伸縮數據,這是一個繁忙的任務,隻能通過單一的數據庫瓶頸來處理這些數據。

穀歌的解決方案

使用一種稱為MapReduce的算法穀歌解決了這個問題。這個算法將任務分成小份,並將它們分配到多台計算機,並且從這些機器收集結果並綜合,形成了結果數據集。

Google MapReduce

Hadoop

使用穀歌提供的解決方案,Doug Cutting和他的團隊開發了一個開源項目叫做HADOOP。

Hadoop使用的MapReduce算法運行,其中數據在使用其他並行處理的應用程序。總之,Hadoop用於開發可以執行完整的統計分析大數據的應用程序。

Hadoop Framework