Hadoop大數據解決方案
傳統的企業方法
在這種方法中,一個企業將有一個計算機存儲和處理大數據。對於存儲而言,程序員會自己選擇的數據庫廠商,如Oracle,IBM等的幫助下完成,用戶交互使用應用程序進而獲取並處理數據存儲和分析。
局限性
這種方式能完美地處理那些可以由標準的數據庫服務器來存儲,或直至處理數據的處理器的限製少的大量數據應用程序。但是,當涉及到處理大量的可伸縮數據,這是一個繁忙的任務,隻能通過單一的數據庫瓶頸來處理這些數據。
穀歌的解決方案
使用一種稱為MapReduce的算法穀歌解決了這個問題。這個算法將任務分成小份,並將它們分配到多台計算機,並且從這些機器收集結果並綜合,形成了結果數據集。
Hadoop
使用穀歌提供的解決方案,Doug Cutting和他的團隊開發了一個開源項目叫做HADOOP。
Hadoop使用的MapReduce算法運行,其中數據在使用其他並行處理的應用程序。總之,Hadoop用於開發可以執行完整的統計分析大數據的應用程序。