数据处理的工具和软件

根据数据处理的不同阶段,有不同的专业工具来对数据进行不同阶段的处理。

在数据转换部分,有专业的ETL工具来帮助完成数据的提取、转换和加载,相应的工具有Infmatica和开源的Kettle。

在数据存储和计算部分,指的数据库和数据仓库等工具,有Oracle,DB2,MySQL等知名厂商,列式数据库在大数据的背景下发展也非常快。

在数据可视化部分,需要对数据的计算结果进行分析和展现,有BIEE,Microstrategy,Yonghong的Z-Suite等工具。

数据处理的软件有EXCEL MATLAB Origin等等,当前流行的图形可视化和数据分析软件有Matlab,Mathmatica和Maple等。这些软件功能强大,可满足科技工作中的许多需要,但使用这些软件需要一定的计算机编程知识和矩阵知识,并熟悉其中大量的函数和命令。而使用Origin就像使用Excel和Wd那样简单,只需点击鼠标,选择菜单命令就可以完成大部分工作,获得满意的结果。

大数据时代,需要可以解决大量数据、异构数据等多种问题带来的数据处理难题,Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统 Hadoop Distributed File System,HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。

您可能感兴趣产品