定义:根据信息技术研究和咨询公司Gartner - “大数据是大量,高速度和高含量的信息资产,要求具有成本效益,创新的信息处理形式,以提高洞察力和决策。”[1]
今天的世界大数据
软件和信息技术使得可以生成实时生成的极大量的数据,通常这些数据集具有不能使用传统数据库管理系统或其他数据处理软件处理的大小。在大数据大小的语言中,我们不处理千兆字节,而是数据大小从数百个卑百种到exabytes(100万Terabytes)的数据。现在最大的问题是组织可以有效地利用这些数据来预测即将到来的方案和趋势以及如何使用这种原始数据来优化其流程,以提高效率,降低成本和接近未开发的途径。
图片礼貌:Freedigital照片用品,PhotoExplorer
挖掘Tberabytes或Petabytes的原始未处理的数据是一个非常复杂的任务,然后借鉴有意义的相关见解是一个更复杂的任务,所需的技能这一数据是当今快速变化的世界中的重要事项。专家们将这些技能分为三个关键类别,但本文的作者感觉更多的类别是相关的。
在当今的商业透视大数据中,建模,编码和分析数据不够,需要“直觉是人类角度是合理性和分析思想之间的重叠区域”。
大数据的主要组成部分
根据行业专家,大数据可以在现实生活业务运营中应用大数据时分为四个主要成分 - ,称为“四V”:
大数据的4 v
体积
当我们谈论大数据时,暗示我们正在处理巨大的数据,这些数据通常由业务流程,自动机和社交网络生成,因此要分析的数据量大小是大量的。如果我们将社交网站作为帖子,Twitter消息,照片,视频剪辑等的示例,则每秒共享帖子,Twitter消息,视频剪辑等,那么我们会处理Zettabytes或Exabytes的顺序的数据。在一项研究中,已经发现,在时间和2009年之间的世界之间产生的所有数据等于数据在2010年后的一天中生成的数据。
因此,数据集正变得越来越复杂,而且存储太大,因此使用传统数据库技术分析数据通常是不可能的。
种类
大数据术语中的种类是指来自生成数据的多个不同源以及可以构造或非结构的数据类型。早期的大多数数据是存储在关系数据库中的结构数据,例如,存储在关系数据库中。财务数据,销售数据。
但随着技术在近年来在突破性速度演变的情况下,近80%的数据是电子邮件,照片,音频,视频,PDF和社交媒体更新形式的非结构化。[3]
通过正确实现大数据技术,我们现在可以高效利用非结构化数据,并将其与结构化数据一起带来。
速度
高级技术增加了生成新数据的速率,此数据未本地化为任何特定区域,而是以巨大的速度在整个世界周围移动,这种数据流量在卷中大量和连续。
例如社交媒体帖子或youtube上的视频,在几秒钟内进入病毒。
大数据提供了分析该实时数据的能力,并允许企业和行业实时做出战略决策。
真实性
正在生成的数据通常是RAW和非结构化,因此符合数据的信任是指数据的信任,从各种网络站点,业务流程或自动机器收集的信息在每个实例中都不同,因此难以控制数据的质量和准确性难以控制所以很重要的是要区分哪些数据,以利用有意义的见解来分析问题。
分析大数据
如何从大数据中受益?
在数字经济中,捕获和分析数据非常重要,以便企业可以通过重点关注来自大数据分析的结果来改善其决策能力和性能。为了培养基于大数据分析的流程,必须做出一些重要的变化,如重新定义工作流程并为员工建立新的准则。分析大数据需要四个关键组件 - 数据的来源必须值得信赖,应该对分析师进行实时监控和反馈,必须在转入下一个过程之前结合到分析的结果,并且必须向数据提供高质量的培训科学家和分析师。[4]
生成数据的速率是指数增加的,并且几乎不可能通过传统的数据分析分析该数据,大数据使其能够在流程和过程方面查看数据,然后相应地进行决策。
作为新技术和工具,分析大数据字段中的数据,提出了更改中信息系统的结构,这涉及分享信息,传达结果并为企业提供新的见解。因此,对于组织受益于大数据,学习如何使用数据和分析来支持其业务流程和决策非常重要。
直觉在大数据分析中的重要性
事实与直觉:一个没有另一个人的存在
为了测试大数据中的直觉的相关性,让我们采取两个例子,每个例子每个至少有5000岁,并且基于观察和直觉,并在现代的事实和实验证明。
1:实验证明的事实数据:由艾伯特爱因斯坦提出的振荡宇宙理论在1930年,由无限的自我维持系列振荡之后理论为宇宙,每个宇宙都以大爆裂开始,以大嘎吱声结束;在临时,宇宙在物质的引力吸引力之前将在一段时间内扩展,导致它坍塌并经历一次反弹。
直觉:Mahabharata说(Adi-Parva,第1章,40-41):“这开始少和无穷无尽的时间周期(Kal-Chakra)就像一种永久流动出生和死亡,但没有出生或死亡。众神的创造简要介绍为宇宙的一个完整的周期。“
2:实验证明的事实数据:当我们谈到重力时,牛顿来到我们的脑海中,但在文本中苏里亚·斯迪坦日期约为400公元,Bhaskaracharya描述了它。“由于一种力量,物体落在地球上。由于一个力量”,地球,行星,星座,月亮和太阳在轨道上举行。
这些例子提供了洞察力,即来自全面基于分析的事实和数据的结果以及对事实的科学探究也可以从中的直觉中获得,其中观察也可能有一些部分。“
因此,我们观察到知识的技术应用以及通过对直觉进行特别强调,获得类似的结果。“
总结和未来的前景:
本文的目的是提供不仅进入大数据的洞察,甚至在大数据中的技术,重要的是要了解大数据由大量的数据构成,因此为了使企业成功的企业成功必须利用此小数据的星座,以便每天增加更好的决策并提高效率。随着大数据的正确实施,企业可以利用恒定的创新流。
预计通过收集和分析大数据,我们将能够更加确定将在过去的趋势基础上的未来将发生的事情,世界可以成为更好的地方。
本文已被授权Vishwadeep Mishra来自Iift Delhi
参考:
[1] http://www.gartner.com/technology/home.jsp
[2]经济学家情报股:报告领导者的课程
[3]大数据计算的引人注目的经济学和技术:www.4syth.com forysth通讯
[4]大数据:创新,竞争和生产力的下一个前沿:麦肯锡全球研究所