大数据是具有破坏性的技术

多年来，知识管理的目标一直是从多个角度提供有效的决策所需的洞察力、提取并集成信息的能力。企业决策考虑的不仅是如收入、雇员薪金或商业贷款利率之类的问题，还需要考虑究竟有哪些因素应该可以影响决策，比如在哪方面投资营销资金，投资多少，或是否拓展新的地域市场。

在过去，收集和储存信息的成本限制了企业获取全面信息以及构架企业整体经营体系的能力。然而，数字化信息的自动收集和廉价的存储已消除了对数据访问的障碍。如今，有大量的数据可供人们访问，但相关的数据库却已达到了分析信息能力的极限。

一、大数据三个要素：批量化，多样化

高速化现在出现了新的解决办法来处理所谓的“大数据”.大数据在数量上并没有确切的定义，但它又延伸了自己的领域，即使相关数据库不再能够有效地分析数据，我们也不必担心。该解决方案以分解数据为基础，发送子集进行分析，然后重新组合的结果就会输出大数据的一些组件的定义，包括然而，批量化不是唯一定义大数据的维度。 “品种也是一个因素，因为许多不同类型的数据在分析时可能是相关联的，”Gartner研究副总裁Mark Beyer（马克·拜尔）表示，“随着文件信息人快速增长和社会媒体的繁荣，企业需要的是能够分析结合的信息，包括结构化的关系型数据库和文字处理文档、视频、图片、博客和tweets等非结构化内容。”

高速化是大数据的第三个因素。它不仅要求有大量的数据，它还要求必须经常对数据进行快速处理。此外，速度本身可以有所不同。以两个人点击进入网站为例，如果数据随着时间的推移而被逐渐收集，那么一些用户会在一定的时间内产生更多的数据。“速度的变化会影响分析的结果，”Beyer补充道，“尤其是当事件的数据模型是特定的的时候。”

此外，在大量的数据被分析处理时，相关信号中会出现大量的噪音。 “你需要进行反复的测试来找出可能一开始就被忽略了的东西，因为数据分析的每个类型都是不断发展地，”Beyer表示。“一个人的信息对另一个人而言可能是噪音，这意味着弄清楚每个信息消费者的需要是非常重要的。”大数据的工作之一就是实时过滤无用信息，这就是两者之间的区别。

企业在处理大数据方面还是不成熟的，但他们有动力和信心。据Beyer表示，处理大数据的能力将成为IT领域未来十年里最重要的基础设施变化。而且，它对知识管理具有重大影响。

二、正在发展的大数据

大数据在企业中的应用正在快速增加。例如，建立商业智能（BI）解决方案时，一个行之有效的方法是运用大数据技术来存储、处理和检索信息。这种做法将提高商业智能产品中的大数据能力的知名度和可用性。

世纪90年代中期，Expedia.com率先进军在线旅游行业，并成为了世界领先的在线旅游网站。该公司提供全方位的服务，包括预订机票、预订酒店、游船与汽车租赁，和参与旅游地区的特别活动的机会。其网站为26个国家提供当地语言信息，每年访问Expedia网站的特殊用户超过75万人。因此，和访问与交易相关的数据量迅速增加，而Expedia公司便利用大数据来分析其需求。

的分析重点是客户服务和预订，以及衡量其营销活动的有效性。该公司每月收集几十TB的使用数据，它的数据库包含约200千兆字节的信息量。现在，根据一个可行的技术组合，Expedia可以存储、分析数据和获得结果，从而指导整个公司的决策。

三、大数据分析目标

副总裁兼总经理Joe Megibow表示，“我们结合了包括Hadoop的分布式存储在内的许多不同技术，来拓展更广阔的分析视野。”Expedia的分析项目中的一个关键因素是SAS（sas.com）分析平台。 “利用SAS（软件即服务）分析，我们可以从广泛分析的大型数据集中提取有用的数据子集。”

分析使Expedia公司可以知道客户的喜好和对不同的营销渠道的有效性的评价。几年来，Expedia在利用SAS分析时，越来越从大数据中受益，交易和通过数据点击量和社会化媒体输入量都在不断增长。“利用SAS分析和其他分析大量数据的技术变得更容易了，”Megibow补充道。在过去的一年中，Expedia已经开展了大规模的客户行为分析，随着时间的推移，Expedia的发展模式将有助于分析其营销效果和客户反应之间的因果关系。

分析工作的一个重要目标是要寻找广告和什么相联系，它以何种方式投资、促使客户在其网站上从访客转化为客户。 “大多数用户需要访问多次才能完成交易，”Megibow指出，“而这个大容量数据存储和分析会在特定时间或较长时期内，提供给我们关于客户行为的重要见解。”

过去几年里，大数据技术在分析可行的任务方面已经有了实质性的进展。 “我们总是想办法解决有关大数据的疑问，但在过去，技术还无法帮助我们实现分析目标，提取大量数据可能需要一整天，而分析则可能需要数月。现在，我们可以用不到一个小时的时间处理完大数据集，并且根据时间表来运用SAS分析。

四、大数据分析技术

分析社会媒体的大数据能力几乎是强制性的。 Megibow表示：”社会媒体和大数据的联系有多种方式。 文本分析让我们能够根据大量的非结构化数据源创建数据，并制定情感指数，这反过来又可以与消费者的利益相联系。“人们关心很多关于他们的评论和基本决定。 ”旅游是具有社会性的活动，很多的重量级评论是考虑了其他旅客的意见的，而这些评论有助于旅客了解他们的旅游目的地，或在某些情况下重新确定另一个旅游目的地。我们希望把这些评论纳入我们的分析。“拥护Expedia公司的倡议，并支持以数据推动决策为基础的分析。而这需要实时分析有多个来源的数据管理系统。 Hadoop是”边缘“的技术，很多企业都难以找到在这一新兴领域有丰富经验的工作人员。然而，在古典统计培训的工作人员可以很容易地使用SAS分析，而不需要Hadoop的更深奥的专业知识。多种技术的结合使Expedia公司能实现其目标，即大数据的分析性能和可用性。

一个显着的变化是，新的大数据技术是分析现有数据的能力，而非采样分析的能力。 ”在企业中，不同的数据和不同的人有关，“SAS的信息技术和CIO创意领导者Mark Troester表示，”以前，企业要对他们分析的信息进行筛选，但是今天，大数据传输技术和SAS分析的结合，使这一切不再是梦。“根据不同的群体，企业可以开发出更复杂的模型，并在瞬息万变的情况下快速运行业务。

五、大数据技术人员

许多顶级的BI厂商正在开发用于处理大数据的工具。例如，Pentaho公司最近宣布，它正在利用大数据技术研发如何在Pentaho Kettle4.3上实现资源开放。 Pentaho Kettle可以使用Apache Hadoop和NoSQL商店进行对数据的输入、输出和分析。 ”我们的产品为大数据市场带来的是数据发现、数据分析与挖掘和完整的可视化，“Pentaho的首席技术推广和产品营销副总裁Ian Fyfe（伊恩·伊夫）指出，”Hadoop是管理各种数据，如视频和音频、XML文档和博客的理想框架，但对于分析和获得结果，BI（商业智能）解决方案是最有效的办法。“表示，虽然有很多关于大数据的炒作，但大数据迅速发展的现象的确是真的。 ”大数据增长是肯定的，但很多人都不完全理解。“那些受过良好教育的、有一定数学素养的科学家是最有能力开发和测试有关数据的人选，因为他们已经掌握了很高的技术水平。而BI（商业智能）解决方案与大数据解决方案一同工作，也将有助于企业更快进入到这一领域。

咨询公司也响应了这一需求。Mu Sigma公司提供决策科学和分析服务，并拥有很高的大数据技术水平。 ”我们可以提供直接服务以支持Hadoop员工的相关技术培训，“Mu Sigma公司副总裁兼创新和发展领导人Zubin Dowlaty表示， ”大数据是一个非常具有破坏性的技术。这是第一次企业可以获取以前只能由昂贵的高性能计算机进行访问的分析类型。“

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。