2024-06-24
中国门锁网
网络
6016
什么是海量数据?海量数据还可以称为大数据。对于大数据(Big data)研究机构Gartner给出了这样的定义:大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。其特色在于可对海量数据进行分布式数据挖掘,但必须依托云计算的分布式处理、分布式数据库以及云存储、虚拟化技术。
随着云时代的来临,大数据也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce –样的框架来向数十、数百甚至数千台计算机分配工作。
1.大数据的特点
相比传统的数据仓库应用,大数据分析具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望。
大数据的特点有四个层面:第一,数据体量巨大。从TB级别跃升到PB级别。第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等。第三,处理速度快。1s定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。第四,只要合理利用数据并对其进行正确、准确的分析,将会带来很高的价值回报。业界将其归纳为4个“V”Volume(数据体量大)、Variety(数据类型繁多)、Velocity(处理速度快)、Value(数据价值大)。
从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。
2.大数据的用途
大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程;大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。
物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
3.大数据的存储
大数据最核心的价值就是在于对海量数据进行存储和分析。与现有的其他技术相比,大数据的“廉价”“迅速”“优化”这三方面的综合成本是最优的。
大数据需要特殊的技术,以有效地处理大量的容忍时间内的数据。适用于大数据的技术包括大规模并行处理( MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈(也是可靠性和安全性的焦点),不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,不仅提高了系统的可靠性、可用性和存取效率,还易于扩展。
4. 大数据的意义
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率、多样化的信息资产。
2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上说,“大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了”。
大数据正在改变着产品和生产过程、企业和产业,甚至改变着竞争本身的性质。把信息技术看作辅助或服务性的工具已经成为过时的观念,管理者应该认识到信息技术的广泛影响和深刻含义,以及怎样利用信息技术来创造有力而持久的竞争优势。毋庸置疑的是,信息技术正在改变着人们习以为常的经营之道,一场关系到企业生死存亡的技术革命已经到来。
借着大数据时代的热潮,微软公司生产了一款数据驱动的软件,主要用于为工程建设节约资源提高效率,在这个过程里,可以为世界节约40%的能源。抛开这个软件的前景,从微软团队致力于研究开始,可以看到他们的目标不仅是为了节约能源,还更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据,捕捉如何杜绝能源浪费。“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队所专注的事情。
随着全球范围内个人计算机、智能手机等设备的普及和新兴市场内不断增长的互联网访问量,以及监控摄像机或智能电表等设备产生的数据暴增,使数字宇宙的规模在2012年到2013年两年间翻了一番,达到惊人的2.8ZB。IDC预计,到2020年,数字宇宙规模将超出预期,达到40ZB。
40ZB究竟是个什么样的概念呢?地球上所有海滩上的沙粒加在一起估计有七万零五亿亿颗。40ZB相当于地球上所有海滩上的沙粒数量的57倍。也就是说,到2020年,数字宇宙将每两年翻一番;到2020年,人均数据量将达到5247GB。
该报告同时显示,尽管个人和机器每天产生大量数据,使数字宇宙前所未有地不断膨胀,但仅有0.4%的全球数据得到了分析。由此可见,大数据的应用几乎是一块未被开垦的处女地。
5.大数据的价值
谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。从中挖掘用户的行为习惯和喜好,从凌乱纷杂的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。大数据也日益显现出对各个行业的推动力。
大数据时代的来临首先由数据丰富度决定的。社交网络兴起,大量的UGC(互联网术语,全称为User Generated Content,即“用户生成内容”的意思)内容、音频、文本信息、视频、图片等非结构化数据出现了。另外,物联网的数据量更大,加上移动互联网能更准确、更快地收集用户信息,比如位置、生活信息等数据。从数据量来说,已进入大数据时代,但硬件明显已跟不上数据发展的脚步。
以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,而现在提及“大数据”,通常是指解决问题的一种方法,并对其进行分析挖掘,进而从中获得有价值信息,最终演化出一种新的商业模式。
虽然大数据在国内还处于初级阶段,但其商业价值已经显现出来。首先,掌握数据的公司站在金矿上,基于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重于数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。
未来,数据可能成为最大的交易商品。但数据量大并不能就算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。未来大数据将会如基础设施一样,由数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。据统计,大数据所形成的市场规模在51亿美元左右,而到2017年,此数据预计会上涨到530亿美元。
想了解更多有关智能门锁产品价格的信息,请点击阅读!
下一篇:智能家居的系统管理—云计算
13520832007