中企动力 > 商学院 > 大数据时代
  • ?

    大数据时代我们活着更不容易

    费冰凡

    展开

    大数据时代充斥着我们生活

    开宗明义,概念先行,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。历史上时代是经济政治文化等状况而划分的某个时期,而现在我们认为在大数据时代大数据将会充斥着我们生活方方面面。我们是指社会上大部分的普通人,轻松是指轻软、松散;不感到有负担、不紧张。这是一个何者更的问题,所以今天我的判断标准是:与传统数据时代相比我们是否能遵循自己的意愿并感觉没有负担和压力。下面我将从三个方面来阐述我方观点。

    大数据的使我们隐私泄露

    首先,大数据时代使得我们的个人信息出现泄露,将我们的隐私暴露于外界,活在他人眼下使得我们倍感压力,并不轻松。在大数据时代,要想精确的投放广告、推销产品,就需要互联网大数据服务。经常上网购物,你曾经搜索过什么商品,下一次再打开购物平台时,系统会根据你的搜索记录向你推荐类似的商品。这样的服务在带来方便的同时,也让人不得不关注起信息安全、隐私的问题。大数据也带了隐忧,从国家安全风险、意识形态操纵,到网络欺诈犯罪、个人隐私侵犯,无不受其困扰。尤其是对普通民众而言,人们前所未有的“透明”。无论是身份证号、银行账号等信息隐私,还是通话或者文字聊天的通信隐私,家庭、工作单位地址等特定出入场合的空间隐私,以及个人生物数据或者行为特性的身体隐私,在大数据面前,几乎都是不设防的。根据相关方面统计,早在2011年,全球网络犯罪在个人隐私方面造成的损失,就能够达到全球经济总量的0.008%至0.02%。大数据时代看似让我轻松了,实际上却是让我们活的更加有压力有负担。

    大数据的混、多,人们无法找到自己需要

    其次,从之前的小数据时到现在大数据时代,导致信息的接受混乱,使得我们难以获得我们真正想要的东西。执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用与传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用。也就是这些大数据中,为你推送的5%才是你真正需要的东西,这对我们所想要知道的事情有了不明确性,并且其中的95%也都需要你去认真筛选,这就大大浪费了我们的时间,在这个快节奏的时代中,时间的宝贵我们都知道。利用大数据来找寻或者解决我们的问题,看似更加轻松,结果却是捡了芝麻丢了西瓜,大大的降低了我们的效率,使得我们更加不轻松。

    人们越来越依赖大数据,一切都数据化

    最后,大数据时代在慢慢侵蚀着我们的生活,人们更加依赖大数据时代,使得人们慢慢的不再去思考,最后被大数据禁锢自己。人们将注重事务的关联关系而不是因果关系,根据已经发生的事务数据来去进行预测判断。使数据控制着我们。当生活中无处不充斥着大数据时,人们不再理性分析事情的未来结果,仅是通过冰冷的数据来判断结果。如果大数据根据你前20年的行为判断你未来会发生犯罪,你将何去何从。在大数据时代数据潜在的操纵着我们的行为,我们自己的意愿又体现在何处。

    以上仅自己的观点,如果你有不同的意见,那么留下来吧

    信息化时代you'li'ye'you'b

  • ?

    大数据时代:掌控

    薛雅香

    展开

    当世界迈向大数据时代时,整个社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时,大数据早已在推动人类信息管理准则的重新定位。然而,不同于印刷革命,我们没有几个世界的时间去适应,我们或许只有几年的时间。

    技术的进步改变传统的商业模式,特别是当这种技术能够成为一种普遍存在的现象时,整个社会都将会发生深刻的改变。大数据时代,我们的生产方式和沟通交流都会随着大数据的普遍而发生变革,而这也将会导致我们自我管理规范的变革。

    我一直认为,好的商业模式必将是一种创新的商业模式,经历市场的检验和打磨能够存活下来的,也必将会是最适合自己的、也是最好的。大数据的冗杂和繁多能够让我们在所有的领域都可能拥有新的创新,数据的价值正在于此。而我们要做的,就是要将这种创新衍生为新的经济价值,兴城一中有效的模式,能够在最大程度上改变我们的生活。

    数据掌控着我们的一举一动,反言之,我们能否有效的去掌控数据,这将会成为一个问题。我们需要一个答案,这个答案是在技术的基础上,加上人性的分析,需要我们自己去寻找答案。未来的大数据会怎么发展,都在于我们自己。

  • ?

    #未来已来#大数据时代:数据到底有什么用?

    唯爱

    展开

    大家好,今天跟大家聊一聊数据时代的未来和发展。

    在近代人们对数据的要求没有那么的迫切,那个时候没有数据分析师,没有IT,但是随着人类的发展,随着工业革命和科技革命的发展,数据对我们来说越来越重要,比如说美国的一个城市---纽约就是一个很鲜明的例子,通过数据挖掘,有效预防了火灾。据统计,纽约大约有100万栋建筑物,平均每年约有3000栋会发生严重的火灾。纽约消防部门将可能导致房屋起火的因素细分为60个,诸如是否是贫穷、低收入家庭的住房,房屋建筑年代是否久远,建筑物是否有电梯等。除去危害性较小的小型独栋别墅或联排别墅,分析人员通过特定算法,对城市中33万栋需要检验的建筑物单独进行打分,计算火灾危险指数,划分出重点监测和检查对象。目前数据监测项目扩大到2400余项,诸如学校、图书馆等人口密集度高的场所也涵盖了。尽管公众对数据分析和防范措施的有效性之间的关系心存疑虑,但是火灾数量确实下降了。

    未来是DT和IOT的时代,数据的利用会极大丰富我们的生活,以前只有电脑象征着数据处理器,但是现在手机也通上了数据,电视、摄像头、空调、冰箱、电灯泡、窗帘等等一系列生活电器也通上了互联网数据,让我们还没有回家就已经打开了空调,让我们离开家也能关闭电视机、打开窗帘、观察家里发生的一切,是互联网+数据让我们生活变得更智能更丰富,让我们的工作效率更高。

    我觉得未来受数据影响最大的应该是生产制造业,因为就目前来看,我国的制造业还存在明显的短板,而且好多的生产厂家都是流水线的工人,真正意义上的自动化程度并没有那么高,前些天我在网上看到一个视频,视频是一个把活蹦乱跳的鸡杀死然后把每个部分的肉都分好类的机械设备,当然,这并不是中国的,是德国的一套机械设备,在生产过程中,全都靠机械手和传感器,鸡先在一个平台上,然后被依次推进先杀死放血然后再去毛,然后去内脏再分割腿、翅、脖子、鸡爪等等,一系列流程下来,最后把各个器官都分类堆在一起,视频全程没有出现一个人,我看完后不免惊叹科技竞如此发达,完全依靠机械手臂和传感器就能把原来我们几十分钟甚至几分钟做的事给缩短成了几秒,确实是提高了生产效率,而且还节省了人员成本。

    旧工业生产设备

    工业生产的物联网都是依靠采集的数据来使工业生产变得更精准更人性化,不管是在什么时候,不管是在做什么,不要以为好多数据没必要去采集,因为在数据没有采集上来之前你不知道这个数据到底有没有用,因为你不会考虑到你的核心业务诉求是否受这个数据影响,一个企业也是一样,如果单纯的以为只有自己想到收集的数据是有用的,其他的数据不去挖掘不去考量不及时呈现的话,这个企业不会更好更健康的发展下去,不能及时的解决、预防企业中的问题,就像在原来没有血压计、没有x光、没有CT这些数据采集机械设备,没有这些数据医学家也没办法来研究这些病症的治疗和预防方法,使得人们的高血压、心脏病等等这些病症没有办法得到治疗和预防。

    物联网用数据采集器

    综上所述,我觉得未来的统计数据是最值钱的,未来数据统计相关的职业会越来越火爆,会越来越值钱,谁掌握的数据多,谁采集的数据实时精确,谁就会坐拥财富!所以我觉得我们以后都必须重视数据,养成数据思维,学会分析利用数据来解决我们的问题,那我们的工作效率就会更高。那么朋友们你们怎么看呢?欢迎大家留言讨论!

  • ?

    大数据时代,何谓大数据?

    Kribi

    展开

    未来世界什么最重要?“数据!”大数据时代汹涌来袭,就像当年互联网的出现一样,大数据技术将加速企业创新,引领社会变革,促进行政管理模式和商业模式的变革,推动政府执政能力的提升,并创造出无限商机,而数据将成为未来社会发展必需的 “石油” 和 ‘金矿”。

    当前,由互联网、移动互联网、物联网等行业的发展所产生的海量数据把我们淹没在数据的海洋之中。据ICT research研究预测,2013 年年底我国的数据中心基础设施产品市场的整体规模将达157,85 亿元,未来每年将保持6.5%-9.2%的增长。大数据可视化分析、数据模型应用、数据安全和数据存储服务等将作为未来重要的发展方向。数据科学正成为一个 新兴的学科和领域,数据的重要性在我们的生活中日益重要.。无论是个人、企业还是国家,谁能更好地抓住数据、理解数据、分析数据、应用数据,谁就能在未来的竞争中占据先机。可以肯定的是,在可以预见的未来,大数据将驱动科技、管理和商业模式的大变革,并由此创造出无限的商机,为人类社会带来“大知识”“大科技”“大商机”和 “大发展”。

    大数据

    看了上边这些话,有些读者恐怕还是无法直观地认识到大数据的重要牲,总是感觉大数据这样的尖端技术离我们的工作、生活还很远,是虚无缥缈的空中楼阁。事实上,眼下大数据技术已经渗透进我们社会生活中的方方面面,正在通过各种各样的方式影响着我们每一个人,而且这种影响力正在随着技术的发展和应用与日俱增。下面,先通过几个例子,帮助读者对大数据育口个初步的直观感受。

    2008 年,阿里巴巴公司利用大数握技术通过查询用户的点击次数和购买次数,精准地预测到了2008 年 的全球金融危机,从而使自己的企业提前作好了防御金融危机的准备。 金融行业中的信用卡业务已经广泛利用大数。 据分析技术进行风险预警、用户行为分析、客户挽留等商业行为分析。 ● 谷歌公司曾经运用大数据技术分析流感人群,并跟踪预测到了某个地区流感的爆发,为流感防控提前作出了预警。 ● 国家统计局通过对人口数据的分析得出中国人口老龄化的时代已经到来。 ● 京东商喊正在通过收集到的销售数捂以及客户购买行为来向客户推销相关产品,

    大数据

    再讲一个更贴近我们生活的真实故事。 有一天,美国零售企业好市多(Costco) 接到了一位母亲的投诉:‘’我的女儿才16 岁,你们却向她推销孕妇类的产品。”但是,这一次投诉尴尬的却是这位母亲自己,因为她16 岁的女儿确实怀孕了。为什么卖货的商场,却能比与女儿朝夕相处的母亲,更早地知道这件事?恰恰是因为这个女孩发现自己怀孕之后,不敢告诉母亲,只能时常在网上浏览一些和怀孕相关的网站,搜寻一些孕妇类的产品。这些浏览行为被当做数据记录下来后,好市多的数握分析团队,据此进行精确的商品促销定位,利用海量的数握进行精准营销分析,找到有价值的客户并推销商品。这就是运用大教据技术的一个典型案例。 看完上面几个案例,读者应该能真实地感受到大数据就在我们身边。它将直接或间接地影响我们每一个人的工作和生活,它将改变我们传统的商业模式、消费行为与沟通方式,开启IT 科技的新纪元。总而言之,生活在信息化的大数据时代,每秒钟都将发生新的故事

  • ?

    马云:这是一个令人兴奋的时代,也是一个大数据时代!

    小伙计

    展开

    大家好,又到了小编来为大家分享最新知识的时间了。

    每年都会炒出一些新的名词,比如说去年的云计算就被炒得热火朝天,然后今年大数据又是突袭而来,带来了一堆新的名词。然后在一夜之间,各大厂家都纷纷推出来了大数据。

    大家纷纷都在讨论大数据,大数据成了一个炙手可热,无所不包的概念。人们纷纷奔走相告,大数据时代已经来临。从各项调查来看,大数据时代的到来已经成为一个确定的事实,大数据也成为了一种新的资源,给我们的生活带来了深远的影响。

    小编查看了一下大数据,找到了一些关于大数据的定义。研究机构给大数据的定义是,大数据是需要新处理模式,才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产。

    从本质上来说,大数据是代表了一种新型的能力,是当今社会所独有的。人们通过分析海量的数据,然后从中获得巨大的价值。在当今大数据的时代,数据已经转型为一种新的经济资产就像我们平常生活中所需要的货币和黄金。

    大数据给我们的生活带来了巨大的改变,比如说,大数据,让我们买东西变得更加精准。如果一个人如果一个女性在一家商店里买了一套怀孕所用的用品,商店就会分析女性的购买数据,去判断女性用,买家是否怀孕,然后再进一步向其推送俺家店所卖的婴儿用品。还有的商家会分析,用户所购买的婴儿用品,然后在接下来的几年当中,根据婴儿的生长情况,去给用户定期的推送相关的儿童产品。

    大数据还带来了新的就业市场。据美国一家可靠的咨询公司预测,大数据时代的到来,将为全球带来上百万个新的技术岗位和上千万个非技术岗位。中国也是如此,中国的人口数量位于世界第一位,这样中国就有了大量的大数据,而且本身又是人才大国。在中国的就业市场上,应用大数据的创新人才就变成了稀缺和抢手的资源。

    小编觉得大数据目前来说是一个具有无穷潜力的,同时是一个新兴的产业领域。但是在当今时代,大数据领域的标准,和相关的格局还未完全形成,这也就给了我这也就给了我国机会,我国要,重视大数据的开发和利用,把它变成,经济增长的有效方式。不知道大家怎么看待大数据,欢迎大家在评论区留言,与小编一起讨论。

  • ?

    大数据时代的意义和特征

    Costa

    展开

    当今时代已经进入了移动互联网时代,也就是我们通常所说的大数据。那么大数据时代有什么特点,下面济南优就业IT培训的小编来为大家介绍一下大数据崛起的特征。欢迎大家阅读,供您参考。

    1.移动互联时代,数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据

    即便是在“摩尔定律”——每18个月芯片性能将提高1倍——的支撑下,硬件性能进化的速度也早已赶不上数据增长的速度,并且差距越来越巨大。

    1分钟之内,新浪微博发送数万条微博,苹果应用商店下载次数以万计,淘宝卖出了几万件商品,百度产生了百万次搜索查询……所有这些行为都由海量的数据来呈现。

    在去年12月12日电商的促销期,淘宝网推出“时光机”——一个根据淘宝买家几年来的购买商品记录、浏览点击次数、收货地址等数据编辑制作的“个人网购志”,从而记录和勾勒出让人感怀的生活记忆。背后,是基于对4.7亿淘宝注册用户网购数据的分析处理,这正是大数据的典型应用。

    随着传统互联网向移动互联发展,全球范围内,除了个人电脑、平板电脑、智能手机、游戏主机等常见的计算终端之外,更广阔的、泛在互连的智能设备,比如智能汽车、智能电视、工业设备和手持设备等都连接到网络之中。基于社会化网络的平台和应用,让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。

    互联网搜索引擎是大数据最为典型的应用之一。百度日处理数据量达到数十PB,并呈现高速增长的态势。如果一张光盘容量为1GB,这相当于垒在一起的几千万张光盘。微软Bing(在中国为必应)搜索引擎,一周需要响应100亿次量级的搜索请求。通过和Facebook的合作,每天有超过10亿次的社交网络搜索请求通过Bing来处理。

    短短的18个月,中国移动互联网流量增加了10倍。中国工程院院士邬贺铨说,随着社交网络的逐渐成熟、移动带宽迅速提升,更多的传感设备、移动终端接入网络,产生的数据及其增长速度比历史上任何时期都要多,互联网上的数据流量正在迅猛增长。邬贺铨认为,在云计算、物联网等技术的带动下,中国的移动互联网已经步入“大数据”时代。

    而根据市场调研公司IDC的报告,全球信息总量每过两年就会增长一倍,2011年全球产生的数据总量为1.8ZB(1ZB约为百万PB),相比2010年增长了1ZB,相当于全球历史数据总和。

    继云计算后,大数据(big data)成为信息技术领域最为热门的概念之一。

    2.大数据有四个特征,最重要的是获得洞察力和价值

    在IT业界,有人把大数据产业定义为:“建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”,或者如IT巨头概括大数据战略为:“致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力,包括之前隐藏在非结构化数据中的洞察力”。

    “总之是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。”微软公司全球资深副总裁、微软亚太研发集团主席张亚勤博士接受记者采访时说。

    虽然有多种解读,但业界一般认为,大数据有四个“V”字开头的特征:Volume(容量), Variety(种类), Velocity(速度)和最重要的Value(价值)。Volume是指大数据巨大的数据量与数据完整性。张亚勤说,IT业界所指的数据,诞生不过60多年。而一直到个人电脑普及前,由于存储、计算和分析工具的技术和成本限制,许多自然界和人类社会值得记录的信号,并未形成数据。几十年前,气象、地质、石油物探、出版业、媒体业和影视业是大量、持续产出信号的行业,但那时90%以上采用的是存储模拟信号,难以通过计算设备和软件进行直接分析。拥有大量资金和人才的政府和企业,也只能把少量最关键的信号,进行抽取、转换、装载到数据库中。

    张亚勤认为,尽管业界对达到怎样的数量级才算是大数据并无定论,但在很多行业的应用场景里,数据集本身的大小并不是最重要的,是否完整才最重要。

    Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代,各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代,个人计算机用户不仅可以通过网络获取信息,还成为了信息的制造者和传播者。这个阶段,不仅是数据量开始了爆炸式增长,数据种类也开始变得繁多。

    “这必然促使我们对海量数据进行分析、处理和集成,找出原本看来毫无关系的那些数据的‘关联性’,把似乎没有用的数据变成有用的信息,以支持我们做出的判断。”张亚勤说。

    Velocity可以理解为更快地满足实时性需求。数据的实时化需求正越来越清晰。对普通人而言,开车去吃饭,会先用移动终端中的地图查询餐厅的位置,预计行车路线的拥堵情况,了解停车场信息甚至是其他用户对餐厅的评论。吃饭时,会用手机拍摄食物的照片,编辑简短评论发布到微博或者微信上,还可以用LBS(基于位置的服务)应用查找在同一间餐厅吃饭的人,看有没有好友在附近……

    张亚勤说,如今,通过各种有线和无线网络,人和人、人和各种机器、机器和机器之间产生无处不在的连接,这些连接不可避免地带来数据交换。而数据交换的关键是降低延迟,以近乎实时——这意味着小于250毫秒——的方式呈献给用户。

    “但比前面3个‘V’更重要的,就是Value,它是大数据的最终意义——获得洞察力和价值。”张亚勤说,大数据的崛起,正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下,呈现这么一个过程:将信号转化为数据,将数据分析为信息,将信息提炼为知识,以知识促成决策和行动。

    百度相关专家认为,就大数据的价值而言,就像沙子淘金,大数据规模越大,真正有价值的数据相对越少。

    “所以真正好的大数据系统,重要的不是越多越好,其实越少越好。”张亚勤说,开始数据要多,最好还是要少,把ZB、PB最终变成一个比特,也就是最后的决策。这才是最关键的。

    3.云计算和大数据是一个硬币的两面,大数据正在引发全球范围内深刻的技术和商业变革

    如同云计算的出现,大数据也不是一个突然而至的新概念。

    “云计算和大数据是一个硬币的两面,云计算是大数据的IT基础,而大数据是云计算的一个杀手级应用。”张亚勤说。云计算是大数据成长的驱动力,而另一方面,由于数据越来越多、越来越复杂、越来越实时,这就更加需要云计算去处理,所以二者之间是相辅相成的。

    30年前,存储1TB也就是约1000GB数据的成本大约是16亿美元,如今存储到云上只需不到100美元;但存储下来的数据,如果不以云计算进行挖掘和分析,就只是僵死的数据,没有太大价值。

    目前,云计算已经普及并成为IT行业主流技术,其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存,企业客户根据自身需求,可以搭建自己的“私有云”,或托管、或租用“公有云”上的IT资源与服务,这些都已不是新鲜事。可以说,云是一棵挂满了大数据的苹果树。

    大数据的出现,正在引发全球范围内深刻的技术与商业变革。在技术上,大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域,以往更多是依靠模型的方法,现在我们可以借用规模庞大的数据,用基于统计的方法,有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。”张亚勤说。

    在搜索引擎和在线广告中发挥重要作用的机器学习,被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式,计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及,计算系统正在具备与人类相仿的感知能力,其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力,与大数据以及机器学习领域的进展相结合,已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们,甚至代表我们去工作”。

    在商业模式上,张亚勤认为,对商业竞争的参与者来说,大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例,它们都是商业嗅觉极其敏锐、敢于投资未来的公司,也因此获得了丰厚的回报。

    IT产业链分工、主导权也因为大数据产生了巨大影响。以往,移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据,在IT产业链中具有举足轻重的地位。而在大数据时代,移动运营商如果不能挖掘出数据的价值,可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式,已取得一定共识。

  • ?

    大数据是什么?大数据时代四个特点

    Monica

    展开

    大数据是什么?其实很简单,大数据其实就是海量资料巨量资料,这些巨量资料来源于世界各地随时产生的数据,在大数据时代,任何微小的数据都可能产生不可思议的价值。大数据有4个特点,为别为:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值),一般我们称之为4V。

    大数据

    所谓4V,具体指如下4点:

    1.大量。大数据的特征首先就体现为“大”,从先Map3时代,一个小小的MB级别的Map3就可以满足很多人的需求,然而随着时间的推移,存储单位从过去的GB到TB,乃至现在的PB、EB级别。随着信息技术的高速发展,数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能工具,服务工具等,都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。

    2.多样。广泛的数据来源,决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统,如淘宝,网易云音乐、今日头条等,这些平台都会通过对用户的日志数据进行分析,从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据,还有一些数据结构化不明显,例如图片、音频、视频等,这些数据因果关系弱,就需要人工对其进行标注。

    大数据

    3.高速。大数据的产生非常迅速,主要通过互联网传输。生活中每个人都离不开互联网,也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的,因为花费大量资本去存储作用较小的历史数据是非常不划算的,对于一个平台而言,也许保存的数据只有过去几天或者一个月之内,再远的数据就要及时清理,不然代价太大。基于这种情况,大数据对处理速度有非常严格的要求,服务器中大量的资源都用于处理和计算数据,很多平台都需要做到实时分析。数据无时无刻不在产生,谁的速度更快,谁就有优势。

    4.价值。这也是大数据的核心特征。现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

    大数据

    在大数据时代,每个人都会享受到大数据所带来的便利。买东西可以足不出户;有急事出门可以不用再随缘等出租车;想了解天下事只需要动动手指。虽然大数据会产生个人隐私问题,但总的来说,大数据还是在不断的改善我们的生活,让生活更加方便

    若是对大数据是什么仍然还有疑问,可以留言或者关注私信一起交流。

  • ?

    目前大数据时代,已经带领全球商业有了巨大变革

    赵映容

    展开

    科学技术是第一生产力,伴随着工具和技术的不断创新与突破,历史的车轮不断向前,特别是两次工业革命使人类的生产和生活发生了质的飞跃。信息技术革命,更是一个推动历史进步的强大推动力,随着信息时代的不断发展,整个世界正在由物理维度转向数字维度,大数据竞争,更是社会、行业和企业变革的关键所在。目前,大数据的竞争,已经引领着全球商业展开一场新的变革。

    大数据时代,一切皆可数据化

    在移动互联网时代,大数据无处不在,沟通了传统与现代,并且左右着一切。在大数据时代,大数据更是随处可见,无所不包,数据可以对一切事物进行描述、记录、分析和重组。而数据化则是指把现象转化成为可以制表分析的量化形式的过程。

    应用信息经济学创始人,国际知名的测量师、决策分析师和风险管理专家,《数据化决策》的作者道格拉斯·W·哈伯德认为:“在专业的领域内量化,可避免低效的投资和管理失败案例的发生。”在计划和决策的过程中,人们掌握的信息越多、越全面,就能够尽可能地少走弯路,降低风险系数。因此,在大数据时代,谁在竞争中掌握了数据,并且能够从数据中挖掘出潜在的机会,那么,谁就把握住了成功。

    《数据化决策》这本书想要向读者传达的理念就是“一切皆可量化”。我们都知道,我们每天所做的事情、所走的路线、所做的计划和决定,都是可以通过量化的数据来表示的。在《数据化决策》第一部分,就点明政府新环境政策对公共卫生的影响、信息的价值、管理效益、公众形象等看起来不可能量化的事情,都是可以量化的,阐述了作者一切事物都是可以量化的观点,而且作者所用的方法比统计学的传统教材简单得多。

    马克思主义矛盾理论中说,不同的矛盾具有不同的特点,同一矛盾的不同方面有不同的特点。在《数据化决策》的第二部分,以不确定性、风险和信息价值等为着力点,阐述如何具体量化事物,提高针对性,这是掌握所有量化方法的基础。

    不确定性的程度能够影响计划的进程和最终的结果,想要有一个理想的结果,就要最大限度地降低不确定性。在《数据化决策》的第三部分,提出通过随机抽样和控制实验等方式来控制不确定性的程度,并且提供了一些近似计算的快速简捷的方法。

    理论必须植根于事实,否则,就会如同没有计算过程的数学题答案一样没有说服力。在《数据化决策》的第四部分,通过对美国环保局量化方法提升居民的用水安全等具体的案例的探讨,对如何量化偏好、价值、灵活性和产品质量等问题进行深入的探究,使其理论更具说服力。

    就是通过这四个部分,道格拉斯·W·哈伯德阐述并论证了其“一切皆可量化”的理念。将事物量化成数据,就能够对事物把握得更为精准。苏格兰哲学家托马斯·里德认为:“要取得知识的进步,没有比模棱两可的话有更大障碍了。”量化就是扫除直观经验的有力武器,能够打败蕴藏在密密麻麻的琐碎数据中的魔鬼,从而做出正确的决策。

    大数据时代,创新从数据中来

    创新是一个国家和民族经久不衰的源泉,是一个企业能够屹立不倒、引领风骚的奥秘所在。在互联网时代和移动互联网时代,信息、技术、产品更新换代的速度加快,人们的需求更是不断地发生着变化,创新的重要性更为突出。在大数据时代,创新的着力点在哪里?创新从何而来?答案还是隐藏在大数据之中。

    通过对大数据的处理、分析和对比,我们不仅可以寻找到市场的显性需求,同时还可以挖掘出市场的潜在需求,而这些潜在的需求就是企业的机遇之所在,同时也是企业创新的空间。洞悉到市场的潜在需求,并且能够满足这个需求,企业就能够开辟出属于自己的一片天地,建立起自己的帝国,成为这一领域的先锋和领导者。

    奇虎360,2005年9月,由周鸿祎创立,是一个以360安全卫士、360杀毒为代表的免费网络安全平台。360建立的时候,有苹果、戴尔、联想、三星等计算机品牌,有强大的软件生产商微软,在计算机生产和软件生产领域均有强敌的情况下,他找到了一个全新的领域——计算机和软件使用安全。

    于是,360安全卫士、360杀毒、360系统急救箱、360游戏保险箱等一系列的安全软件诞生了,因为360认为同搜索、电子邮箱、即时通信一样,互联网安全是互联网的一项基础服务,所以,互联网安全服务应该是免费的,它是免费安全的首倡者。凭借其免费的、有保证的优质服务,360在杀毒软件中闯出了属于自己的一片天地,树立起了自己的品牌。

    在移动互联网时代,360的安全软件更是覆盖到了手机上。根据相关统计数据显示,截至2012年9月,360手机安全产品和服务在中国智能手机安全产品市场占到了70%的比例,奇虎360成为中国最大的互联网安全公司之一。2013年10月29日,360宣布推出通过具有定位、安全预警和通话连接功能,用于保障儿童外出安全的“360儿童卫士”手环。

    2014年4月14日,主要提供云主机、云安全、云监控服务的“360云”悄然上线。想要通过整合IDC服务商的数据中心资源,找到一个全新的云计算解决方案。

    360系列安全软件的免费,是一个企业理念的创新,是技术上的创新,如果360这款免费的新软件不能满足用户的使用诉求,用户用过一次之后就会将其卸掉,那么用户数量也就不可能达到上亿。因为其能够满足用户对安全的诉求,普及到家家户户的电脑中去,不但使老百姓受益,更是颠覆了整个产业。在这创新背后,是以对大数据的分析作为依据的。

    先是免费。根据当前中国的经济发展现状、人们的消费观念、软件消费的形式等,360分析出,现在并不是收费软件发展的最佳时机,因此,在收费安全软件举步维艰的情况下,他们选择为用户提供免费的安全软件和安全服务。然后是技术,人们关注的是结果,看的是效果,如果你的软件能够解决安全问题,那么他们就会继续使用,如果不能,很抱歉,他们会果断地卸掉,而且基本上就不会再给你第二次机会了,因此,抓住用户诉求的数据,找到用户真正的需求,才能抓住用户。最后的“360云”,更是一个收集、分析数据的绝佳工具,利用云计算找到消费者新的诉求,找到新的创新点,保证企业更好地发展。

    大数据时代,数据、技术、思维三足鼎立

    根据大数据的三种来源:数据本身、技能和思维,相应地出现了三种大数据公司:

    第一种是基于数据本身的公司。这些公司或是本身就拥有大量的数据,或是可以收集到大量的数据。它们有的拥有从数据中提取有价值信息、催生出创新思想的能力,有的则不具备,比如说社交网站Twitter,它的海量数据就是自己不利用,而是通过两个独立的公司,将数据授权给他人使用。

    第二种是基于技能的公司。这样的公司一般是技术供应商、咨询公司或是分析公司。它们不一定拥有大量的数据,也不一定能够提出数据的创新性用途,但是它们拥有专业的技能。天睿公司是一家大数据分析公司,它不具备海量的大数据,但是根据沃尔玛提供的数据,它可以运用技术进行分析,并为之制订出有效的营销计划。

    第三种是基于思维的公司。这些公司生存的秘诀不是在于数据和技术,而是在于思维,是创始人和员工们的创新思维使它们脱颖而出。社交旅行创业公司Jetpac就是根据用户在网上分享的旅游照片,为用户推荐下一次的旅游景点,该公司就是通过这种新颖的想法创造和获得价值的。

    目前,前两种一直是备受关注的,因为我们所处的就是一个大数据的时代,大数据的收集与应用是一条主线。虽然第三种所受到的关注度没有前两者那样高,但是其发展潜力是不容忽视的,就如同在互联网时代,你能玩转互联网,玩不转互联网思维,前途依然是未卜的。于是,这三股力量呈现出三足鼎立之势

  • ?

    大数据时代,掌握大数据等于掌握掌握世界

    张效瑞

    展开

    什么是大数据?

    大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

    大数据有何作用?

    第一,对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量,需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

    第二,大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

    第三,大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提高诊断准确性和药物有效性;在公共事业领域,大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

    第四,大数据时代科学研究的方法手段将发生重大改变。例如,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。

    了解了大数据的概念和作用,我们先来看一下商业巨头们如何利用大数据吧。

    一、谷歌公司(google Inc)

    第一个 :ReCAPTCHA案例。

    这个虽然是被谷歌收购的,但是,具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题,冯.安发明了验证码的解决方案。如果只限于此,也就没有特别可以称道的,但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母,而随后大量的信息被随意地丢弃时,他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者,恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同,人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过,从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度,系统会将同一个模糊单词发给五个不同的人,直到他们都输入正确后才确定这个单词是对的。在这里,数据的主要用途是证明用户是人,但它也有第二个目的:破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可,2009年谷歌收购了冯·安的公司,并将这一技术用于图书扫描项目,再后来,谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来,这展示了思维的威力,实现了ReCaptcha技术提供者和使用者的双赢,技术提供者利用OCR识别获得了自己的受益,使用者不需要任何付费(互联网免费思维),也愿意使用,对于用户其实也没有影响,没有增加额外的工作。上研究生的时候,就研究OCR汉字识别问题,识别率始终是个问题,对于手写就更低了,要花费大量人力来解决,并且,人工识别工作是非常无聊,没有办法来保障质量。再想起12306的验证码,更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

    第二个:拼写检查纠错的案例。

    我们都经常使用微软的Word,其中就有拼写检查纠错功能,微软实现这个功能,采用的是传统的软件思维,也就是利用规则和词库来解决,这个需要不断耗费人力进行规则和词库的升级,对于不同的语言,耗费更是巨大。谷歌解决这个方法,用的相对巧妙,在搜索的时候,当你输入一个错误的词时,会给一个提示,要找的是不是建议的词,如果用户确认后,谷歌就进行记录处理,后面,再经过一些算法处理,经过大量的数据学习,各个拼写检查纠错就越来越好,并且,这个后续维护成本很低, 效果越来越好。其实,谷歌翻译也使用了类似的思路,虽然前期算法,包括大数据处理花费了比较多,后续,基本实现了自动化,系统会越来越强,维护升级成本很低,项目就变成可持续发展。

    第三个:对流感的预测

    2009年,一种新型的流感病毒h1n1在全球迅速传播开来。美国,和世界上所有的国家一样,要求医生们发现案例市告知疾病控制与预防中心。但是,人们并不是在第一时间去医院检查,而是会有一段时间的延迟,消息要传达到疾控中心也要时间,从而造成一定的滞后性。

    在该病毒爆发的几周前,谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播:不仅是全美范围内,而且具体到特定的地区和州。

    谷歌如何做到的呢?数据。

    谷歌通过观察人们在网上的搜索记录来完成这个预测,谷歌保存了多年来所有的搜索记录,每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

    二、facebook。

    Facebook(脸书)是美国的一个社交网络服务网站 ,创立于2004年2月4日,总部位于美国加利福尼亚州帕拉阿图,2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ,主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点,截至2013年11月每天上传约3.5亿张照片、截至2012年5月,拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克(Menlo Park)——1 Hacker Way 从2006年9月11日起,任何用户输入有效电子邮件地址和自己的年龄段,即可加入。在2015年8月28日,单日用户数突破10亿。

    fancebook,拥有这庞大数据,同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

    说完了,我们转过头看一下我们国内。

    大数据现今在国内也是蓬勃发展,让我让数据说话!

    大数据企业发展态势

    态势一:2017年,我国大数据企业依旧整体呈现“金字塔”状的实力分布,从金字塔上层来看,我国大数据企业发展指数高于50的企业数量占比仅为7.4%,与去年相比,中高区间的龙头企业发展指数均有不同程度的提升,体现出“强者恒强”的发展势头。2017年,随着新晋企业数量增多、初创企业发展活力不断提升,金字塔根基更趋稳固;专精特新的独角兽企业发展势头迅猛,成为我国大数据企业发展的中坚力量。

    态势二:2017年,我国大数据企业基础画像指数呈现较为明显的三重集团趋势,可以分为领军企业(数量占比9.23%,指数跨度从62.50到10.46)、中坚企业(数量占比29.49%,指数跨度从9.89到1.00)、上升企业(数量占比为50.16%,指数跨度从0.98到0.001)三类企业。从构成占比上看,2017年,我国大数据领军企业占比基本维持不变,而中坚企业占比显著增加,上升企业比例对比2016年有较为明显的减少。

    态势三:2017年,我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势,技术研发指数超过10的龙头企业数量占比为9.85%,低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06,同比2016增长了3.18%,其中,以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

    态势四:2017年,我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局,我国大数据企业市场拓展指数小于30的企业数量占到92.88%,指数超过30的大数据企业占比为7.12%。与2016年相比,龙头企业依旧强势引领大数据市场,中间企业及长尾企业亦积极拓展市场版图,行业整体呈稳步发展态势。

    态势五:2017年,大数据企业尤其是骨干企业发展集聚态势进一步强化,绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比,东北、中西部等重点城市,以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

    态势六:2017年,我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通,跨度从19.48到6.87,发展指数相对比较均衡,数据分析环节企业发展指数水平相对突出,发展指数达到19.48,数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比,大数据分析环节指数增长3.8,其他环节指数均有不同程度下降。

    态势七:2017年,我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域,企业平均发展指数为23.36,最高的安防大数据企业发展指数达到35.71,最低的能源大数据企业发展指数为16.89。与2016年相比,主要行业大数据企业平均发展指数同比增加了0.25,大多数行业发展指数都稳中有进,除安防领域初步定型,同比2016年降低了4.01,其他重点行业领域指数均有不同程度上升。

    态势八:2017年,我国特色细分领域大数据企业主要分为三大阵营,与2016年相比,三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营,平均发展指数维持在21左右;二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营,平均发展指数处于13.97到17.78之间;三是以虚拟现实、开源技术和车联网为代表的第三阵营,整体发展指数相对略低,处于12左右。

    进过调研分析,我们可以作出预判

    2018年我国大数据产业发展的主要趋势有:

    1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

    2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域,也包括物联网、人工智能等关联技术。

    3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

    4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破,跨学科、跨领域交叉融合技术研究将成为发展重点。

    5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入,一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

    6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施,更多创新性政策将加快出台,大数据产业发展环境将进一步优化。

    区域大数据产业发展态势:

    态势一:2017年,国家大数据综合试验区依然引领产业发展,其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23,高于全国增幅均值的5.78,大数据产业发展速度高于全国平均水平。

    态势二:2017年,大数据产业集聚发展效应进一步凸显,长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

    态势三:2017年,北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队,其大数据发展总指数在全国大数据发展总指数的占比高达26.52%,领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71,成为全国大数据产业发展指数增幅最高城市。

    态势四:2017年,我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高,大数据产业发展指数增幅均值为7.39,远超全国平均水平5.78,天津、河北、海南排名上升;西部地区未来仍有巨大发展空间,重庆大数据产业发展指数较去年增长10.12,增幅仅次于浙江省位列全国第二,宁夏、内蒙古二地成后起之秀;中部地区整体发展速度高于西部和东北,山西发力大数据产业,排名明显提升。东北地区辽宁继续蝉联区域榜首,辐射带动作用逐步凸显。

    态势五:2017年,各省市大数据产业发展环境均呈现向好态势,各省市的发展环境平均指数为10.9,较去年提高32.9%,18个省市的发展环境指数高于平均值,占比达到58%,而发展环境指数在去年平均值以上的省市高达30个;同时,江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响,较去年排名增速明显。

    态势六:2017年,全国各省市大数据产业发展水平均有提升,大数据产业发展总指数为363.9,较去年提升16.8%;

    但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响,各省...

  • ?

    大数据时代

    尤中恶

    展开

    黑发不知勤学早

    白首方悔读书迟

    在今天的这个社会你一定听过的时髦词语有:人工智能、大数据、互联网思维…,而本书《大数据时代》是2012年出版的,忆往昔,2012的时候小米手机1第一次正式网络售卖,那时的我刚踏入大学的校门,那时的你也绝不可能想象到几年后社会发展的如此之快,各种数据、各种共享经济席卷而来。虽然已经6年多过去了,但今天读这本书会发现,书中的思维依然值得我们学习。

    另,这本书不是一本IT行业的技术书,并没有涉及到具体处理大数据的技术,而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

    本书作者是维克托·迈尔-舍恩伯格,为了说明这个作者牛X,简单贴一些他的成就:

    学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO,由他的公司开发的病毒通用程序,成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究,是欧盟专家之一,也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

    此书目录的结构清晰明了,第一部分主要是讲大数据时代的思维,第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分,作者考虑到了大数据也是有两面性的,数据不可能主宰一切,故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

    了解大数据之前先要明白两个概念——数字化与数据化。

    数字化:把模拟数据转换为0,1表示的二进制码。

    一个例子就是,电脑、手机处理的数据都是数字化的0,1数据,而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

    数据化:将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

    其中,数字化是数据化的前提。

    对我来说,此书的帮助就是拓展了新的思维方式,认识到大数据时代的3个特点:

    1.不是随机样本,而是群体数据

    小样本时代: 样本远小于总体

    大数据时代: 样本等于总体

    正因为,样本数据量的增多,才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展,电子化驱动的世界中,手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

    2.不是精确性,而是混杂性

    因为小样本时代,最基本的要求就是保持收集数据的准确性,以利于分析并得出正确结论。而大数据时代,数据量的巨大和数据格式的不统一,必然会夹杂混乱或错误的数据,但为了利用大数据的优点必然要接受错误数据的存在。

    这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性,也无法实现精确性。

    3.不是因果关系,而是相关关系

    两个不同的逻辑方式对数据处理的过程也不一样:

    因果关系: 为什么。

    相关关系: 是什么。

    例子:沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现,每当季节性飓风来临之前,不仅手电筒销售量增加了,而且蛋挞的销量也增加了。因此当季节性风暴来临时,沃尔玛会把库存的蛋挞放在靠近飓风用品的位置,方便顾客购买。

    上面这个例子说明,对于大数据分析得到的结论,我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前,所以在大数据的时代,除了我们潜意识里常用的因果关系外,我们要重视相关关系这一逻辑。

    大数据的核心是什么?——预测。

    我们处理大数据就是为了预测,预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

    虽然大数据的预测通常被视为人工智能的一部分,或一种机器学习,但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测,并不是教机器像人一样思考,更不是指望大数据像“神”一样预测未来的一切。所以,大数据的预测是一定条件下、有限的预测。

    大数据的更好的发展需要三个方面的提升:思维、技术、数据。

    数据本身并无价值,只有使用才会体现其价值。对于三者的关系,我认为技术是外在的实现手段,而数据是所有的基础。但在早期阶段,技术和思维是最有提高价值的,也是我们现在可以抓住的机会。

    大数据发展的弊端:

    1.隐私问题

    2.预测判断以及惩罚人类的潜在行为,与伦理相悖

    隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下,大数据通过收集你以往做的事和说过的话,判断出80%的概率你将会有违法行为,故警察到家里把你逮捕。这是多么可怕!大数据预测和惩罚人们,并不是因为“所作的事情”,而是因为“将要做的事情”,而将要做的事情是机器判断出来的,我们并没有发生的行为。

    对于这一个问题,我们必然要思考人与数据的关系。我的思考是,人是高度复杂的,数据是由人产生的,我们可以借助大数据的力量优化我们的社会,提高我们的工作生活效率,但应避免对数据的过度依赖,成为数据的“奴隶”。数据没有思维能力,更没有创新能力,数据造不出改变世界苹果,而人可以。

    人的未来必须保留部分空间,否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西,因为数据无法捕捉到这些”。

    最后问你一个问题,你认为“日久见人心”是一种大数据思维吗?

    END

    诗词赏析 | 读书感悟 |

    —不悔书堂—

大数据时代

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP