大数据日志分析(互联网时代大数据背后的邪恶手段有哪些)

大数据日志分析，互联网时代大数据背后的邪恶手段有哪些？

2000年9月，西湖畔，初出江湖的马云给金庸敬茶。

那时，他脑海中的大数据，不过是老爷子的十四天书和自家的十八罗汉。

然而，在万里之外美国西海岸，他的同行贝佐斯，此时已能用大数据构筑陷阱。

当月，亚马逊对68张DVD，实行差别定价。定价依据来自网站收集的用户数据。

一张《泰特斯》碟片，新客报价22.74美元，对购买力强的老客，报价26.24美元。

亚马逊利润因此增加。但一个月后，就有用户发现这一秘密，论坛上群情激奋。

最终，贝佐斯亲自道歉，说这只是实验，定价是随机设定的，以后再也不敢了。

一颗慢性毒药，就这样埋于互联网洪荒年代，毒性足以贯穿此后岁月。

那时的网民都天真，并且足够骄傲，以为电脑只是工具，数据只是痕迹，一切都可驾驭。

18年过去了，一切并没有按最美好的构想发展。

我们向海市蜃楼招手，迎来的却是乌云摧城；我们向草原深处呐喊，引来的却是嗜血狼群；

我们制造了数据洪流，也被洪流吞噬。

洪流早已淹没我们的生活。

如影随形的广告，从门户上霸占视觉，在飘窗中扭动身姿，最后化妆栖身于信息潮。

它们无处不在并时刻迭代，你搜索和输入的每一个字符，都能引发广告海啸。

而今，它们已进化到可以听懂声音。

客厅的智能电视，卧房的智能音箱，掌中的智能手机，你的声音，正时刻被采集，并在复杂推算后，为你订制广告。

这仅仅是开始，当掌握足够多数据后，洪流已能制造漩涡。

在知乎，关于大数据杀熟的提问，有15000余人关注，800多个回答。

绝大多数答案，都讲述在电商和旅游平台上，遭遇诡异的价格。

你刷新页面，见到的价格，可能是根据你的荷包和欲望，量身设定的价格。

无数数据流在虚空中盘旋冷笑，看着你跳进精巧的陷阱。

在国外，亚马逊早已不玩这些低级手段。

去年7月起，他们对网站上所有商品实行了动态定价。

鞋类除臭剂制造商Jacobs说，一旦有媒体提到他们产品，亚马逊价格就会上涨。

例如，当一家新闻网站推荐了该除臭剂，亚马逊价格会从9.99美元飙到18美元。

Uber的研究则更近一步。他们发现，当手机电量低时，用户更容易接受1.5倍，甚至2倍的提价。

没人知道他们用这个发现做了什么。

20世纪初，镭刚发现时，被当做是保健品。含铅汽油问世后，是向全球推广的高科技。

从1870年到1912年，整整42年，被西方称为“大飞行时代”。

那时，鸦片被用来小儿止啼，吸粉成为社交礼仪，海洛因是白领回家后的解压神药，而且能治疗咳嗽、胃癌和抑郁症。

我们总是欢呼着拥抱高科技，却看不到怒涛下的暗潮。

二

在数据强权的时代，每个人都如蝼蚁，所到之处总会留下数据轨迹。

轨迹中记录了你的出行路线、工作内容、餐饮喜好、休闲娱乐，记录了消费和财富，也记录了情绪和欲望。

起初，巨头们如野兽，沿着轨迹，蹑足潜行，仅作观望。

后来，它们开始截取轨迹，测算取样。

最后，它们汇总这些轨迹，并编织成数据牢笼，掌控我们的生活。

广告轰炸和大数据杀熟，并不是大数据阴暗面的全部。

随着数据洪流激涨，我们必须做好更艰难的心理准备。

首先，我们可能迎来一个隐私消亡的未来。

2007 年，英国报纸称，《1984》作者乔治·奥威尔的伦敦故居外，周围183 米内，有 32 个摄像头。

那已是11年前了，而今，摄像头只多不少，而且更为智能。

在人工智能加持之下，摄像头可以分析行踪，解读唇语，捕捉表情。

在大都市中，再难找到一个可以倾诉的树洞。哪怕是深夜公园的寂寞哭诉，也可能被机器默默记录。

互联网上，更不可能有树洞了。连浓眉大眼的facebook都叛变了，还有谁可以相信？

最隐私的博客日志，在服务器上早被拆解万遍；最安全的云端相册，在工程师眼中不过自家花园；

哪怕是功能单一的生活软件，后台也会拼命搜刮你尽可能多信息：短信记录、支付习惯，甚至相册照片。

冠冕堂皇的理由，这么做是为了防止刷单，而埋在深处的野望，无需多言。

2017年6月，《财经》报道称，国内个人信息泄露数有55.3亿条，平均每人4条。

还记得那个被骗子骗走学费后，自杀的山东女孩徐玉玉么？

她的所有信息，在黑市上只值5毛钱。

失控的数据洪流，冲垮她的生活，带走她的生命，也最终淹没了她的死讯。

在消灭隐私之后，失控的数据洪流，将更进一步，控制我们的生活。

阿汤哥还年轻时，拍过一部科幻电影《少数派报告》。

电影中，大数据可以提前预测，谁将犯罪，从而预先逮捕。未来人人自危。

我们离这个未来并不远。

2017年，滴滴研究院发表论文，用户打开滴滴时，滴滴能在2毫秒内，预测用户最可能前往的地点，准确率已超90%。

美国罗彻斯特大学学者称，他们已可预测一个人未来可能到达的位置，最多可预测到80周后，准确度高达80%。

预测之后便是掌控。

因为知道你的目的，你的倾向，你的欲望，那么自然可以把你引入设定好的人生。

你所看到的，都是符合你口味的信息；你所购买的，都是符合你心理的商品；你所度过的，都是数据推衍出的生活。

你已分不清，这是不是你主导的人生。

最初，它们跟踪你的生活；此后，你将听从它们的口令。

人类在失控的数据洪流中醉生梦死。

假山上的猴群，抢夺香蕉，忘记四周的铁网；温水中的青蛙，拨弄暖流，却不知锅底的烈火；

我们参演《楚门的世界》，人类是主角，而观众是一片片漆黑巨大的数据服务器。

三

2015年，博鳌论坛上，百度总裁张亚勤说，斯诺登事件后，绝对隐私已不存在。

斯诺登则说，预防个人信息泄露，最可靠方法是遮住自己电子设备的摄像头。

2016年，扎克伯克发布的庆祝照片泄露，他是这句话的忠实信徒。他用胶带封住了笔记本的摄像头和麦克风。

就连FBI局长Comey，也将笔记本摄像头贴上胶带，并在大学演讲中，推广这一原始手段。

当然，一段胶带，拦不住肆虐的数据洪流。

《大数据》一书作者、曾任阿里巴巴副总裁的涂子沛说，算法在黑暗空间中生长，最易滋生算法腐败。未来各国都将增设机构，进行算法审查。

对个体而言，想在洪流中独善其身，则只能以自身数据库对抗时代数据库。

人脑是自身第一数据库，当你放弃了自身数据库的更新，过渡依赖外部数据，自然会被信息流所左右。

这是一个艰难的更新过程。

你走出信息舒适区，不断学习跨界知识，算法茧房，便再也困不住你。

你挣脱技术依赖，时刻保持警醒。大数据杀熟，便很难坑杀你。

最关键的是，你要有一个清晰的人生规划，在数据流中保持决断力，力争做数据的主人。

……

陈塘关外，风雨如晦，龙吼从乌云中隐隐传来。

巨浪拍打城门，洪水转瞬将至。

不是每个人都有哪吒的乾坤圈和风火轮，都能战天斗地。

但我们起码可以，尽量到高处，尽量不逐流，尽量掌控自己的命运。

什么叫走大数据？

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，简单来说大数据就是海量的数据，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。

大数据的7大特征：海量性，多样性，高速性，可变性，真实性，复杂性，价值性

随着大数据产业的发展，它逐渐从一个高端的、理论性的概念演变为具体的、实用的理念。

很多情况下大数据来源于生活。

比如你点外卖，准备什么时候买，你的位置在哪，商家位置在哪，想吃什么……这都是数据，人一多各种各样的信息就越多，还不断增长，把这些信息集中，就是大数据。

大数据的价值并不是在这些数据上，而是在于隐藏在数据背后的——用户的喜好、习惯还有信息。

谈谈大数据时代背景下对信息安全的挑战？

【关键词】大数据;信息安全;APT;数据标识;存储监控

一、概述

随着国民经济的不断快速发展，尤其是我国加入世界贸易组织(WTO)之后，我国经济正朝着经济全球化和国际市场化的方向快速发展，从而使得我国各个企业与国外经济体的联系和交流越来越广泛。在经济全球化日益加速的今天，互联网技术的不断优化和更新，企业经济的发展越来越快，经济样式也越来越多，也就催生了企业生产数据的不断增加，尤其是近几年智能网络终端的增加、云计算技术的广泛应用等，互联网的数据量更是呈爆炸式增长。据国际互联网数据中心IDC (Internet Data Center)预计，互联网内现有的数据量90%以上是近几年才产生的，而且每两年就会翻一番的速度增长，到2020年，全球互联网数据量将增加50倍。这就表明，互联网经济已经步入了大数据时代。大数据是指互联网内数据信息量非常巨大且不能用当前常见的工具在正常时间内无法处理的数据信息。由于互联网自身的特点，这些数据绝大多数都是以非结构化的多样化形式存在，但是为人们的决策、规律研究、有用信息挖掘等提供重要的数据依据。随着时代的前进，大数据将会随着互联网络的发展而更具开发性，这也为大数据的私密数据泄露和敏感信息窃取等信息安全问题的解决提出了更大的挑战。所以如何确保数据信息安全性对于在在大数据背景下推动各个政府部门、教育科研机构、企业单位和金融机构等诸多领域的快速安全发展来说具有非常重要的现实意义。

二、大数据简介

上世纪八十年代初，美国著名谢家Alvin Toffler在《第三次浪潮》中提及了“大数据”(Big Data)的概念。大数据是指以计算机技术为基础的规模庞大、利用当前常规的数据处理工具无法在合理时间内进行正常存储、提取、搜索、分析、处理等的数据信息。同时，大数据也代表着异于传统数据信息处理系统的新的技术和框架，可以更加有效、经济地、高频率地、智能地从大容量、不同数据结构和类型的多样化数据中获取有用的价值和信息。

大数据具有五个特征，可以通过4C+V来描述，分别是Volume，Variety，Value，Velocity，Complexity。

其中Volume表示大数据的数据量多、规模巨大的特性。在对大数据进行描述时，常见的GB或者TB的数据存储单位已经不再使用，而是以PB(1024TB)、EB(1024PB)甚至ZB(1024EB)。根据一些资料显示，国际互联网数据中心IDC预测，2020年全球互联网数据量为35ZB。所以，大数据的特点首先就是数据规模庞大。Variety表示大数据的数据结构多样化，数据类型更加复杂，不仅包括常见的计算机处理的结构数据，包括二维或多维的数据结构存储表，而且有很多文件、视频、图片、音频等非结构化的数据信息。由于互联网分布式的特点，加上物联网、云计算等技术平台的不断发展，信息数据的来源逐渐趋于多样化，互联网数据来源逐渐增加，首先是互联网终端用户，在各种互联网应用中产生的文字、图片、视频、音频等各类数据信息，然后就是各种互联网设备以及各种信息管理系统，在生产过程中产生的各种文件、数据库、审计、操作日志等信息数据，最后就是各种物联网的传感设备和信号采集设备，如医疗设备产生的各种生命特征数据、天文望远镜产生的大量天文相关的信息数据等。Value表示大数据的价值密度低的特征。由于大数据数据量多，所以数据基数大，加上对于企业生产决策的有用信息并不多，所以大数据价值密度低也是大数据的另外一个特性。这里值得说明的是，价值密度低不是没有价值，对于企业来说，大数据的存储是一个企业在发展过程中非常宝贵的财富。Velocity表示大数据的数据信息处理速度快的特性，由于大数据基数庞大，所以数据处理速度快将是大数据时代数据处理工具一个最为明显的特征。Complexity表示大数据的复杂性的特征。特别是当前人们要求大数据的智能分析和处理的阶段，大数据处理和分析的复杂性将进一步提升。

三、大数据面临的安全问题

在大数据时代，数据信息成为企业发展的重要资源，然而随着数据的不断增加，大数据的安全风险也会逐渐增加，加上大数据是未来互联网络新的竞争点，必然也成为众矢之的，引发更多的安全为题。

(一)大数据的网络攻击

由于大数据的数据规模庞大，在互联网云端采用分布式存储形式进行存储，相关数据已经形成了统一的视图，就存储形势来看，数据保护相对简单，很容易为黑客留下攻击漏洞，更加便以黑客实施高持续行威胁APT攻击，造成安全问题。由于大数据环境下终端用户非常多，且群体复杂，所以系统很难对网络用户的合法性进行快速实时的判断。所以，大数据为高持续性威胁攻击提供了良好的隐藏环境，APT在一个不确定的时间内进行持续攻击，并且无法被实时检测到，对大数据造成极大的威胁。在2013年3月份，韩国包括KBS以及多家民间企业在内的网站受到黑客的高持续性威胁攻击(APT)，导致互联网络受阻，计算机系统瘫痪。在此次APT中，韩国的金融机构共受到1500多次的非法入侵，受害的计算机达48000台，成为2013年度最严重的APT攻击。

由于高持续威胁攻击具有很强的针对性，且攻击时间长，配合数据挖掘技术等大数据分析攻击和手段，很容易获取大数据中获取有用的数据信息，从而引发数据泄露，造成更大的危害。

(二)大数据的用户隐私

由于大数据对所有网络用户的数据进行汇集存储，在一定程度上，为用户的个人数据的隐私保护埋下了安全隐患。如果大数据安全机制不完善，在用户对个人数据操作不当的情况下，可能会造成一些相关的隐私数据的泄露，从而造成严重的隐私数据的安全问题。大数据的个人用户数据的隐私保护，需要强大的大数据分析和处理技术和完善的隐私数据保护机制，来提升数据安全级别。如果在大数据管理端没有完善的数据管理机制，用户的一些敏感数据信息的所有权和使用权的界定或者分配可能会出现问题，对于大数据分析的应用来说，势必会造成用户隐私数据泄露，引发数据安全问题。

在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘，完成有用信息提取。当前，大数据与云计算平台的结合，使得分布式计算的应用逐渐广泛，如何在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下云计算信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，而传统的数据隐私保护技术大都是针对静态数据的，所以如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。

(三)大数据的数据存储

大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。当前的数据存储管理系统，能否满足大数据背景下的海量数据的数据存储需求，还有待考验。不过，如果数据管理系统没有相应的安全机制升级，出现问题后则为时已晚。

四、大数据的信息安全策略

由于大数据自身的宝贵价值，在如火如荼地发展期间，必然要注重大数据的信息安全问题，来从而提升大数据的安全策略，推动大数据下的云计算的广泛应用。

(一)加快大数据信息安全体系建设

大数据的信息安全体系建设不仅是计算机信息技术的发展问题，更是国家数据安全的策略问题。在大数据的发展规划阶段，要在战略角度出发，切实认识到大数据信息安全的重要性，不仅要在技术上加强大数据信息安全体系建设，更要在策略上态度上重视大数据信息安全建设，明确大数据的重点数据保护对象，构建大数据价值等级，加快完成大数据信息安全体系的建设。

(二)实施大数据信息安全技术

大数据的信息安全技术是通过相关的工具和一定的安全策略，构建完善的大数据信息安全模型，来实现数据信息的安全。首先，可以通过一定的工具，在数据收录和存储阶段完成数据类型的划分，并通过数据挖掘等技术，持续自动地对大数据进行分类、分析、评估，从而为有用信息提取做准备，最后要确保大数据框架下各个节点之间的加密安全的通信，降低大数据的攻击。

在数据收录和存储时对数据进行标记处理，是在确保大数据安全性的前提下，对大规模的价值密度低的大数据实现快速运算处理的有效方法。针对数据标识的内容，可以根据系统不同的要求，对数据的类别、敏感等级等进行标记，然后数据管理系统对该表示进行判断之后，存放到数据库中。如图2.所示，为数据标识判断流程图。

如图2.所示，当数据增加标识后，如果数据库内未对该标识进行记录，则会将该表示直接存入数据库。如果已经有记录，则会直接将该数据存入数据库。在数据已经有数据标识之后，则可以通过数据挖掘技术(如决策树、聚类等)对数据进行实施快速处理，为后期有用价值提取做好准备。

在大数据的分布式计算框架下，数据加密的安全传输是加强大数据信息安全的重要问题，可以在分布式框架下的客户端和服务器端配置统一的数据传输加密配置文件，通过将密钥与通信数据的分开存储来增加分布式系统的数据传输的安全性。

(三)加强大数据动态存储机制

大数据的数据存储问题是解决海量数据动态并发存储的安全监控问题，在海量数据的动态存储过程中，要对数据存储程序进程等进行安全监控和检测，同时对系统各种硬件资源如CPU、内存、磁盘、输入输出端口进行全面监控和控制，从而建立高校的动态数据细粒度的分析机制和安全监控机制，确保大数据的海量数据动态并发存储的有序进行，保证大数据管理系统自身的运行可靠性和安全性。

五、总结

大数据的信息安全是针对大数据环境下的网络APT攻击、用户隐私数据保护以及数据存储等安全问题的安全的策略，主要是通过构建完善的大数据信息安全体系、实施数据标识、加密通信以及动态存储监控等方法手段来提升大数据信息安全性，从而为互联网络创建一个安全稳定的大数据环境。

如何用大数据改善校园生活？

在大数据时代，每时每刻都有海量的数据产生。这些数据并不都是网络垃圾，其中大部分数据蕴含了人类思想与行为的模式和深刻内涵。

一、大数据

大学生在日常学习生活中产生了大量的云数据，对这些数据的合理整合筛选，并运用有效的数据挖掘技术进行分析，就能从中得到反映学生思想与行为内涵的有益信息。因此，在“大数据”新时代背景下，云数据对大学校园生活将产生日新月异的变化。

二、云平台

互联网时代的到来为我们带来了QQ等网络社交平台，而今，除了QQ之外，微博、微信、论坛头条等多种交际云平台已深入到我们生活的方方面面，并成为人们最主流，也是最高频的交往平台。充分利用备受大学生青睐的交际云平台，创新与学生的交流形式。

在大学生群体的日常行为中，其人际交流模式、学习行为模式、消费行为模式及娱乐行为模式是我们所必须重点关注的大学生行为类型。随着大数据时代的到来，相较于过去的大学生行为模式，它更突显了现实世界与虚拟空间的碰撞与融合。

1. 大学生人际交流模式

当前，微博、微信等交际云平台兴起，手机、iPad 等网络载体的诞生赋予了青年一代人际交流模式新的意义和新的特征：一是更趋于理性化。网络信息量大，传播速度飞快，大学生可以更快、更多地接收到各类有益的信息，提高他们对网络社交的是非判断力，进而对网络交友有了更理性的判断与选择。二是更趋于功能化。多样的云平台不仅丰富了大学生人际交流的途径，也丰富了他们的交流内容。以微信为例，朋友圈、商圈、公众号等是它多功能的形象体现，在这样的云平台上，大学生的交流已不仅限于日常的情感交流，工作交流、商业交流等方面的交流也日益活跃于云平台上。三是更趋于高频化。随着手机等云平台载体所带来的便利化，大学生的人际交流更趋于高频，他们可以随时随地地发表心情、交流思想。因此，可以说多样的云平台让他们更愿意，也更喜欢去交流。

2. 大学生学习行为模式。

时代的变迁与网络科技的进步改变了大学生学习过程中“求知”与“求解”行为的辅助模式。一是“视频化”。当前，视频在线学习已成为传统课堂、面授指导等学习模式的有益补充，如慕课网、学堂在线、酷学习、尔雅通识课等，越来越受到高校教育的欢迎。作为一种新兴的学习模式，它为学生的学习提供了更多的便利，使学习摆脱了时间和地点的制约，同时也为学生提供了更多的学习资源。二是“百度化”。网络的高度发达所带来的不仅有丰富而便利的学习资源，同时还有强大的搜索引擎。快速的搜索与海量的云数据，带来的是更丰富且更精确的信息，同时也冲击着传统的“师生交流”、“师者解惑”的模式。百度等搜索引擎渐渐取代了教师的答疑功能，学生对学习中的困惑与疑难渐渐倾向于向“百度” 求解。从某种程度上说，它提升了学生学习的独立性，但也助长了学生学习习惯的“依赖性”和独立思考的“惰性”。

3. 大学生消费行为模式。

消费行为是映射大学生经济状况与消费心理的重要主体行为。海量的云消费数据和丰富的数据挖掘技术为我们把握、分析学生的消费心理带来了便利。当前，各种电商平台兴起，带来了众多物美价廉的商品，也促进了大学生消费的增长。一方面，网络消费成为大学生消费行为的主流模式，这不仅是基于电脑、手机等方便、快捷的电商消费载体，以及“廉”与“物阜”的消费驱动，同时也是便利的物流和配送方式带来的吸引力。另一方面，网络消费行为的增长和网络支付的便利也进一步推动了大学生宿舍“宅文化”的发展，大学生中出现越来越多的“宅一族”。

4. 大学生娱乐行为模式。

当前，各类新兴的娱乐形式不断冲击着大学生的传统娱乐模式，并逐渐成为青年一代的交流娱乐模式。一是娱乐阵地的转变。多年前，当电脑在学生群体中普及的时候，电脑游戏、电影成为很多学生的主流娱乐行为，除了课堂学习之外，宿舍、网吧成为很多学生的主流娱乐阵地。当前，随着网络娱乐平台的多样化，各种云端、虚拟空间成为青年一代的主流娱乐阵地。二是娱乐行为的转变。现在，大学生更热衷于在各类虚拟空间发日志、说说、评论和晒心情、晒生活。一方面，大学生的思想和行为更加透明化，有更多的数据和平台去直观地了解学生的思想和行为动态。另一方面，只要有手机，随时随地就可以开启这样的娱乐模式。于是，“低头一族”开始冲击着大学课堂秩序，也为如何更有效地开展大学生思想教育工作提出了新的挑战。

大数据，云平台，是福还是祸？你怎么看呢？