登陆注册
3049900000013

第13章 数据存储与数据挖掘(5)

6.统计分析方法

在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的确定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。

7.模糊集方法

即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上,提出了定性定量不确定性转换模型———云模型,并形成了云理论。

3.4.5数据挖掘中的关键技术

数据挖掘在技术上可以根据它的工作过程分为:数据的抽取、数据的存储和管理、数据的展现等关键技术。

1.数据的抽取

数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面,未来的技术发展将集中在系统功能集成化方面,以适应数据仓库本身或数据源的变化,使系统更便于管理和维护。

2.数据的存储和管理

数据仓库的组织管理方式决定了它有别于传统数据库的特性,也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多,且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前,许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能,将普通关系数据库改造成适合担当数据仓库的服务器。

3.数据的展现

在数据展现方面主要的方式有查询、报表、可视化、统计输出、挖掘结果等。查询:实现预定义查询、动态查询、OLAP查询与决策支持智能查询;报表:产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表;可视化:用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系;统计输出:进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析;挖掘结果:利用数据挖掘等方法,从数据中得到关于数据关系和模式的知识。

3.5数据挖掘与智慧城市

3.5.1智慧城市建设中数据挖掘的任务

数据挖掘技术的应用将会渗透到智慧城市的建设的多个方面和领域,为智慧政府、智慧交通、智慧教育、智慧社区等的发展提供重要的技术支持。在智慧城市的建设中,数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

1.关联分析(Association Analysis)

关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性,就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性,还不断引入兴趣度、相关性等参数,使得所挖掘的规则更符合需求。

2.聚类分析(Clustering)

聚类是把数据按照相似性归纳成若干类别,同一类中的数据彼此相似,不同类中的数据相异。聚类分析可以建立宏观的概念,发现数据的分布模式,以及可能的数据属性之间的相互关系。

3.分类(Classification)

分类就是找出一个类别的概念描述,它代表了这类数据的整体信息,即该类的内涵描述,并用这种描述来构造模型,一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

4.预测(Predication)

预测是利用历史数据找出变化规律,建立模型,并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性,通常用预测方差来度量。

5.时序模式(Time‐series Pattern)

时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样,它也是用已知的数据预测未来的值,但这些数据的区别是变量所处时间的不同。

6.偏差分析(Deviation)

在偏差中包括很多有用的知识,数据库中的数据存在很多异常情况,发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

3.5.2数据挖掘在智慧城市的应用

数据挖掘应用范围比较广泛,在智慧城市建设中,将主要应用于金融、电信、证券、商业、市场营销、政府等部门。目前,CRM(客户关系管理)利用了可视化数据挖掘技术,已有许多很成功范例。数据挖掘成功的两个关键因素是:一个大且完整的数据仓库和一个可挖掘的定义、理解都明确的商务流程,如客户展望、保持,商业活动管理,等等。一些成功的应用案例包括:

1.制药公司

一家制药公司可以分析他最近的销售行动及其结果以改进高位值医师的目标市场,并决定哪些市场活动将在后续的几个月有最大的效果;数据需要包括竞争对手的市场活动,信息和当地医疗系统的信息一样;结果可以通过广域网分发到各销售队伍,它可以使地区代表从决策过程中关键属性的视点来检视这些建议;随着这一过程的进行,数据仓库的动态分析允许来自整个组织的最好的实践应用于特定的销售环境。

2.信用卡公司

一个信用卡公司可利用他的巨大的客户交易数据仓库来确定客户对新的信用卡中最感兴趣的产品;使用一个小型的测试邮件,就可以确定一个客户对新产品的亲和力属性。最近的研究已经表明,采用超常规的方法对指定目标的邮寄活动,可以节省20倍的费用。

3.运输公司

一家拥有很大的直销队伍的多样化的运输公司,可使用数据挖掘以确定其服务的最好模式,用数据挖掘来分析他自己的客户体验,还可以建立唯一的分段以确定高位值的预期。对诸如由Dun&Bradstreet提供的那些一般商务数据使用这些分段可以产生一张按地区排列的优先列表。

4.货物包裹公司

一个大的消费者货物包裹公司可以利用数据挖掘来改进对零售商的销售流程。来自消费者组织、运输商以及竞争对手活动的数据,可以用于理解打上印记和仓储转移的原因。通过这些分析,制造商可选择能最好地运抵目标客户地区的运输商推荐策略。每一个这样的例子有一个共同的清晰的基础,他们利用在数据仓库里隐藏的关于客户笃信的知识,来减少费用并改善客户关系的价值。这些组织现在可以集中精力于最重要的客户和有前景的商务,并设计可以最好实现这些目标的市场策略。

同类推荐
  • 利率衍生产品发展:条件分析与机制设计

    利率衍生产品发展:条件分析与机制设计

    与其他衍生产品一样,利率衍生产品的基本功能也包括套期保值、套利、投机、价格发现和资源配置。但作者以为,这五种功能在性质上是有区别的。前三种功能基于特定需求而产生,具有内在性,并直接体现了利率衍生产品的作用机理,而后两种功能则基于前三种功能而存在,具有外延性,更多体现的是利率衍生产品发展的意义和影响。切合本书研究主题的正是前三种功能,因此本章仅对这三种功能及其作用机理加以分析。
  • 第七感:权力、财富与这个世界的生存法则

    第七感:权力、财富与这个世界的生存法则

    这是一个超越时空的全新时代。这是一个连接无处不在的变革时代。这个时代与启蒙运动时期、工业革命时期完全不同。在这个时代,我们必须要感知现实世界——拥有汽车、学校和战斗机的现实世界,又要看清虚拟力量——拥有人工智能、DNA数据库、计算机病毒的虚拟世界。在这个时代,各种信息、应用、通信数据及出乎意料的事情充斥并改变着人们传统的生存状态,我们已经无法以固有的感知来理解和认识这个蕴藏着巨大潜能和冲击力的网络连接时代。
  • 债务海啸

    债务海啸

    中国债务总水平,已达无法承受的极限,而且还是在社保投入严重亏空情况下。债务危机再也不是其他国家的事,这和我们息息相关。政府的债务就是每个人的债务!对中国人来说,债务危机和每一个人息息相关!只有透彻理解中国债务本质,我们才能把握财富未来。
  • 经济学的诡计大全集

    经济学的诡计大全集

    本书分为九大编,分别介绍了消费、生产、职场、理财、爱情、婚姻等方面与经济活动相关的内容,既新颖有趣,又能启发读者思考,引人入胜。我们力求让读者认识到经济学“诡”计多端的一面,从容看清商家使用的花招,以及经济学到底在我们身边布下了什么迷阵,到底生活中都隐藏了哪些秘密。到底工作中又有哪些不为人知的故事。同时通过日常生活中的常见例子,来介绍经济学的基本知识,并且让读者把经济学的智慧运用到生活和工作中去,让你既能在精神上得到知识的愉悦,在诡计、陷阱和谎言背后读懂经济学,更能学会在工作和生活中以经济学家特有的”法眼”识破一切机关,从而避开陷阱,有效地保护自身的利益。
  • 规范内部审计的28个技巧

    规范内部审计的28个技巧

    ·审计无小事,本书将告诉你怎样在一个审计较为混乱无章的中小企业建立一套切实可行的审计系统,探寻适合中小企业的一套审计方法和制度·没有规矩就不成方圆,没有监督就不成体系。如何建立审计规范、确立审计标准,本书提供了切实可行的方法,更关键的是,它的故事性让人读起来倍感亲切。·简单的描述,平实的语言,日记式的导读,让你一看就明白,一用就上手。“新手”学习,“老手”回炉的内部审计宝典。
热门推荐
  • 就这样去谈判

    就这样去谈判

    本书介绍了谈判应具备的素质,谈判的准备工作,谈判理念,谈判形象,谈判技巧,谈判沟通,谈判原则等内容。
  • 快穿直播之宿主太病娇

    快穿直播之宿主太病娇

    新书:《快穿:黑化主神太病娇》流妃颖是小说里的炮灰反派,她被虐致死。因怨气太重,被蠢萌系统绑定。因天命成为主神的她和萌宝穿越三千世界,虐渣男贱女自称家常便饭。只是…身后的男人看跟着她干啥?#禁欲和尚双手合十:“施主,往事不如皆忘了。”莲魅郁闷:“忘不掉!!”……花妖惑世、……此书练笔为练笔,不要入坑……
  • 我的系统我的道

    我的系统我的道

    传说中的灵气复苏来了。身为主角的我不出意外的得到了我的金手指——神主系统。可为什么?为什么我被系统抛弃了?好吧,没了就没了,我跳槽主神空间行不行?
  • 马尔菲公爵夫人

    马尔菲公爵夫人

    悲剧作家约翰·韦伯斯特所作的《马尔菲公爵夫人》恐怖而令人心碎。该剧的故事充满了血腥。寡居的公爵夫人,因与管家秘密结婚,惹怒了她的兄弟斐迪南德公爵及主教。他们让公爵夫人受尽精神和肉体折磨后将她杀死,并掐死了她的两个儿子。最后,公爵发疯,一位曾经参与折磨公爵夫人的仆人幡然悔悟杀死了主教。
  • 佛说观经

    佛说观经

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 香殒泪

    香殒泪

    年仅十五,她痛失处子之身,只隔了两年,她却忘得一干二净。两相见,形同陌路,谁也不认识谁。二十芳华,她一朝成为名门贵将,费劲心思想为自己同父异母的妹妹挡风遮雨,不料反被下了药,一夕之间,她妹妹成了妃,她却沦为奴!当她尽忠职守,努力为自家光宗耀祖时,一道满门抄斩的圣旨,把她逼入绝境!想报仇,却下不了杀手!了无生趣的她,心灰意冷悬河自尽,却被路人相救,以为他就是自己的良人,满心欢喜的与他喜结良缘那夜,迎接她的,竟然又是刀光血影!重出江湖的将门之女,掀起一场翻天覆地的政变!========================================后续简介(看过公众章节以后再看):他是西夏帝王!从昏君到明君,又从明君沦为暴君!逼她撇下忠臣的名誉,起兵谋反!他是逆臣国舅,野心勃勃,但在看尽她辛酸苦辣之后,却含笑着束手就擒!江山一半一半,谁与争锋?他是一国首富!为她弃商从甲,却站在她敌人的背后,故意与她为敌!他是隐世王爷!无心无欲,一次偶然邂逅,他的身份尽数被她利用殆尽!却是那般甘之如饴!他是她最完美的军师,却在最后关头,弃她离去,成为敌国的猛将,处处与她争锋!到最后,究竟谁才是她的夫?衣带解尽,面前的,却不是她心爱的男子!----------------------------------------------------------------------------他们是她的儿子,一个被封为太子,一个流浪在外,只是他们嘴里所喊的母亲,永远都不是她!她往日的贴身侍婢,霸占了她母亲的身份,也霸占了她心爱的男人!成了一国之后,逼她俯首称臣!她的双胞姐姐,直到她二十岁那年才突然出现在自己面前,却口口声声说要杀了她!她们姐妹,一个是佛,一个是魔,一个最爱兴风作浪,一个却努力治安平天下!好几次形势所逼,双胞姐妹身份互换,在朝廷与江湖之间,闹得沸沸扬扬!到头来,她败坏了自己的名声,却成就了她姐姐的名号!------------------------------------------------------------------------------------这是一个凌驾肉欲之上的爱情故事!凡是看过一点文章内容的就会知道,简介里所写的人物身份,很好辨认的!
  • 超有效的滋养面膜

    超有效的滋养面膜

    是不是从来没做过面膜的你,知道很多美美的MM的秘密是天天敷面膜,但自己却从来没动手做过,连从超市里买回来的现成的面膜都没试过呢?那从你拥有这本书的那刻开始,你会看到一个全新的自己,看到一个最勤快的自己。去了解自己的肌肤,知道怎么应对有可能出现的肌肤问题,清洁、滋养你的肌肤,具体的DIY面膜,非常全面。对自己更好一点,让自己更美一些。
  • 球为我狂

    球为我狂

    这是一本激情四射·演绎青春之歌的书,绿茵场上,他们挥洒的不仅仅是激情,更重要的是他们走出了青春期的烦恼和迷惑,收获了成熟,懂得了理解、关爱和团结。青春无悔,一如流光溢彩的画!
  • 我是极品炉鼎

    我是极品炉鼎

    一鼎在手,要啥都有。想要丹药?晶果来换;想要硬抢?师姐快上!想要和我对着干?真是瞎了你的狗眼!我可是极品炼炉,惹恼了我,我立刻炼化了你!
  • 触墓惊婚,棺人榻上来

    触墓惊婚,棺人榻上来

    她从五岁便随着奶奶踏遍坟地,为坟地的死人们迁坟捡骨,人们尊称他们为“捡骨人”。一座无名氏的荒野孤坟,一个腐烂面目全非的死尸。一次捡骨,她无意间触摸上那死尸手指上的白玉扳指,她的生活便发生了翻天覆地的变化。