- ?
数值型和文本型数字傻傻分不清楚,当然容易出错了!
冰萍
展开
转载自百家号作者:Excel自学成才
每个人有两面,在不同人面前,或在不同场合,你的表现的是不一样的。
对于Excel中的数字而言,也是两面性的,如下所示,左边是文本型数字,右边是数值型数字
对于文本型数字,Excel在单元格的左侧会人性化的加上一个小绿三角符号,以做区分,如下所示:
文本型数字是可以通过加减乘除计算的
但在使用中文本型数字依旧会出现很多错误,举两个常出现错误的例子。
无法使用SUM或其他函数进行计算,对文本型数字进行求和计算的时候,结果是0,并不是求和的结果15,这还是全部数字是全文本型的情况,很容易发现,如果只是其中某几个数字是文本型,那就很隐蔽,我们得不到正常的数据分析结果。
在工作中,出现文本数字最多的原因主要就是公司里面软件,或者从网页上下载的数据,通常是文本型的数字。大部分使用的是数据库,为了减少使用内存,通常会以文本型数字存储。
常用的VLOOKUP函数匹配错误
如下所示:在使用VLOOKUP函数查找的时候,用员工编号进行查找匹配,但得到了错误的结果
这就是因为数据源中的员工编号是文本型的数字,而查找的值数字是数值型数字,所以会得到错误,这就需要将文本型的数值转换成数值型之后再进行计算了。
好了,通过今天的学习,你能分清文本型和数值型数字了吗?
欢迎留言讨论,期待您的转发和分享
---------------
欢迎关注,更多精彩内容持续更新中...
- ?
如何将文本型数字转换成数值型?
穆岩
展开
我们经常需要从一些数据库或某个系统中导出数据到表格里,这时你会发现,有些数据的单元格边角上会出现一些绿色小三角,还会发现这些带绿色小三角的数据没法进行累计求和等计算,连神通广大的Vlookup也拿它们没办法。
没错,这些带绿色小三角的数据就是文本型数据,相对于数值型数据来说,在我们对表格数据进行后期统计处理之前,需要将它们进行转换。今天帮主就给大家支几招,如何将文本型数据转换为数值型数据。
1、 智能提示中直接转换
直接选中文本型数据,点击右上角带感叹号的智能标识,选择“转换为数字”即可。
2、 剪切板转换
选中文本型数据区域—复制—打开剪切板—全部粘贴
3、 选择性粘贴法
选择任一空白单元格—复制—选中文本型数据区域—选择性粘贴—勾选运算“加”—确定
4、 分列法
选中文本型数据区域—【数据】选项卡—分列—第1步:分隔符号—第2步:Tab键—第3步:常规—完成
5、 函数公式法
可以先建一个辅助列,在B2中输入公式=A2*1,往下填充即可转换为数值型数据(这里还可输入公式=A2/1、=A2-0或者=A2+0,原则是不改变数值大小即可)
最后,我们还可以尝试在B2中输入函数公式:=value(A2)
- ?
数据库10大常见安全问题盘点
黎骁
展开
数据库已经成为黑客的主要攻击目标,因为它们存储着大量有价值和敏感的信息。 这些信息包括金融、知识产权以及企业数据等各方面的内容。网络罪犯开始从入侵在线业务服务器和破坏数据库中大量获利,因此,确保数据库的安全成为越来越重要的命题。网络的高速发展为企业和个人都带来了无限机遇,随着在线业务变得越来越流行,接触全球客户也成为点指间能够实现的事情。想要建立一个在线业务,最重要的就是建立一个全面的数据库,与此同时,保护你共享在网络中的数据安全也是至关重要的。
尽管意识到数据库安全的重要性,但开发者在开发、集成应用程序或修补漏洞、更新数据库的时候还是会犯一些错误,让黑客们有机可乘。下面就列出了数据库系统10大最常见的安全问题:
1.部署失败
数据库陷入危机最普遍的原因就是在开发过程中的粗心大意。有些公司会意识到优化搜索引擎对其业务获得成功的重要性,但是只有对数据库进行排序的前提下,SEO才能成功对其优化。尽管功能性测试对性能有一定的保证,但测试并不能预料数据库会发生的一切。因此,在进行完全部署之前,对数据库的利弊进行全面的检查是非常重要的。
2.数据泄露
你可以把数据库当做后端设置的一部分,并更加注重保护互联网安全,但是这样一来其实并不起作用。因为数据库中有网络接口,如果黑客想要利用它们就可以很轻易地操纵数据库中的这些网络接口。为了避免发生这种现象,使用TLS或SSL加密通信平台就变的尤为重要。
3.破损的数据库
你还记得2003年的SQL Slammer蠕虫病毒可以在10分钟内感染超过90%的脆弱设备吗?该病毒可以在几分钟内感染破坏成千上万的数据库。通过利用在微软SQL Server数据库中发现的漏洞进行传播,导致全球范围内的互联网瘫痪。这种蠕虫的成功充分说明了保护数据库安全的重要性。不幸的是,由于缺乏资源和时间,大多数企业不会为他们的系统提供常规的补丁,因此,他们很容易遭受蠕虫攻击。
4.数据库备份被盗
对数据库而言通常存在两种类型的威胁——一个是外部,一个是内部的。你会如何处理窃取企业内部钱财和其他利益的“内鬼”?这是当代企业最常面临的一个问题,而解决这种问题的唯一方法就是对档案进行加密。
5.滥用数据库特性
据专家称,每一个被黑客攻击的数据库都会滥用数据库特性。尽管听起来可能有点复杂,但实际上就是利用这些数据库特征中固有的漏洞。解决这种问题的方法就是删除不必要的工具。
6.基础设施薄弱
黑客一般不会马上控制整个数据库,相反,他们会选择玩跳房子游戏来寻找基础设施中存在的弱点,然后再利用它们的优势来发动一连串的攻击,直到抵达后端。因此,很重要的一点是,每个部门都要演习相同数量的控制和隔离系统来帮助降低风险。
7.缺乏隔离
隔离管理员和用户之间的权限,如此一来内部员工想要窃取数据就需要面临更多的挑战。如果你可以限制用户账户的数量,黑客想控制整个数据库就会面临更大的挑战。
8.SQL注入
对于保护数据库而言,这是一个重要的问题。一旦应用程序被注入恶意的字符串来欺骗服务器执行命令,那么管理员不得不收拾残局。目前最佳的解决方案就是使用防火墙来保护数据库网络。
9.密钥管理不当
保证密钥安全是非常重要的,但是加密密钥通常存储在公司的磁盘驱动器上,如果这些密钥一旦遗失,那么您的系统会很容易遭受黑客攻击。
10. 数据库中的违规行为
正是不一致性导致了漏洞。不断地检查数据库以及时发现任何异常之处是非常有必要的,开发人员应该清除地认识任何可能影响数据库的威胁因素。虽然这不是一项容易的工作,但是开发人员可以利用追踪信息/日志文本来查询和解决此类问题。
- ?
9个常用的国外英文论文文献数据库|收藏
紫晶
展开
留学党在国外要经历的一大考验就是课程论文了,论文需要看大量的文献和引用大量的数据,这些数据库哪里找了?小启今天就给大家分享9个常用的国外英文论文文献数据库。
1、Wiley InterScience(英文文献期刊)
Wiley InterScience是John Wiely & Sons公司创建的动态在线内容服务,1997年开始在网上开通。通过InterScience,Wiley公司以许可协议形式向用户提供在线访问全文内容的服务。Wiley InterScience收录了360多种科学、工程技术、医疗领域及相关专业期刊、30多种大型专业参考书、13种实验室手册的全文和500多个题目的Wiley学术图书的全文。
网址:http://onlinelibrary.wiley/
其中被SCI收录的核心期刊近200种。期刊具体学科划分为:Business,Finance & Management (商业、金融和管理)、Chemistry (化学)、Computer Science(计算机科学)、Earth Science (地球科学)、Education (教育学)、Engineering (工程学)、Law(法律)、Life and Medical Sciences (生命科学与医学)、Mathematics and Statistics(数学统计学)、Physics (物理)、Psychology (心理学) 。
2. ICPSR
ICPSR全称为 Inter-university Consortium for Political and Social Research,即美国校际社会科学数据共享联盟。成立于1962年,位于美国密西根大学安娜堡分校(University of Michigan- Ann Arbor, 1817-),储存超过17000种调查研究资料,如军队官兵总名册,遗嘱、遗嘱查验与税收纪录,是现在世界上最大的社会科学数据中心,拥有600多个成员机构,包括大学和各种研究中心。
网址:http://icpsr.umich.edu/icpsrweb/landing.jsp
其中400多个成员机构在美国,我国的国家人口发展研究战略课题组,北京大学,香港大学,香港科技大学,香港浸会大学也是成员之一。
3. IEEE 电气电子工程师学会
IEEE(Institute of Electrical & Electronics Engineers)是电子信息领域最著名的跨国性学术团体,其会员分布在世界150多个国家和地区。随着人们的信息越来越多地来自Internet,IEEE需要为会员提供更加完善和全面的电子信息产品和服务。
网址:http://ieeexplore.ieee.org/Xplore/home.jsp
IEEE应成为IEEE会员获得信息的首选之地。IEEE必须识别正确的信息,并提供对它们的访问方法。实现这个目标的重要一步是通过IEEE Xplore与IEEE/IEE Electronic Library (IEL)连接。IEL包括了1988年以来IEEE和IEE的所有期刊杂志和会议录,以及IEEE的标准,可以通过题目、关键词和摘要进行查阅。
4. EBSCO
EBSCO公司从1986年开始出版电子出版物,共收集了4000多种索引和文摘型期刊和2000多种全文电子期刊。EBSCO最早的业务是期刊代订服务。正是凭借为美国军方机构提供期刊代订服务,Stephens夫妇创立的这家公司得以发展壮大。公司在图情业界俗称EBSCO,也是基于此。
网址:http://search.ebscohost/
数据库中有较著名"华尔街日报"(The Walls Street Journal)、"哈佛商业评论"(Harvard Business Review)、"每周商务"(Business Week)、"财富"(Fortune)、"经济学家智囊团国家报告" (EIU Country Reports)、 American Banker、Forbes、The Economist等报刊。该数据库从1990年开始提供全文,题录和文摘则可回溯检索到1984年,数据库每日更新。
学术期刊集成全文数据库(Academic Search Premier,简称ASP):包括有关生物科学、工商经济、资讯科技、通讯传播、工程、教育、艺术、文学、医药学等领域的七千多种期刊,其中近四千种全文刊。
5.ProQuest
ProQuest是博士论文全文检索系统, PQDD的全称是ProQuest Digital Dissertations。而ProQuest的母公司是UMI,The answser Company (UMI有问必答公司),UMI成立于1938年,是全球最大的信息存储和发行商之一,也是美国学术界著名的出版商,它向全球160多个国家提供信息服务,内容涉及商业管理、社会科学、人文科学、新闻、科学与技术、医药、金融与税务等。
网址:http://proquest/
UMI提供以下三种数据库:
学术研究图书馆(Academic Research Library,简称ARL)综合参考及人文社会科学期刊论文数据库,涉及社会科学、人文科学、商业与经济、教育、历史、传播学、法律、军事、文化、科学、医学、艺术、心理学、宗教与神学、社会学等学科,收录2,300多种期刊和报纸,其中全文刊占三分之二,有图像。可检索1971年来的文摘和1986年来的全文。
商业信息数据库(ABI/INFORM)ABI即为Abstracts of Business Information的缩写,世界著名商业及经济管理期刊论文数据库,收录有关财会、银行、商业、计算机、经济、能源、工程、环境、金融、国际贸易、保险、法律、管理、市场、税收、电信等主题的1,500多种商业期刊,涉及这些行业的市场、企业文化、企业案例分析、公司新闻和分析、国际贸易与投资、经济状况和预测等方面,其中全文刊超过50%,其余为文摘,有图像。
医学电子期刊全文数据库(ProQuest Medical Library)该数据库收录有220种全文期刊,文献全文以PDF格式或文本加图像格式存储;收录范围包括所有保健专业的期刊,有护理学、儿科学、神经学、药理学、心脏病学、物理治疗及其它方面。
6. Blackwell
Blackwell出版公司是世界上最大的期刊出版商之一(总部设在英国伦敦的牛津),以出版国际性期刊为主,包含很多非英美地区出版的英文期刊。它所出版的学术期刊在科学技术、医学、社会科学以及人文科学等学科领域享有盛誉。
网址:http://blackwell-synergy/
目前,Blackwell出版期刊总数已超过700种,其中理科类期刊占54%左右,其余为人文社会科学类。涉及学科包括:农业、动物学、医学、工程、数学统计、计算机技术、商业经济、生命科学、物理学、人文科学、艺术、社会及行为科学等。
Blackwell出版期刊的学术质量很高,很多是各学科领域内的核心刊物,据最新统计,其中被SCI收录的核心期刊有239种,被SSCI收录的有118种。
7.CogPrints认知科学电子文献库
由英国南安普敦大学电子与计算机系开发的、认知学科的开放存储库,既包括已出版的、同行评审期刊的印后本( postprint ),也包括未正式出版、未经评审的预印本 (preprint)
网址:http://cogprints.org/
主要学科:心理学、神经科学、行为科学、语言学、人工智能、哲学
8. Springer
德国施普林格(Springer-Verlag)是世界上著名的科技出版集团,目前Springer LINK所提供的全文电子期刊共包含439种学术期刊(其中近400种为英文期刊)。
网址:http://springer/cn/
按学科分为以下11个"在线图书馆":生命科学、医学、数学、化学、计算机科学、经济、法律、工程学、环境科学、地球科学、物理学与天文学,是科研人员的重要信息源。
9. Science Direct
Science Direct数据库由Elsevier Science公司出版。该公司是一家总部设在荷兰的历史悠久的跨国科学出版公司,其出版的期刊是世界公认的高品位学术期刊,如鼎鼎有名的Science期刊等,且大多数为核心期刊,并被世界上许多著名的二次文献数据库所收录。
网址:http://sciencedirect/
Science Direct数据库涵盖数学,物理,化学,天文学,医学,生命科学,商业及经济管理,计算机科学,工程技术,能源科学,环境科学,材料科学,社会科学等学科。
- ?
文本局部敏感哈希-SimHash算法原理
滕天曼
展开
最近在思考大量文本判重的问题,由于文本数据量大,加之文本判重算法,如BF、KMP、最长公共子串、后缀数组、字典树、DFA等计算时空复杂度并不适合数据量较大的工业应用场景。查找了相关资料,发现LSH(local sensitive ),即局部敏感哈希算法,可以应用本场景。
LSH是指面对海量高维数据时,一般的算法无法快速降维查询相似度高的数据子集,利用特定的hash算法,将高维数据映射到低维空间,以较高概率快速寻找相似度高的数据子集。 满足以下两个条件的hash函数称为(d1,d2,p1,p2)-sensitive:
1、如果d(x,y) ≤ d1, 则h(x) = h(y)的概率至少为p1;
2、如果d(x,y) ≥ d2, 则h(x) = h(y)的概率至多为p2;
d(x,y)是x和y之间的一个距离度量,需要说明的是,并不是所有的距离度量都能够找到满足local sensitive的hash函数。
由于这方面积累极少,自己写出的文章比较肤浅,所以直接整理粘贴大牛文章,在此表示感谢,原文出处:原文
通过 采集系统 我们采集了大量文本数据,但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复,如何选择和设计文本的去重算法?常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用,如果我们的爬虫每天采集的数据以千万计算,我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的文本和数据库中所有的文本比较一遍如果是重复的数据就标示为重复。看起来很简单,我们来做个测试,就拿最简单的两个数据使用Apache提供的 Levenshtein for 循环100w次计算这两个数据的相似度。
大跌眼镜,居然计算耗费4秒。假设我们一天需要比较100w次,光是比较100w次的数据是否重复就需要4s,就算4s一个文档,单线程一分钟才处理15个文档,一个小时才900个,一天也才21600个文档,这个数字和一天100w相差甚远,需要多少机器和资源才能解决。
为此我们需要一种应对于海量数据场景的去重方案,经过研究发现有种叫 local sensitive hash 局部敏感哈希 的东西,据说这玩意可以把文档降维到hash数字,数字两两计算运算量要小很多。查找很多文档后看到google对于网页去重使用的是simhash,他们每天需要处理的文档在亿级别,大大超过了我们现在文档的水平。既然老大哥也有类似的应用,我们也赶紧尝试下。simhash是由 Charikar 在2002年提出来的,参考 《Similarity estimation techniques from rounding algorithms》 。 介绍下这个算法主要原理,为了便于理解尽量不使用数学公式,分为这几步:
1、分词,把需要判断文本分词形成这个文章的特征单词。最后形成去掉噪音词的单词序列并为每个词加上权重,我们假设权重分为5个级别(1~5)。比如:“ 美国“51区”雇员称内部有9架飞碟,曾看见灰色外星人 ” ==> 分词后为 “ 美国(4) 51区(5) 雇员(3) 称(1) 内部(2) 有(1) 9架(3) 飞碟(5) 曾(1) 看见(3) 灰色(4) 外星人(5)”,括号里是代表单词在整个句子里重要程度,数字越大越重要。
2、hash,通过hash算法把每个词变成hash值,比如“美国”通过hash算法计算为 100101,“51区”通过hash算法计算为 101011。这样我们的字符串就变成了一串串数字,还记得文章开头说过的吗,要把文章变为数字计算才能提高相似度计算性能,现在是降维过程进行时。
3、加权,通过 2步骤的hash生成结果,需要按照单词的权重形成加权数字串,比如“美国”的hash值为“100101”,通过加权计算为“4 -4 -4 4 -4 4”;“51区”的hash值为“101011”,通过加权计算为 “ 5 -5 5 -5 5 5”。
4、合并,把上面各个单词算出来的序列值累加,变成只有一个序列串。比如 “美国”的 “4 -4 -4 4 -4 4”,“51区”的 “ 5 -5 5 -5 5 5”, 把每一位进行累加, “4+5 -4+-5 -4+5 4+-5 -4+5 4+5” ==》 “9 -9 1 -1 1 9”。这里作为示例只算了两个单词的,真实计算需要把所有单词的序列串累加。
5、降维,把4步算出来的 “9 -9 1 -1 1 9” 变成 0 1 串,形成我们最终的simhash签名。 如果每一位大于0 记为 1,小于0 记为 0。最后算出结果为:“1 0 1 0 1 1”。
整个过程图为:
大家可能会有疑问,经过这么多步骤搞这么麻烦,不就是为了得到个 0 1 字符串吗?我直接把这个文本作为字符串输入,用hash函数生成 0 1 值更简单。其实不是这样的,传统hash函数解决的是生成唯一值,比如 md5、hashmap等。md5是用于生成唯一签名串,只要稍微多加一个字符md5的两个数字看起来相差甚远;hashmap也是用于键值对查找,便于快速插入和查找的数据结构。不过我们主要解决的是文本相似度计算,要比较的是两个文章是否相识,当然我们降维生成了hashcode也是用于这个目的。看到这里估计大家就明白了,我们使用的simhash就算把文章中的字符串变成 01 串也还是可以用于计算相似度的,而传统的hashcode却不行。我们可以来做个测试,两个相差只有一个字符的文本串,“你妈妈喊你回家吃饭哦,回家罗回家罗” 和 “你妈妈叫你回家吃饭啦,回家罗回家罗”。
通过simhash计算结果为:
1000010010101101111111100000101011010001001111100001001011001011
1000010010101101011111100000101011010001001111100001101010001011
通过 hashcode计算为:
1111111111111111111111111111111110001000001100110100111011011110
1010010001111111110010110011101
大家可以看得出来,相似的文本只有部分 01 串变化了,而普通的hashcode却不能做到,这个就是局部敏感哈希的魅力。目前Broder提出的shingling算法和Charikar的simhash算法应该算是业界公认比较好的算法。在simhash的发明人Charikar的论文中并没有给出具体的simhash算法和证明,“量子图灵”得出的证明simhash是由随机超平面hash算法演变而来的。
现在通过这样的转换,我们把库里的文本都转换为simhash 代码,并转换为long类型存储,空间大大减少。现在我们虽然解决了空间,但是如何计算两个simhash的相似度呢?难道是比较两个simhash的01有多少个不同吗?对的,其实也就是这样,我们通过海明距离(Hamming distance)就可以计算出两个simhash到底相似不相似。两个simhash对应二进制(01串)取值不同的数量称为这两个simhash的海明距离。举例如下: 10101 和 00110 从第一位开始依次有第一位、第四、第五位不同,则海明距离为3。对于二进制字符串的a和b,海明距离为等于在a XOR b运算结果中1的个数(普遍算法)。
为了高效比较,我们预先加载了库里存在文本并转换为simhash code 存储在内存空间。来一条文本先转换为 simhash code,然后和内存里的simhash code 进行比较,测试100w次计算在100ms。速度大大提升。
1、目前速度提升了但是数据是不断增量的,如果未来数据发展到一个小时100w,按现在一次100ms,一个线程处理一秒钟 10次,一分钟 60 * 10 次,一个小时 60*10 *60 次 = 36000次,一天 60*10*60*24 = 864000次。 我们目标是一天100w次,通过增加两个线程就可以完成。但是如果要一个小时100w次呢?则需要增加30个线程和相应的硬件资源保证速度能够达到,这样成本也上去了。能否有更好的办法,提高我们比较的效率?
2、通过大量测试,simhash用于比较大文本,比如500字以上效果都还蛮好,距离小于3的基本都是相似,误判率也比较低。但是如果我们处理的是微博信息,最多也就140个字,使用simhash的效果并不那么理想。看如下图,在距离为3时是一个比较折中的点,在距离为10时效果已经很差了,不过我们测试短文本很多看起来相似的距离确实为10。如果使用距离为3,短文本大量重复信息不会被过滤,如果使用距离为10,长文本的错误率也非常高,如何解决?
- ?
细数常用数据库有哪些
牛冰菱
展开
数据库的定义
数据库 (DataBase,DB)是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。通俗地说,数据库就是一个按照数据结构来组织、存储和管理数据的仓库。在当今的互联网企业网站运营中,数据库日渐成为IT管理人员的得力助手。
常见的数据库分类:
1、IBM 的DB2
作为关系数据库领域的开拓者和领航人,IBM在1997年完成了System R系统的原型,1980年开始提供集成的数据库服务器—— System/38,随后是SQL/DSforVSE和VM,其初始版本与SystemR研究原型密切相关。DB2 forMVSV1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性,数据不相关性和用户生产率。1988年DB2 for MVS 提供了强大的在线事务处理(OLTP)支持,1989 年和1993 年分别以远程工作单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 Universal Database 6.1则是通用数据库的典范,是第一个具备网上功能的多媒体关系数据库管理系统,支持包括Linux在内的一系列平台。
2. Oracle(甲骨文)
Oracle 前身叫SDL,由Larry Ellison 和另两个编程人员在1977创办,他们开发了自己的拳头产品,在市场上大量销售,1979 年,Oracle公司引入了第一个商用SQL 关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一,其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。
3. Informix
Informix在1980年成立,目的是为Unix等开放操作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE(StandardEngine)。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。
4. Sybase
Sybase公司成立于1984年,公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版(与System/R同时期的关系数据库模型产品)的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer1.0。Sybase首先提出Client/Server 数据库体系结构的思想,并率先在Sybase SQLServer 中实现。
5. SQL Server
1987 年,微软和 IBM合作开发完成OS/2,IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager,而微软产品线中尚缺少数据库产品。为此,微软将目光投向Sybase,同Sybase 签订了合作协议,使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年,微软发布了SQL Server 1.0 版。
6. PostgreSQL
PostgreSQL 是一种特性非常齐全的自由软件的对象——关系性数据库管理系统(ORDBMS),它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先,它包括了可以说是目前世界上最丰富的数据类型的支持;其次,目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。
7.MySQL
MySQL是一个小型关系型数据库管理系统,开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。
8、Access
Access是由微软发布的关联式数据库管理系统,1994年推出。它结合了 Microsoft Jet Database Engine 和图形用户界面两项特点。并且具有界面友好、易学易用、开发简单、接口灵活等特点,是一个典型的新一代桌面数据库管理系统。另外,Access还是c语言的一个函数名和一种交换机的主干道模式。
9、FoxPro
Visual FoxPro原名FoxBase,最初是由美国Fox Software公司于1988年推出的数据库产品,在DOS上运行,与xBase系列兼容。1992年被Microsoft收购。相继推出了 FoxPro2.5、2.6和VisualFoxPro等版本。FoxPro比FoxBASE在功能和性能上又有了很大的改进,主要是引入了窗口、按钮、列表框和文本框等控件,进一步提高了系统的开发能力。
面对多种的数据库,技术人员可根据自身情况选择合适的数据库。
文章转载:https://trustauth/wiki/15309.html
- ?
SQL——Mysql数据库介绍
蜂蜜
展开
声明:本栏目所使用的素材都是凯哥学堂VIP学员所写,学员有权匿名,对文章有最终解释权;凯哥学堂旨在促进VIP学员互相学习的基础上公开笔记。
MySQL:
介绍:什么是数据库?就是一个软件,能帮我们把数据进行存储和提取,就好比java里存变量数组等东西的时候是存在内存中的,内存速度快,但是不能长时间存储,而硬盘的好处就是存储时间长,但是速度特别慢优势:能快速找到我们想要的数据,能进行存储的优化想要长时间保存数据只能是把数据存储到硬盘上,当我们下次启动的时候,在把数据读取上来
数据库的主要目的就是:1.数据存储2.快速提取数据
业界上的数据库有:MySQLOracleMS SQLserverSybaseDB2
在中关村可以有数据库的软件买,可以看到它的价格
学数据库主要学什么?学SQL语句,就是操作数据库的语句,学数据库就是学SQL语句,学会SQL语句,基本所有的数据库操作都是差不多的
我们想要对数据曾、删、查、改的时候就要通过SQL语句看来执行,把SQL语句发送到数据库中就能帮你执行,执行完的结果就反馈到你的程序里
DBMS 数据库管理系统RDBMS 关系型数据库管理系统现在的数据呈现方式是以表格的方式呈现的
什么是关系型数据库,寄存东西的时候不用紧着一张表格来记,就好比两张表格有对应的关系,以表格的方式来呈现数据就称之为关系型数据库
ORDBMS 对象关系型数据库管理系统就是说你下面的表格里面放的是数字文本和普通文本,就是说我可以在你的列里面放一个对象,对象之中还可以含有多个属性,表现的形式就是以表格的形式为基础列中有对象,这个对象不是指java的对象,而是说这个列里面放一些对象进去可以表现很多个属性出来如下图:就好比一个列有一个对象,对象中有三个属性
DBA 数据库管理员
SQL语句:数据库操作命令有:DCL - 数据库操作语句数据库系统参数设置启动关闭
DML - 数据操作语句INSERT UPDATE DELETEDQL - 查询操作语句SELECT
DDL - 数据结构操作语句 创建表创建视图创建索引
- ?
如何用Java制作一个简单数据库
应语芙
展开
笔者准备上大二,四月时加入了学院一个为期一年的Hadoop开发研究项目小组,暑假绝对是不可错过的学习时期。由于Hadoop 是由Java 编写的,调用API 最好也是用Java,Java的简单使用因此成为我们小组的必修。
我们选择的教材是《Thinking in Java》(Bruce Eckel)和网课《Java4android》(Mars老师)。悄悄告诉你,我《Thinking in Java》截稿时才看了不到200页。
制作一个简单数据库是 《Java4android》中Mars老师留下的作业。我花了三天半完成,700+行。(代码太长,就不一一贴出来了,文末有跳转查看和下载地址)
学习是一个输入和输出的过程,这篇文章就当作我Java入门的奠基,同时可以帮助初学者理解Java这门语言的使用,也欢迎参照这个小项目练练手。
---------------------------------------------------
笔者的这个数据库是基于文本文件的读写储存,原理比较简单。
数据库命令: 首先,数据库有四大基本功能:增删改查(add/delete/update/query),我为了使用方便,在设定这四个命令的同时,增加了“列出全部(show)”和“退出(quit)”。
数据库成员: 数据库每个成员有五个值:与
命令格式:
ADD
DELETE
UPDATE
QUERY
SHOW
QUIT
程序文件纵览:(已展开展示成员与方法)
程序类文件图:(使用Eclipse的Modelgoon插件反向制作UML)
程序关系图:
(我知道挺乱●﹏●)
程序文件各类的作用分析:
Main:显示欢迎界面、调用MainLooper的loop()方法(程序主循环)。
MainLooper:程序主循环、从Input的getInputLine()方法获得命令输入、把输入的字符串传给CheckCmd的check()方法、如果传去check()的值为”QUIT”则跳出循环。
Input:bufferedReader.getInputLine()方法中,调用java.io.BufferedReader的readLine()方法读取整行字符串返回。
Data.txt:存放数据库的文件。
Eng.properties:存放用户交互界面(UI)提示
IOProperty(截图里打错了):利用java.util.Properties的load(InputStreaminStream)方法,读取储存文件键值对。
UserInterface:提供获取UI提示的方法。
User:方便获得、暂存、修改、统一输出成员的值。
UsefulMethod:(实用方法)专门在代码重构时新增的类,供使用的类继承,意在统一管理常用的6个方法。分别是:1、反馈命令成功执行 2、判断字符串是否为数字 3、判断成员的数值value是否符合要求 4、判断新增成员key是否重复 5、把数据库储存文件的内容按照id排序(选择排序法) 6、消除String[]中的null。
CheckCmd:使用String的.split(“ ”)方法拆分命令,检查判断输入命令,若无语法问题即进行相应操作,否则报错。
Action:根据CheckCmd的调用进行相应的操作实现数据库功能。
WriteFile:根据调用的参数把字符串添加或覆盖写入文件。
QueryFile:showAll()方法返回数据库所有的内容,query(inttypeIndex, int operIndex, String args) 根据参数进行相应的搜索,返回所有符合条件的成员。
命令实现详析:
ADD
actAdd(String[] strs):可添加前提:命令长度为6、成员数值value和性别合规、key不重复。否则根据不符的要求相应显示提示。
actAdd(String[] strs):new一个User类,放入成员值,用writeFile.write(user.toString(),true)添加到文件尾部,并执行一次sortData()(文件全内容按id排序)。
DELETE
checkDelete(String[] strs):前提:命令长度为2。判断命令参数是否为id(isNumberic(Stringstr)),并输入到actDELETE()。
actDelete(String[] strs, boolean isId):调用queryFile.showAll()获得文件全部内容并存在String[]中。根据isId循环检索对应key,成立便跳出,把对应字符串赋为””空字符串,并复写在文件上。
UPDATE(设计仅支持salary修改)
checkUpdate(String[] strs):前提:命令长度为4、命令第2部分是salary。判断命令参数是否为id,并输入到actUPDATE()
actUpdate(String[] strs, boolean isId):与DELETE类似,调用queryFile.showAll()获得文件全部内容并存在String[]中。根据isId循环检索对应key,成立便跳出,把对应成员值放在一个user成员内,并修改成员salary值,再复写在文件上。
QUERY
checkQuery(String[] strs):前提:命令长度为4。根据type index{0.
actQuery(int typeIndex, int operIndex, Stringargs):调用queryFile.query(typeIndex, operIndex, args)获取结果并循环输出结果。
query(int typeIndex, int operIndex, Stringargs) :把简化的情况分别检索。思想挺简单,逻辑容易乱,代码也多。
SHOW
checkShow(String[] strs):前提:命令长度为1。直接调用actShow(String[]strs)。
actShow(String[] strs):调用queryFile.showAll()获取全部内容并循环输出。
QUIT
checkQuit():输出“谢谢使用”,并返回-1至MainLooper,跳出循环,程序终结。
Data.txt截图:
Eng.properties截图:
运行效果:(注:亮绿色为键盘输入)
------------------------------------------------------
至此,我把我数据库的结构与实现方式大概展现出来了。
但正如我们的精神领袖Linus Torvalds所说的“Talk is cheap, show me the code.”说多无益,想要自己有大长进,就要多看优秀代码,同时自己多写代码。
在此我放出链接:
直接看代码链接:Java简单数据库 源码展示
下载链接:http://pan.baidu/s/1dE82FJF 密码:jyq0
(包含源码和可运行jar)
欢迎找BUG。
感谢Bruce Eckel 和 Mars老师。
谢谢各位看看官。
- ?
python多进程快速批量爬取黄页海量信息并保存文本和数据库教程
Jessie
展开
最近帮朋友做一些网络营销的工作,需要抓取一些客源信息,用以辅助营销,我感觉很多做电商的朋友,尤其是微商朋友们,应该都是比较需要各种客源信息的吧,今天,小编我就借此机会把利用python多进程的方式抓取黄页海量的客源信息的方法分享给大家,希望大家能多多关注本人,多讨论关于爬虫和数据挖掘分析相关的问题。
该代码已经上传至本人的github,喜欢的朋友可到我的公众号获取。
一、特别提到的库:
多进程:pool
mogo数据库:pymongo
自然语言编码转换:codecs
二、特别推荐----jupyter
做开发没有趁手的兵器是不行的,对于python脚本的开发以及做一些数据挖掘和分析这方面工作来说,jupyter notebook这个工具是一个非常合适的工具,它可以保存你写的阶段性的小脚本,同时,又不至于像ipython那样把有价值的历史代码被滚屏所淹没,关于这个工具的其他优点,大家可以自行百度,总之,这是一个python开发的一个神器,借助它可以快速的写出很多高效的代码出来。
三、主要代码:
这次抓取的站点是黄页88网,网站放置行业信息的结构是这样的,按照行业来抓取的话,首先是分为各种行业,每种行业下面又可以获取到各个省份的该行业的信息。
为了能够按照行业进行抓取,我们可以先把首页出现的行业分类抓取下来,保存为字典,这一步的方法就不仔细说了,请自行解决。我已经保存好了字典,将起保存在一个单独的配置文件中,方便调用时使用。
获取各个行业对应的每个省的url,我们可以写一个函数来完成,返回一个url的列表。
有了这个url以后,就可以直接得到内容了,其中翻页的时候需要注意url中控制页码是通过pn变量实现的,也需要对最后一页做一下判断,否则就会形成死循环。这一步就已经把数据写入了txt文件中。
最后是执行爬虫的的代码,这里用到了多线程,同时需要存入mongodb的数据库。
由于自媒体发布的时候贴代码不太方便,感兴趣的朋友关注我的同名订阅号获取github地址吧!
- ?
数据库中文本类型内容存为纯文本
Zerlinda
展开
内容存文本是一项非常实用的功能,将数据表中一些大数据量的字段,如txt类型字段、blob类型字段转存于纯文本文件中,能够有效地减少数据表的容量,提高数据表的运行效率,并改善数据表冗余。要将数字表字段改为纯文本储存方式,只需要在自定义模型中定义$blobFieds成员属性值即可,更改后原先的CURD操作不受任何影响,接下来将通过一个示例演示$blobFieds属性的使用。
打开ArticleModel.class.php模型文件,将ArticleModel模型的父类改变为AdvModel,然后定义$blobField成员属性值,这里只需要改变thk_artcle数据表中的content字段储存方式为纯文本。代码如下所示。
如果有多个字段需要改为纯文本储存方式,在数组中添加上响应的字段名称即可。数组中定义的字段可以是一个独立的字段,不需要数据表中同时存在该字段。通过前面的步骤,接下来的CURD操作不受任何影响,如以下代码所示
代码执行后,储存的文本内容默认被存放于home/Runtime/Data/Article目录下,文件以“主键id_表字段的方式命名,如9_content.php。需要注意的是字段内容转存文本后,相应的数据就不收数据库保护了,系统将以IO的方式取出文本数据,这就意味着内容存文本的字段只能是一些不重要或者不需要受保护的数据。