xiaoxin
linglingxia · 共 25 篇文章
map/reduce 过程的认识
map/reduce 过程的认识 最初我一直简单的以为map的工作就是将数据打散,而reduce就是将map打散后的数据合并。虽然之前跑过wordcount的例子,但之前只是对输出reduce最终的结果感兴趣,对控制台打印的日志信息完全不懂。这几天我们团队在探索pagerank,才开始对map/reduce有了深一层的了解。当一个job提交后,后续具体的一系列分配调度工作我现在不清楚。我现在只是了解些map/reduce过程。 原来map过程和reduce的过程也都包含了多个步骤。 一. Map 阶段 作业的inputFormat类规定了对提交的作业的输入文件切分方法。默认是将输入文件按照字…
2012-02-07 16:03 · Hadoop · 评论(1)
浅析 Hash 表
浅析 Hash 表 其实数据结构学了也有那么久了,不过也只是对链表、栈、队列、图等一些常见数据结构的大致了解。我理解的数据结构其实就是对数据存放的一种特殊规则吧。在这个基础上,我们就能更方便的对存储的数据进行操作了。比如增、删、改、查等一些基本操作。为了更方便的达到不同的操作目的,就有人对这些数据做了规划和整理,也就是前面所说的数据结构。的确是这样,上面的这些数据结构都有各自的特征和适合的数据操作。比如说数组,它在内存中是分配了一块连续的存储单元,它里面的每个数据都有下标,这就方便了我们对这些数据的查找。相比之下,对链表中数据的查找就没那么方便了。因为它没有下标,分配到的存储单元也不一定是连…
2011-11-02 22:05 · 我的Java · 评论(0)
防火墙原理
防火墙原理 说实话这个词听过N遍,但是很遗憾我就是从来没有翻过,这完全是我个人的原因。我这个人就是这样,别人的东西不给看,我就不看,一根筋的跟自己过不去也行。其实我也知道这也让自己丢失了很多学习的机会,但我就是没那个想法。现在大概也了解些防火墙的基本原理了(虽然还不是很明白),不过还是没有试过。 防火墙顾名思义我觉得就可以理解为一道禁止的墙,墙内是安全的,而墙外是不安全的。不过这个墙还是稍微特殊点,因为它的作用是防止不希望的,未经授权的数据包进出被保护的内部网络。我们完全可以把它看做一对开关,其中一个用来阻止传输,另一个用来允许传输。说的专业点就是一套身份认证、加密、数字签名和内容检测集成为…
2011-09-25 20:55 · 网络通信基础 · 评论(0)
网络安全性的几个知识点
网络安全的几个知识点 随着计算机的普及,它的安全问题也越来越受到所有人的重视。计算机安全既包括硬件、软件和技术,又包括安全规划、安全管理和安全监督。计算机系统的安全主要包括网络安全,操作系统安全和数据库安全三个方面。最近学习了一些网络安全的知识,因为不是很明白,所以就做个笔记。 一. 基本概念 网络的安全是指通过采用各种技术和管理措施,使网络 系统正常运行,从而确保网络数据的可用性、完整性和保密性。 1. 现在计算机网络上的通信面临以下几种威胁: (1).截获 攻击者从网络上“偷听”他人的通信内容(被动攻击) (2).中断 攻击者有意中断他人在网络上的通信 (主动攻击) (3).篡改 攻击者…
2011-09-24 21:51 · 网络通信基础 · 评论(0)
Jsp表单提交数据乱码问题
Jsp表单提交数据出现乱码 这个问提真的就纠结了好多天。太复杂了。说是涉及到到jsp文件的存储格式,又有解码格式,还有浏览器的解码格式。 1. 网上说了很多方法,我觉得更改server.xml文件这个方法应该相对来说是比较简单的,改了之后就一劳永逸了。所以就将 <Connector port="80" protocol="HTTP/1.1" maxThreads="150" minSpareThreads="25" maxSpareThreads="75" enableLookups="false" connectionTimeout="20000" redirectPort="8443" …
2011-09-03 16:51 · Web · 评论(1)
沫忆心V1.0记录(客户端遇到的问题)
沫忆心V1.0记录(客户端遇到的问题) 这个项目还有几个功能现在还没有实现,所以就实现的功能中,我遇到的现在还记得的一些问题小结一下(本来是计划将出现的问题一一记录下来的,不知道后面自己干嘛去了,建了个Errors文件里面却没写东西。以后一定要记住,犯过的错就要从中学到东西)。现在还有几个大问题没有找到解决方法,还希望高人指点,让我们多多学习啊!!! 1. 聊天 (1). 聊天登录界面连接的时候获取了网络输入输出流 ,跳转到主界面时,没有把这些流传过去,当主界面发送聊天消息时,我又重新创建了输入输出流。 测试时,我这边打印发送消息成功了。小甘那边收不到消息。因为我客户端是往管道B发送数据,而…
2011-09-01 20:32 · 网络通信基础 · 评论(0)
沫忆心V1.0记录(通信项目)
沫忆心V1.0记录 这个V1.0版本做到现在,我表示很遗憾啊!最初规划的时间是8.20 ,当时还认为是时间很充足的。真的是计划总是美好的,现实却很无奈啊!22号从公司回来,第二天就直接回家去了,一个星期都没碰过电脑,后来又要搞那个烦人的实践课程设计,项目就一直拖,拖到我们自己都无语了,web就更不用说了。特别是听晓盼说了他最近的情况后,我就更加不想说话了。。。 一.总体感觉 一开始,我们就对这次的项目没有方向。等到要确定项目了,还没有什么眉头,真不知道什么叫创新啊!每当这个时候,就感觉很纠结。为什么我们就不能来点创新呢???还记得那天晚上,宇哥问我们通信做什么项目,一听我们说网络版五子棋时,…
2011-09-01 14:12 · 网络通信基础 · 评论(0)
数据库之二(错误异常)
数据库的使用 1. 要使用数据库,首先还是要连接数据库的。 连接数据库的步骤: 1加载驱动程序 2.创建指定数据库的URL 才能取得数据库连接对象。 就这个连接老犯错。 2. 这里列几个常犯的错误 ①没有引入外部mysql-connector-java-bin.jar包 java.lang.ClassNotFoundException:com.mysql.jdbc.Driver (没有找到这个类) at java.net.URLClassLoader$1.run(Unknown Source)…… 所以在创建工程后,需要引入jar包 ②.若加载驱动时,将com.mysql.jdbc.Driv…
2011-08-20 19:36 · 数据库 · 评论(1)
数据库之一
1.数据的初识 据说,我们要开始学习Web了。我是还没反应过来,这不是才学的数据库吗?我好像什么都还没搞懂诶,不对,是什么都还没做,情何以堪啊!所以现在也只能先浅谈一下这几天接触数据库的感觉吧,以后接触的多了,用的多了,才能了解多些吧。 数据库,顾名思义应该是存储数据的容器吧。不过,这么久以来我们都是用文件来存储我们的数据信息的,不是也挺好的吗?怎么还要数据库呢。后来听说了数据库使用的方便,也确实觉得文件在很多情况下用起来不怎么的方便。比如一家公司的所有员工的信息,如果都用文件来存储的话,在今后的使用过程中,可想而知它的复杂性和不便性。特别是在大企业里,员工信息量又大,假如有人辞职或换部门,…
2011-08-20 11:12 · 数据库 · 评论(0)
TCP/IP(三次握手和四次断开)与UDP
TCP/IP(三次握手和四次断开)与UDP 1. 初识: 通信我们已经学了一段时间了,不过最初接触的还是基于TCP/IP协议的通信。也就是,我们在传送数据之前,必须是双方建立了连接的,所以通常称它是面向连接的。我原来以为只要是一方发送出了数据,另一方就一定收的到。后来又来了个UDP,而且它还是不需要建立连接的,只要是知道了某一IP和端口号就可以发送数据了。但是它并不可靠,它只管发送,不管对方是否接受到甚至不管对方是否存在。但我还是不明白他们之间到底真正的区别是什么。 2. 书上介绍说TCP 是传输控制协议,是可靠的,面向连接的,但传输效率低。而UDP 是用户数据报协议,是不可靠的,无连接服务…
2011-08-10 00:50 · 网络通信基础 · 评论(0)
文件传送小结
通信讲的就是根据协议传送数据。传送文件的套路也是差不多的,我们做的也是小文件的传送。可能具体的做法还是各有不同,我们是用最笨的方法做的,客户端首先使用文件输入流将文件读出来,将读到的字符串转换成byte 数组,再写进网络输出流中。后面就是服务器的事了,流程基本上反过来就差不多了。不过我们再做的过程中,还是纠结了很久,很多小问题都困扰着我们。特别是我这边的客户端,我犯了几个很揪心的错误。 1.首先最不能原谅自己的就是现在居然又犯这个错,e.getSource() 和e.getActionCommand()返回的结果类型又搞错了。以后坚决要记住了。 2.将byte数组转换成string 类型。很…
2011-08-09 16:18 · 网络通信基础 · 评论(0)
初识通信
通信这部分的学习有一段时间了,感觉难度比较大。觉得跟之前的学习有很大的不同,复杂多了,而且这里更容易出错,而且很多时候都是些自己觉得莫名奇妙的错误,又不好调试。有时候自己的服务器和客户端测试成功了,但和搭档通信测试时,说不定又要很纠结。因为这里最重要的就是协议了,所以双方在通信之前一定要定好协议。这里没做好后面基本上就是瘫痪了。我之前过了一段抄代码的日子,这里就先不说了。感觉通信就是数据的传送,一端发送了一种代表所谓的我们称之为某种意义的数据,也可以说是消息。另一方接收,根据定好的协议将其解析为具有那种意义的消息。最开始接触通信时,我们只是单纯的字节,字符串的传送,双方什么界面都可以不要,客…
2011-08-01 17:35 · 网络通信基础 · 评论(0)
文件压缩(哈夫曼压缩)
文件压缩总结(哈夫曼压缩) 在学习哈弗曼压缩之前,还是首先来了解什么是哈夫曼树,哈夫曼编码。 1.哈夫曼树是一种最优二叉树,它的带权路径长度达到最小。树的带权路径长度为所有叶子结点带权路径长度之和。 而结点的带权路径长度是结点的路径长度乘以结点的权值。 2.哈夫曼编码是依据字符出现概率来构造异字头的平均长度最短的码字。从哈弗曼树的根结点开始,按照左子树代码为“0”,右子树代码为“1”的规则,直到树的叶子结点,每个叶子结点的哈弗曼编码就是从根结点开始,将途中经过的枝结点和叶子结点的代码按顺序串起来。 哈夫曼压缩是字节符号用一个特定长度的01序列替代,在文件中出现频率高的符号,使用短的01序列,…
2011-07-17 15:26 · 我的Java · 评论(0)
多线程
多线程 我个人认为这是个难点,因为牵涉到多线程我就完全要被代码控制了,总感觉它的执行根本就不是我的意愿。不过,还是简单的小结一下吧。 首先,从名称上,我们要区分:进程和线程。之前我也是完全分不清这两个有什么区别。现在才有了一点点了解。不过我还是不懂线程。一般来说,我们运行一个应用程序的时候,就启动了一个进程,当然有的还会启动多个进程。我们打开任务管理器可以看到电脑正在进行的应用程序和进程有哪些。启动进程的时候,操作系统会为进程分配资源,其中最主要的资源是内存空间,因为程序是在内存中运行的。而一个进程可以包含多个线程,线程之间可以进行数据交换,实时通信和必要的同步操作。但是进程间是独立的。他们…
2011-06-03 23:44 · 评论(0)
链表小结
链表(线性链表) 现在我们开始学习数据结构了,数据结构到底是什么,从名称上讲,应该是数据在计算机内部的存储方法。不过,这只是个概念而已,都说重要的还是要了解内涵。 链表是一种常见的基础数据结构,是一种物理存储单元上非连续,非线性的存储结构,数据元素的逻辑顺序是通过链表中 的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点)组成,结点包括两个域,其中存储数据元素信息的域称为数据域,存储其他结点的存储位置的域称为指针域。 现在我暂时还不清楚链表到底是一种线性的,还是非线性的。找了下资料,问了同学说法不一,我也完全不清楚。。。所以,只能做暂时的小结。 线性链表有:单链表,双向链表,循…
2011-05-31 20:23 · 评论(0)