2008年12月7日星期日

一些搜索引擎的基础技术资料

必读资料:
(一) 搜索引擎介绍性Paper/书籍

(1) Arvind Arasu, Junghoo Cho, Hector Garcia-Molina, Andreas Paepcke,Sriram Raghavan, Search the Web, <http://citeseer.ist.psu.edu/527114.html> 以及该paper的参考文献:8,11,22,38

(2) Junghoo Cho 的一些相关论文,重点是他的博士论文,请参考:<http://oak.cs.ucla.edu/~cho/>(3) 李晓明,闫宏飞,王继民 《搜索引擎原理、技术与系统》


(二) 编程书籍《code complete》,中文名《代码大全》。此书目前一共出版了两版,建议以一版作为精读,另一版作为对比阅读。
选读资料:


(一) 数据挖掘的基础方法和思想可以参考:《Introduction to Data Mining》,中文名《数据挖掘导论》 <http://www.china-pub.com/computers/common/info.asp?id=30045>


(二) 自然语言处理可以参考:《Foundations of Statistical Natural Language Processing》中文名《统计自然语言处理基础》<http://www.china-pub.com/computers/common/info.asp?id=22710>


(三) 需要学习的技能/工具语言/平台(1) linux使用和shell编程可以参考:《sed与awk》<http://www.china-pub.com/computers/common/info.asp?id=13255>


(2) Unix下的网络编程

Richard Stevens, 《TCP/IP 详解》

Richard Stevens, Unix Network Programming,中文名《Unix网络编程》

Richard Stevens, Advanced Programming in the Unix Environment,中文名《Unix环境高级编程》


建议的学习方式:

1、学习《UNIX环境高级编程》

2、结合《TCP/IP 详解》第一卷的知识,用《Unix网络编程》第一卷提到的方法和工具,进行学习和练习,多写点代码,多用 tcpdump 等工具观察实际的网络数据流。

2008年12月1日星期一

SIGIR 2009 Call for papers

The 32nd Annual ACM SIGIR Conference July 19-23 2009

Important Dates

Nov 17, 2008 Requests for mentoring must be submitted
Jan 19, 2009 Abstracts for full research papers due
Jan 26, 2009 Full research paper submissions due
Feb 2, 2009 Workshop proposals due
Feb 23, 2009 Posters, demonstration, and tutorial proposals due
Mar 2, 2009 Doctoral consortium proposals due
Mar 9, 2009 Notification of workshop acceptances
Apr 11, 2009 All other acceptance notification

2008年11月25日星期二

TREC evaluation measures

TREC evaluation measures:

1. AP(Average Precision) is defined as:




where :
rj is the number of retrieved relevant document
#Docj(i) is the number of retrieved document when the i-th relevant document is retrieved for the j-th query.



2. MAP(Mean Average Precision) is the average AP for all queries.


3. (R-Precision) is the precision of the first R retrieved document. Where R is the number of relevant document for each query. For a perfect system, the R-Precision is 1.0.


3. TopN precision is the precision of the first N retrieved documents.

2008年11月23日星期日

诡异的qq问题

昨晚登陆qq时碰到一个很诡异问题,qq无法登陆,但可以正常登陆qq邮箱、浏览网页也没有异常(比较奇怪,往常都是可以登陆qq,但无法浏览网页)。当时想到以下几种可能:
1、qq版本不对应
2、端口被屏蔽掉了
3、qq文件损坏了
4、电脑在joking?
5、中毒了

于是乎,先备份qq文件,然后卸载现有qq版本,然后上qq官方网站下载了07Release、08beta、09Preview 所有可能的version,然后一个个地安装,都不好使,无奈只得再一个个地卸载。至此,排除1.

之后,又在本机上换了另一个qq号登陆,它。。。竟然好用,有点崩溃。
于是又换了另外一台机器登陆,还是不好用。排除2-4.

那就杀毒吧,趋势在线、360、QQ医生都用了,都没有查出病毒。无奈之下干起了老本行:挨个进程检查;查看系统启动项,没有异常,之后进入安全模式....一切都不管用。

就这样折腾了一晚上还是没有解决,然后就在郁闷中度过了一晚。第二天起床后继续昨天未完的任务,不过能想到得都已近检查过了,剩下唯一的可能就是qq服务器有问题了,不过别得号码正常,难不成。。。我的qq号码进入服务器黑名单了? 不过想想不应该啊,我也没用彩虹外挂、珊瑚虫版本,又没有做过暴力破解的勾当,是老实的不能再老实得平民了,难道这也有错?
无奈之下,只好求助于qq客服,得知当qq服务器处在调整期时,部分号码段可能会受影响不能正常登陆。。。 难道这也可以,这样难得的事情也能让我碰上,这算是幸运还是不幸呢?真得很无奈,都有点无语了。点背也许是我的问题,不过qq是不是也应该事先、人道地通知一下用户呢,起码有个心里准备也好。。。

后记:晚上,qq终于可以正常登陆了,就像往常一样,好像什么都没有发生一样。
为了防止意外,又做了以下预防措施:
1、备份数据
2、增强密码保护策略
3、把MSN快捷方式放在了一个显眼得位置。

2008年10月31日星期五

路由器 VS 交换机

今天校办一个老师打电话让我帮她们组建办公室局域网,于是风风火火跑到奥林匹克电子城,不幸的是少坐了一站就下车了,之后一顿瞎找,问了N多人之后总算到达了电子城。

进如电子城之后,看到“玲琅满目”的电子产品之后,我的头就有点晕晕的感觉(我不太习惯、也不喜欢大商场的那种气氛),于是按就近原则,选择了最近的一家咨询了一下。鉴于我的实际需求,店员建议我买一款5口的交换机即可满足一般需求了,且选择了TP Link这一大众化品牌,考虑到价格不是很贵(70RMB),在预算之内,于是匆匆忙忙交钱闪人了。

回到学校之后,马上将之连入网路,可这时问题来了,那个曾经熟悉的、通过Web方式管制的(http://192.168.1.1/)界面死活不出来,为此使出了浑身解数,枚举了所有可能,然而问题还没有得到解决,没办法只能求助于Google——这个对我而言超“无敌”、超“王道”的工具,翻阅了数页“百度知道”、“雅虎知识堂”的QA之后,才恍然大悟:原来我买的是交换机,而我实际需要的则是一个路由器。

那一刻,我开始悔恨啊,后悔当初怎么就没有把网络给学明白呀,竟然犯这么低级、弱智的错误,于是恶补了一下这方面的知识,谨防再次犯类似的错误。
以下是我从网上搜集的一些关于交换机、路由器区别方面的知识,置此以备用,同时也喜欢能对他人有做帮助。以下文字的版权归属于互联网以及匿名作者,特此申明!

////////////////////////////////////////////////////////////////////

最近看到很多人在询问交换机、集线器、路由器是什么,功能如何,有何区别,笔者就这些问题简单的做些解答。

  首先说HUB,也就是集线器。它的作用可以简单的理解为将一些机器连接起来组成一个局域网。而交换机(又名交换式集线器)作用与集线器大体相同。但是两者在性能上有区别:集线器采用的式共享带宽的工作方式,而交换机是独享带宽。这样在机器很多或数据量很大时,两者将会有比较明显的。而路由器与以上两者有明显区别,它的作用在于连接不同的网段并且找到网络中数据传输最合适的路径 ,可以说一般情况下个人用户需求不大。路由器是产生于交换机之后,就像交换机产生于集线器之后,所以路由器与交换机也有一定联系,并不是完全独立的两种设备。路由器主要克服了交换机不能路由转发数据包的不足。

  总的来说,路由器与交换机的主要区别体现在以下几个方面:

  (1)工作层次不同
  最初的的交换机是工作在OSI/RM开放体系结构的数据链路层,也就是第二层,而路由器一开始就设计工作在OSI模型的网络层。由于交换机工作在OSI的第二层(数据链路层),所以它的工作原理比较简单,而路由器工作在OSI的第三层(网络层),可以得到更多的协议信息,路由器可以做出更加智能的转发决策。

  (2)数据转发所依据的对象不同
  交换机是利用物理地址或者说MAC地址来确定转发数据的目的地址。而路由器则是利用不同网络的ID号(即IP地址)来确定数据转发的地址。IP地址是在软件中实现的,描述的是设备所在的网络,有时这些第三层的地址也称为协议地址或者网络地址。MAC地址通常是硬件自带的,由网卡生产商来分配的,而且已经固化到了网卡中去,一般来说是不可更改的。而IP地址则通常由网络管理员或系统自动分配。

  (3)传统的交换机只能分割冲突域,不能分割广播域;而路由器可以分割广播域
  由交换机连接的网段仍属于同一个广播域,广播数据包会在交换机连接的所有网段上传播,在某些情况下会导致通信拥挤和安全漏洞。连接到路由器上的网段会被分配成不同的广播域,广播数据不会穿过路由器。虽然第三层以上交换机具有VLAN功能,也可以分割广播域,但是各子广播域之间是不能通信交流的,它们之间的交流仍然需要路由器。

  (4)路由器提供了防火墙的服务
  路由器仅仅转发特定地址的数据包,不传送不支持路由协议的数据包传送和未知目标网络数据包的传送,从而可以防止广播风暴。

  交换机一般用于LAN-WAN的连接,交换机归于网桥,是数据链路层的设备,有些交换机也可实现第三层的交换。 路由器用于WAN-WAN之间的连接,可以解决异性网络之间转发分组,作用于网络层。他们只是从一条线路上接受输入分组,然后向另一条线路转发。这两条线路可能分属于不同的网络,并采用不同协议。相比较而言,路由器的功能较交换机要强大,但速度相对也慢,价格昂贵,第三层交换机既有交换机线速转发报文能力,又有路由器良好的控制功能,因此得以广泛应用。

  目前个人比较多宽带接入方式就是ADSL,因此笔者就ADSL的接入来简单的说明一下。现在购买的ADSL猫大多具有路由功能(很多的时候厂家在出厂时将路由功能屏蔽了,因为电信安装时大多是不启用路由功能的,启用DHCP。打开ADSL的路由功能),如果个人上网或少数几台通过ADSL本身就可以了,如果电脑比较多你只需要再购买一个或多个集线器或者交换机。考虑到如今集线器与交换机的 价格相差十分小,不是特殊的原因,请购买一个交换机。不必去追求高价,因为如今产品同质化十分严重,我最便宜的交换机现在没有任 何问题。给你一个参考报价,建议你购买一个8口的,以满足扩充需求,一般的价格100元左右。接上交换机,所有电脑再接到交换机上就行了。余下所要做的事情就只有把各个机器的网线插入交换机的接口,将猫的网线插入uplink接口。然后设置路由功能,DHCP等, 就可以共享上网了。

  看完以上的解说读者应该对交换机、集线器、路由器有了一些了解,目前的使用主要还是以交换机、路由器的组合使用为主,具体的组合方式可根据具体的网络情况和需求来确定。