<2>: 在eclipse中新建立一个Java Project. 名字自己定义(Nutch). 选择”Create project from existing source”，指向自己nutch-1.0的目录.

<3>: 点击下一步，切换到”Libraries”选择”Add Class Folder…” 按钮，从列表中选择”conf”.  —- Add project ‘conf’ to build path—->Default Output floder —->选择刚才conf.

<4>: finised.修改conf下面的

(a):nutch-defaul.xml :

<!– plugin properties –>

<property>

<name>plugin.folders</name>

<value>/home/user/tools/nutch-1.0/src/plugin</value>

<!–指向nutch1.0目录的plugin–>

<description>Directories where nutch plugins are located. Each element may be a relative or absolute path. If absolute, it is used as is. If relative, it is searched for on the classpath.</description>

</property>

(b):nutch-site.xml:

<property>

<name>http.agent.name</name>

<value>lance</value>

<description>lance</description>

</property>

<property>

<name>http.agent.description</name>

<value>Nutch spiderman</value>

<description> Nutch spiderman</description>

</property>

<property>

<name>http.agent.url</name>

<value>http://www.163.com/</value>

<description>http://www.163.com</description>

</property>

<property>

<name>http.agent.email</name>

<value>cqllang@163.com</value>

<description>cqllang@163.com   </description>

</property>

(c):crawl-urlfilter.txt:

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*163.com/

<5>:下载MP3跟rtf的jar文件

http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-mp3/lib/，

http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-rtf/lib/

分别拷贝到src/plugin/parse-mp3/lib 和 src/plugin/parse-rtf/lib/文件夹下

<6>:刷新几下，右键选择工程文件夹，选择Build Path->Configure Build Path…在弹出的窗口上，切换到Libraries，选择Add Jars…，添加刚才下载的jar文件到工程。

<7>:到这一步，一般的工程都会有两个错误，nutch的official 1.0 release版本中，这两个问题因为licensing issues没有修复。

接下来的就是最关键的部分了。

修改—-  src\plugin\parse-rtf\src\java\org\apache\nutch\parse\rtf下RTFParseFactory.java

添加—– import org.apache.nutch.parse.ParseResult;

将  —– public Parse getParse(Content content) {

改为—- public ParseResult getParse(Content content) {

将  —- return new ParseStatus(ParseStatus.FAILED,

ParseStatus.FAILED_EXCEPTION,

e.toString()).getEmptyParse(conf);

改为—–return new ParseStatus(ParseStatus.FAILED,

ParseStatus.FAILED_EXCEPTION,

e.toString()).getEmptyParseResult(content.getUrl(), getConf());

将——return new ParseImpl(text,

new ParseData(ParseStatus.STATUS_SUCCESS,

title,

OutlinkExtractor.getOutlinks(text, this.conf),

content.getMetadata(),

metadata));

改为——return ParseResult.createParseResult(content.getUrl(),

new ParseImpl(text,

new ParseData(ParseStatus.STATUS_SUCCESS,

title,

OutlinkExtractor.getOutlinks(text, this.conf),

content.getMetadata(),

metadata)));

修改——src\plugin\parse-rtf\src\test\org\apache\nutch\parse\rtf下的TestRTFParser.java

将—–parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content);

改为—-parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content).get(urlString); 到这一步，eclipse上面的工程就会没有错误了 .

<8>:在nutch1.0的目录下新建立一个文件夹urls,然后再在urls中建立一个文本文件url. 写上链接。注意后面要有 “/”. 选择Run->Run As->Java Application在弹出的Select Java Application上选择Crawl-org.apache.nutch.crawl. 接下来，选择 Run->Run Configurations…在左边的Java Application下面会有Crawl这一项，选择它， 切换到Arguments，Program Arguments的内容就是要设置的参数，填上urls -dir crawl -depth 3 -topN 50（这里视自己的具体情况而定，urls为链接） 在VM arguments下面填上-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log.

<9>:直接运行吧：看在你的控制台上出现信息了没.

PS:可能碰到的问题，就是Java Heap Size的问题，查看logs/hadoop.log或控制台输出，如果出现类似java.lang.OutOfMemoryError: Java heap space语句，

可以设置Eclipse -> Window -> Preferences -> Java -> Installed JREs -> edit -> Default VM arguments

设置为-Xms5m Xmx250m，其中Xms为最小内存，Xmx为最大内存。

另外我还碰到http.agent.name为null的错误。

将hadoop-site.xml 改成nutch-site.xml一样内容并删除crawl文件夹重新运行。

1.   Compass的framework的系统结构。

感觉Compass的代码的结构简直就是剽窃Hibernate的，可能Compass的最初目的是用来整合Hibernate的，

CompassConfiguration conf =

new CompassConfiguration().configure().addClass(Author.class);

Compass compass = conf.buildCompass();

CompassSession session = compass.openSession();

CompassTransaction tx = null;

try {

tx = session.beginTransaction();

…

session.save(author);

CompassHits hits = session.find(“jack london”);

Author a = (Author) hits.data(0);

Resource r = hits.getResource(0);

…

tx.commit();

} catch (CompassException ce) {

if (tx != null) tx.rollback();

} finally {

session.close();

}

假如你对Hibernate有了解的话，相信你对Compass会比较容易理解的，你可以把Hibernate的思想转移到Compass上。现在让我们看看他们之间的相似吧。

compass.cfg.xml

<compass-core-config xmlns=”http://www.opensymphony.com/compass/schema/core-config”

xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=”http://www.opensymphony.com/compass/schema/core-config

http://www.opensymphony.com/compass/schema/compass-core-config.xsd”>

<compass name=”default”>

<connection>

<file path=”target/test-index”/>

</connection>

<mappings>

<class name=”test.Author” />

</mappings>

</compass>

</compass-core-config>

这个是Compass总的配置文件，其中定义了索引文件存储的位置（这里是用文件系统，Compass有多种选择，你也可以选数据库或其他），Compass索引的对象是面向PoJo的，这里的是Author，对应的文件是test/Author.cpm.xml.

当然这里面的配置属性不止这么多，更多的属性见Configure属性。

CompassConfiguration conf = new CompassConfiguration()

.setSetting(CompassEnvironment.CONNECTION, ”my/index/dir”)

.addResource(DublinCore.cmd.xml).addClass(Author.class);

Compass compass = conf.buildCompass();

这里我们CompassConfiguration会读取默认的在classpath中的compass.cfg.xml初始化，然后得到Compass对象，可能你会马上意思到这个Compass肯定对应于Hibenate中的SessionFactory，是的，这是一个重量级的对象，

我们需要通过这个对象得到CompassSession，然后进行CRUD操作，CompassSession跟Hibernate中的Session一样是个lightweight对象。关于对Search domain的配置(Author.cpm.xml),大家可以查看cpm文件配置。在那里面

主要是定义了那些properties是需要被索引的。

<?xml version=”1.0″?>

<compass-core-mapping package=”eg”>

<class name=”Author” alias=”author”>

<id name=”id” />

<constant>

<meta-data>type</meta-data>

<meta-data-value>person</meta-data-value>

<meta-data-value>author</meta-data-value>

</constant>

<property name=”name”>

<meta-data>name</meta-data>

<meta-data>authorName</meta-data>

</property>

<property name=”birthday”>

<meta-data>birthday</meta-data>

</property>

<component name=”books” ref-alias=”book” />

<!– can be a reference instead of component

<reference name=”books” ref-alias=”book” />

–>

</class>

<class name=”Book” alias=”book”>

…

</class>

</compass-core-mapping>

2.  索引文件结构

—[index dir]/index

|

|– [subIndex1]

|      |

|      |— segments

|      |— [segment1]

|      |— [segment2]

|

|– [subIndex2]

|      |

|      |— segments

|      |— [segment1]

|      |— [segment2]

|      |— [segment3]

|

…

基本上是一个search domain放到一个subIndex文件夹中，更确切的说是相同alias name的search domain放到相同的sub index folder中。

3.  Compass中的操作

通过CompassSession我们可以进行save，delete， get，load。假如我们有两个domain Object，Author 和 Book，假如我们想要query Book的话要怎样做呢？ 我们需要使用alias（这个属性定义在cmp文件中），

通过CompassQueryBuilder去构造CompassQuery, CompassQueryBuilder非常灵活，非常像Hibernate的Criteria查询。具体的sample请看 Working with objects

CompassHits hits = session.createQueryBuilder()

.queryString(“+name:jack +familyName:london”)

.setAnalyzer(“an1″) // use a different analyzer

.toQuery()

.addSort(“familyName”, CompassQuery.SortPropertyType.STRING)

.addSort(“birthdate”, CompassQuery.SortPropertyType.INT)

.hits();

4.  CompassGps and CompassGpsDevice

CompassGps像是一个Service，他需要在application startup时启动服务， application shutdown停止服务，CompassGpsDevice不能独立的存在，他需要依赖CompassGps， CompassGps为CompassGpsDevice提供

Compass对象，他们一起为程序提供Index的实时更新。 Compass整合Hibernate 等等 persitance framework的代码就在CompassGpsDevice里，你需要提供不同的Device，如HibernateDevice， JDODevice。你也

可以实现自己的Device， CompassGpsDevice会把domain object的更新事件通过CompassGps去通知Compass去更新索引文件，这样就是可以实时更新index了。有兴趣的话可以看看Hibernate3GpsDevice的

registerEventsForHibernate31（）方法，他给Hibernate的save，delete，update操作增加listener。当然我们可以使用aop自己去实现这块。CompassGps and CompassGpsDevice

Compass compass = … // configure compass

CompassGps gps = new SingleCompassGps(compass);

CompassGpsDevice device1 = … // configure the first device

device1.setName(“device1″);

gps.addDevice(device1);

CompassGpsDevice device2 = … // configure the second device

device2.setName(“device2″);

gps.addDevice(device2);

gps.start();

….

….

//on application shutdown

gps.stop();

5.  整合Spring，Hibenate

在Compass的lib里面就有非常好的一个sample了（petclinic），里面有对Spring，Hibenate的整合，其实对spring来说也就是通过ioc把CompassGps 和 Compass定义好。CompassGps主要负责re－index和index实时更新

， Compass主要提供了自定义Search部分的入口（CompassTemplate）。Spring提供了对Compass的DAO的整合，在CompassDaoSupport 中拿到CompassTemplate，这个跟spring对hibernatedao的支持是一致的。

public class LibraryCompassDao extends CompassDaoSupport {

public int getNumberOfHits(final String query) {

Integer numberOfHits = (Integer)getCompassTemplate().execute(

new CompassCallback() {

public Object doInCompass(CompassSession session) {

CompassHits hits = session.find(query);

return new Integer(hits.getLength());

}

}

);

}

return numberOfHits.intValue();

}

<beans>

<bean id=”libraryCompass” class=”LibraryCompassDao”>

<property name=”compass”>

<ref local=”compass” />

</property>

</bean>

</beans>

<!– COMPASS START –>

<bean id=”compass” class=”org.compass.spring.LocalCompassBean”>

<property name=”resourceLocations”>

<list>

<value>classpath:org/compass/sample/petclinic/petclinic.cmd.xml</value>

<value>classpath:petclinic.cpm.xml</value>

</list>

</property>

<property name=”compassSettings”>

<props>

<prop key=”compass.engine.connection”>file://${user.home}/compass/petclinic</prop>

<prop key=”compass.transaction.factory”>org.compass.spring.transaction.SpringSyncTransactionFactory</prop>

</props>

</property>

<property name=”transactionManager”>

<ref local=”transactionManager” />

</property>

</bean>

<bean id=”hibernateGpsDevice” class=”org.compass.spring.device.hibernate.SpringHibernate3GpsDevice”>

<property name=”name”><value>hibernateDevice</value></property>

<property name=”sessionFactory”><ref local=”sessionFactory” /></property>

</bean>

<bean id=”compassGps” class=”org.compass.gps.impl.SingleCompassGps” init-method=”start” destroy-method=”stop”>

<property name=”compass”><ref bean=”compass” /></property>

<property name=”gpsDevices”>

<list>

<ref local=”hibernateGpsDevice” />

</list>

</property>

</bean>

<!– COMPASS END –>

<!– Transaction manager for a single Hibernate SessionFactory (alternative to JTA) –>

<bean id=”transactionManager” class=”org.springframework.orm.hibernate3.HibernateTransactionManager”>

<property name=”sessionFactory”><ref local=”sessionFactory”/></property>

</bean>

<!—————————-一下是对anototion的配置。–>

<bean id=”annotationConfiguration”

class=”org.compass.annotations.config.CompassAnnotationsConfiguration”>

</bean>

<!– 核心Compass Bean,search及index时使用 –>

<bean id=”compass” class=”org.compass.spring.LocalCompassBean”>

<!– anontaition式设置         –>

<property name=”classMappings”>

<list>

<value>com.dengyin.compass.sample.domain.Book</value>

</list>

</property>

<property name=”compassConfiguration” ref=”annotationConfiguration”/>

<!– xml 文件式设置

<property name=”resourceLocations”>

<list>

<value>classpath:compass-springside.cmd.xml</value>

<value>classpath:compass-springside.cpm.xml</value>

</list>

</property>

–>

<property name=”compassSettings”>

<props>

<prop key=”compass.engine.connection”>

file://${user.home}/springside/compass

</prop>

<prop key=”compass.transaction.factory”>

org.compass.spring.transaction.SpringSyncTransactionFactory

</prop>

</props>

</property>

<property name=”transactionManager” ref=”transactionManager”/>

</bean>

<!–Compass的GPS绑定,在index时使用–>

<bean id=”compassGps” class=”org.compass.gps.impl.SingleCompassGps”

init-method=”start” destroy-method=”stop”>

<property name=”compass” ref=”compass”/>

<property name=”gpsDevices”>

<list>

<bean class=”org.compass.spring.device.hibernate.SpringHibernate3GpsDevice”>

<property name=”name”>

<value>hibernateDevice</value>

</property>

<property name=”sessionFactory” ref=”sessionFactory”/>

</bean>

</list>

</property>

</bean>

ok! 相信你对Compass有一定的了解了

1.1 下载安装

from: http://www.sun.com

安装目录：C:\Java\jdk1.6.0_03
1.2 修改环境变量
JAVA_HOME=C:\Java\jdk1.6.0_03\bin

CLASSPATH＝C:\Java\jdk1.6.0_03\lib\dt.jar；C:\Java\jdk1.6.0_03\lib\tools.jar
1.3 测试
java -version

2、tomcat-6.0

2.1 下载
from: http://tomcat.apache.org/

2.2 解压到C盘目录并改名

安装目录：C:\tomcat6

2.3 修改配置
conf/server.xml

QUOTE:

  <!– Define a non-SSL HTTP/1.1 Connector on port 8080 –>
    <Connector port=”8080″ maxHttpHeaderSize=”8192″
            maxThreads=”150″ minSpareThreads=”25″ maxSpareThreads=”75″
               enableLookups=”false” redirectPort=”8443″ acceptCount=”100″
               c disableUploadTimeout=”true”
               URIEncoding=”UTF-8″ useBodyEncodingForURI=”true” />   

默认服务端口为8080，若有冲突（如Apache），则可通过此配置文件更改端口(蓝色)如果配置后nutch出现中文乱码问题，则增加编码配置(红色)

2.4 启动服务
startup

测试：http://localhost:8080/

3、安装Cygwin

from:http://www.cygwin.cn/

由于运行Nutch自带的脚本命令需要Linux的环境，所以必须首先安装Cygwin来模拟这种环境
4、 nutch-1.0
4.1 下载 http://www.apache.org/dyn/closer.cgi/lucene/nutch/

4.2  解压后到C盘根目录

C:\nutch-1.0

建 url.txt文件，指定爬取列表
在文件中写入如下内容：
例如：http://cqllang.javaeye.com/blog
4.3  指定爬虫规则
修改 conf/crawl-urlfilter.txt

QUOTE:

# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
把这里改成你要的域名
如 +^http://cqllang.javaeye.com/blog

4.4 修改 conf/nutch-site.xml

QUOTE:

<configuration>
        <property>
                <name>http.agent.name</name>
                <value>my nutch agent</value>
        </property>
        <property>
                <name>http.agent.version</name>
                <value>1.0</value>
        </property>
</configuration>

如果没有配置此agent，爬取时会出现 Agent name not configured! 的错误。

4.5 开始爬取

打开Cygwin,

在命令行窗口中输入：  
 　　cd /cygdrive/c/nutch-1.0
执行命令：

bin/nutch crawl url.txt -dir crawled -depth 3 -threads 4 >& crawl.log

在这里

dir指定抓取内容所存放的目录，depth表示以要抓取网站顶级网址为起点的爬行深度，threads指定并发的线程数。

4.6 部署web前端
将 nutch-1.0.war 拷贝到webapps目录下
通过浏览器访问http://localhost:8080/nutch-1.0/ 后，war包自解压。
4.7 修改nutch的web配置
c:\tomcat6\webapps\nutch-1.0\WEB-INF\classes\nutch-site.xml
将内容更改为索引生成的目录。
QUOTE:

<nutch-conf>
        <property>
                <name>searcher.dir</name>
                <value>c:/nutch-1.0/crawled</value>
        </property>
</nutch-conf>

网上发现很多关于Nutch配置搜索引擎的文章，但我觉得对于很多新手来说。配置的话有时往往不知如何下手，下面推荐两个视频。帮助大家可以一步一步搭建自己的搜索引擎。

自己动手搭建搜索引擎 – 1

在线观看： http://www.boobooke.com/v/bbk2817

自己动手搭建搜索引擎 – 2

在线观看： http://www.boobooke.com/v/bbk2818

希望能帮助入门。有兴趣的可能研究nutch1.0源码。