1.   Compass的framework的系统结构。

感觉Compass的代码的结构简直就是剽窃Hibernate的，可能Compass的最初目的是用来整合Hibernate的，

CompassConfiguration conf =

new CompassConfiguration().configure().addClass(Author.class);

Compass compass = conf.buildCompass();

CompassSession session = compass.openSession();

CompassTransaction tx = null;

try {

tx = session.beginTransaction();

…

session.save(author);

CompassHits hits = session.find(“jack london”);

Author a = (Author) hits.data(0);

Resource r = hits.getResource(0);

…

tx.commit();

} catch (CompassException ce) {

if (tx != null) tx.rollback();

} finally {

session.close();

}

假如你对Hibernate有了解的话，相信你对Compass会比较容易理解的，你可以把Hibernate的思想转移到Compass上。现在让我们看看他们之间的相似吧。

compass.cfg.xml

<compass-core-config xmlns=”http://www.opensymphony.com/compass/schema/core-config”

xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=”http://www.opensymphony.com/compass/schema/core-config

http://www.opensymphony.com/compass/schema/compass-core-config.xsd”>

<compass name=”default”>

<connection>

<file path=”target/test-index”/>

</connection>

<mappings>

<class name=”test.Author” />

</mappings>

</compass>

</compass-core-config>

这个是Compass总的配置文件，其中定义了索引文件存储的位置（这里是用文件系统，Compass有多种选择，你也可以选数据库或其他），Compass索引的对象是面向PoJo的，这里的是Author，对应的文件是test/Author.cpm.xml.

当然这里面的配置属性不止这么多，更多的属性见Configure属性。

CompassConfiguration conf = new CompassConfiguration()

.setSetting(CompassEnvironment.CONNECTION, ”my/index/dir”)

.addResource(DublinCore.cmd.xml).addClass(Author.class);

Compass compass = conf.buildCompass();

这里我们CompassConfiguration会读取默认的在classpath中的compass.cfg.xml初始化，然后得到Compass对象，可能你会马上意思到这个Compass肯定对应于Hibenate中的SessionFactory，是的，这是一个重量级的对象，

我们需要通过这个对象得到CompassSession，然后进行CRUD操作，CompassSession跟Hibernate中的Session一样是个lightweight对象。关于对Search domain的配置(Author.cpm.xml),大家可以查看cpm文件配置。在那里面

主要是定义了那些properties是需要被索引的。

<?xml version=”1.0″?>

<compass-core-mapping package=”eg”>

<class name=”Author” alias=”author”>

<id name=”id” />

<constant>

<meta-data>type</meta-data>

<meta-data-value>person</meta-data-value>

<meta-data-value>author</meta-data-value>

</constant>

<property name=”name”>

<meta-data>name</meta-data>

<meta-data>authorName</meta-data>

</property>

<property name=”birthday”>

<meta-data>birthday</meta-data>

</property>

<component name=”books” ref-alias=”book” />

<!– can be a reference instead of component

<reference name=”books” ref-alias=”book” />

–>

</class>

<class name=”Book” alias=”book”>

…

</class>

</compass-core-mapping>

2.  索引文件结构

—[index dir]/index

|

|– [subIndex1]

|      |

|      |— segments

|      |— [segment1]

|      |— [segment2]

|

|– [subIndex2]

|      |

|      |— segments

|      |— [segment1]

|      |— [segment2]

|      |— [segment3]

|

…

基本上是一个search domain放到一个subIndex文件夹中，更确切的说是相同alias name的search domain放到相同的sub index folder中。

3.  Compass中的操作

通过CompassSession我们可以进行save，delete， get，load。假如我们有两个domain Object，Author 和 Book，假如我们想要query Book的话要怎样做呢？ 我们需要使用alias（这个属性定义在cmp文件中），

通过CompassQueryBuilder去构造CompassQuery, CompassQueryBuilder非常灵活，非常像Hibernate的Criteria查询。具体的sample请看 Working with objects

CompassHits hits = session.createQueryBuilder()

.queryString(“+name:jack +familyName:london”)

.setAnalyzer(“an1″) // use a different analyzer

.toQuery()

.addSort(“familyName”, CompassQuery.SortPropertyType.STRING)

.addSort(“birthdate”, CompassQuery.SortPropertyType.INT)

.hits();

4.  CompassGps and CompassGpsDevice

CompassGps像是一个Service，他需要在application startup时启动服务， application shutdown停止服务，CompassGpsDevice不能独立的存在，他需要依赖CompassGps， CompassGps为CompassGpsDevice提供

Compass对象，他们一起为程序提供Index的实时更新。 Compass整合Hibernate 等等 persitance framework的代码就在CompassGpsDevice里，你需要提供不同的Device，如HibernateDevice， JDODevice。你也

可以实现自己的Device， CompassGpsDevice会把domain object的更新事件通过CompassGps去通知Compass去更新索引文件，这样就是可以实时更新index了。有兴趣的话可以看看Hibernate3GpsDevice的

registerEventsForHibernate31（）方法，他给Hibernate的save，delete，update操作增加listener。当然我们可以使用aop自己去实现这块。CompassGps and CompassGpsDevice

Compass compass = … // configure compass

CompassGps gps = new SingleCompassGps(compass);

CompassGpsDevice device1 = … // configure the first device

device1.setName(“device1″);

gps.addDevice(device1);

CompassGpsDevice device2 = … // configure the second device

device2.setName(“device2″);

gps.addDevice(device2);

gps.start();

….

….

//on application shutdown

gps.stop();

5.  整合Spring，Hibenate

在Compass的lib里面就有非常好的一个sample了（petclinic），里面有对Spring，Hibenate的整合，其实对spring来说也就是通过ioc把CompassGps 和 Compass定义好。CompassGps主要负责re－index和index实时更新

， Compass主要提供了自定义Search部分的入口（CompassTemplate）。Spring提供了对Compass的DAO的整合，在CompassDaoSupport 中拿到CompassTemplate，这个跟spring对hibernatedao的支持是一致的。

public class LibraryCompassDao extends CompassDaoSupport {

public int getNumberOfHits(final String query) {

Integer numberOfHits = (Integer)getCompassTemplate().execute(

new CompassCallback() {

public Object doInCompass(CompassSession session) {

CompassHits hits = session.find(query);

return new Integer(hits.getLength());

}

}

);

}

return numberOfHits.intValue();

}

<beans>

<bean id=”libraryCompass” class=”LibraryCompassDao”>

<property name=”compass”>

<ref local=”compass” />

</property>

</bean>

</beans>

<!– COMPASS START –>

<bean id=”compass” class=”org.compass.spring.LocalCompassBean”>

<property name=”resourceLocations”>

<list>

<value>classpath:org/compass/sample/petclinic/petclinic.cmd.xml</value>

<value>classpath:petclinic.cpm.xml</value>

</list>

</property>

<property name=”compassSettings”>

<props>

<prop key=”compass.engine.connection”>file://${user.home}/compass/petclinic</prop>

<prop key=”compass.transaction.factory”>org.compass.spring.transaction.SpringSyncTransactionFactory</prop>

</props>

</property>

<property name=”transactionManager”>

<ref local=”transactionManager” />

</property>

</bean>

<bean id=”hibernateGpsDevice” class=”org.compass.spring.device.hibernate.SpringHibernate3GpsDevice”>

<property name=”name”><value>hibernateDevice</value></property>

<property name=”sessionFactory”><ref local=”sessionFactory” /></property>

</bean>

<bean id=”compassGps” class=”org.compass.gps.impl.SingleCompassGps” init-method=”start” destroy-method=”stop”>

<property name=”compass”><ref bean=”compass” /></property>

<property name=”gpsDevices”>

<list>

<ref local=”hibernateGpsDevice” />

</list>

</property>

</bean>

<!– COMPASS END –>

<!– Transaction manager for a single Hibernate SessionFactory (alternative to JTA) –>

<bean id=”transactionManager” class=”org.springframework.orm.hibernate3.HibernateTransactionManager”>

<property name=”sessionFactory”><ref local=”sessionFactory”/></property>

</bean>

<!—————————-一下是对anototion的配置。–>

<bean id=”annotationConfiguration”

class=”org.compass.annotations.config.CompassAnnotationsConfiguration”>

</bean>

<!– 核心Compass Bean,search及index时使用 –>

<bean id=”compass” class=”org.compass.spring.LocalCompassBean”>

<!– anontaition式设置         –>

<property name=”classMappings”>

<list>

<value>com.dengyin.compass.sample.domain.Book</value>

</list>

</property>

<property name=”compassConfiguration” ref=”annotationConfiguration”/>

<!– xml 文件式设置

<property name=”resourceLocations”>

<list>

<value>classpath:compass-springside.cmd.xml</value>

<value>classpath:compass-springside.cpm.xml</value>

</list>

</property>

–>

<property name=”compassSettings”>

<props>

<prop key=”compass.engine.connection”>

file://${user.home}/springside/compass

</prop>

<prop key=”compass.transaction.factory”>

org.compass.spring.transaction.SpringSyncTransactionFactory

</prop>

</props>

</property>

<property name=”transactionManager” ref=”transactionManager”/>

</bean>

<!–Compass的GPS绑定,在index时使用–>

<bean id=”compassGps” class=”org.compass.gps.impl.SingleCompassGps”

init-method=”start” destroy-method=”stop”>

<property name=”compass” ref=”compass”/>

<property name=”gpsDevices”>

<list>

<bean class=”org.compass.spring.device.hibernate.SpringHibernate3GpsDevice”>

<property name=”name”>

<value>hibernateDevice</value>

</property>

<property name=”sessionFactory” ref=”sessionFactory”/>

</bean>

</list>

</property>

</bean>

ok! 相信你对Compass有一定的了解了

1.1 下载安装

from: http://www.sun.com

安装目录：C:\Java\jdk1.6.0_03
1.2 修改环境变量
JAVA_HOME=C:\Java\jdk1.6.0_03\bin

CLASSPATH＝C:\Java\jdk1.6.0_03\lib\dt.jar；C:\Java\jdk1.6.0_03\lib\tools.jar
1.3 测试
java -version

2、tomcat-6.0

2.1 下载
from: http://tomcat.apache.org/

2.2 解压到C盘目录并改名

安装目录：C:\tomcat6

2.3 修改配置
conf/server.xml

QUOTE:

  <!– Define a non-SSL HTTP/1.1 Connector on port 8080 –>
    <Connector port=”8080″ maxHttpHeaderSize=”8192″
            maxThreads=”150″ minSpareThreads=”25″ maxSpareThreads=”75″
               enableLookups=”false” redirectPort=”8443″ acceptCount=”100″
               c disableUploadTimeout=”true”
               URIEncoding=”UTF-8″ useBodyEncodingForURI=”true” />   

默认服务端口为8080，若有冲突（如Apache），则可通过此配置文件更改端口(蓝色)如果配置后nutch出现中文乱码问题，则增加编码配置(红色)

2.4 启动服务
startup

测试：http://localhost:8080/

3、安装Cygwin

from:http://www.cygwin.cn/

由于运行Nutch自带的脚本命令需要Linux的环境，所以必须首先安装Cygwin来模拟这种环境
4、 nutch-1.0
4.1 下载 http://www.apache.org/dyn/closer.cgi/lucene/nutch/

4.2  解压后到C盘根目录

C:\nutch-1.0

建 url.txt文件，指定爬取列表
在文件中写入如下内容：
例如：http://cqllang.javaeye.com/blog
4.3  指定爬虫规则
修改 conf/crawl-urlfilter.txt

QUOTE:

# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
把这里改成你要的域名
如 +^http://cqllang.javaeye.com/blog

4.4 修改 conf/nutch-site.xml

QUOTE:

<configuration>
        <property>
                <name>http.agent.name</name>
                <value>my nutch agent</value>
        </property>
        <property>
                <name>http.agent.version</name>
                <value>1.0</value>
        </property>
</configuration>

如果没有配置此agent，爬取时会出现 Agent name not configured! 的错误。

4.5 开始爬取

打开Cygwin,

在命令行窗口中输入：  
 　　cd /cygdrive/c/nutch-1.0
执行命令：

bin/nutch crawl url.txt -dir crawled -depth 3 -threads 4 >& crawl.log

在这里

dir指定抓取内容所存放的目录，depth表示以要抓取网站顶级网址为起点的爬行深度，threads指定并发的线程数。

4.6 部署web前端
将 nutch-1.0.war 拷贝到webapps目录下
通过浏览器访问http://localhost:8080/nutch-1.0/ 后，war包自解压。
4.7 修改nutch的web配置
c:\tomcat6\webapps\nutch-1.0\WEB-INF\classes\nutch-site.xml
将内容更改为索引生成的目录。
QUOTE:

<nutch-conf>
        <property>
                <name>searcher.dir</name>
                <value>c:/nutch-1.0/crawled</value>
        </property>
</nutch-conf>

网上发现很多关于Nutch配置搜索引擎的文章，但我觉得对于很多新手来说。配置的话有时往往不知如何下手，下面推荐两个视频。帮助大家可以一步一步搭建自己的搜索引擎。

自己动手搭建搜索引擎 – 1

在线观看： http://www.boobooke.com/v/bbk2817

自己动手搭建搜索引擎 – 2

在线观看： http://www.boobooke.com/v/bbk2818

希望能帮助入门。有兴趣的可能研究nutch1.0源码。