前言
目前处于工作交接阶段，比较清闲，花了几天时间看了Lucene，了解一下这个老总一直说要用之来解决项目中的问题的东东。Lucene的原理相对简单，有几篇文章很好地进行了介绍，见参考资料，这里只是按自己的理解整理一下。Lucene In Action对具体的细节有比较深入的介绍，遗憾的是该书是针对1.x版本的，新版本有很多变化，不过不影响对其原理的理解。
要想从海量数据中快速地查找需要的信息，比如用户想要通过Amazon查找需要的图书，最有效的方式就是建立索引，然后基于这些索引就可以快速的定位信息。
Lucene是一个开源的组件包，具体的应用可以基于这个组件包提供索引构建和信息搜索功能。
使用Lucene主要包含两个步骤，一是构建索引，二是基于索引进行搜索。这两个步骤通常是两个分离的进程，最常用的作法是后台构建索引，前台提供搜索支持。
Lucene的索引构建是基于文本文件的，如果要针对其他数据源，如数据库记录进行索引，必须进行一些预处理，Lucene本身提供对PDF,WORD等文件类型的解析器。
构建索引的过程有一个比较关键的步骤是分词技术，Lucene发布包不提供对中文分词的支持，不过目前处于SandBox阶段有一个中文分词实现。如果要提高搜索的性能和质量，必须针对特定的应用实现自己的分词器。
实践
写了一个简单的示例，试用了一下Lucene，基于lucene2.1.0版本，需要下载该版本的jar文件，包含在类路径即可，因为要测试中文检索，所以还需要从lucene官网下载中文的分词包。
示例基于这样一个场景，要能很方便的根据名称查找我机器上的MP3文件，必须支持模糊查询，为了方便测试，我准备了四个mp3文件，分别是堕落天使.mp3，没你的日子.mp3，如果你还爱我.mp3，天堂.mp3。
Mp3Searcher类主要包含两个方法，buildIndex主要用来基于上述MP3文件构建索引，目前这些索引保存在RAMDirectory中，这是一个基于内存的索引存储，运行完毕不会持久化。search方法接受一个查询字符串，返回查找结果。
java 代码
- public class Mp3Searcher
- {
- public static final String DATA_DIR = "E:\\temp\\mp3";
-
- protected static Log log = LogFactory.getLog(Mp3Searcher.class);
-
- private RAMDirectory directory = null;
-
- private ChineseAnalyzer analyzer = null;
-
- public Mp3Searcher()
- {
- directory = new RAMDirectory();
- analyzer = new ChineseAnalyzer();
- }
-
-
-
-
-
-
-
- public Hits search( String name) throws IOException, ParseException
- {
- IndexSearcher searcher = new IndexSearcher(directory);
- QueryParser parser = new QueryParser("name",analyzer);
- return searcher.search(parser.parse(name));
- }
-
-
- public void buildIndex( String dataDir) throws IOException
- {
-
- IndexWriter writer = new IndexWriter(directory, analyzer, true);
-
-
- Collection files = FileUtils.listFiles(new File(DATA_DIR),
- new String[] { "mp3" }, false);
- if (files != null)
- {
-
- Iterator iterator = files.iterator();
- Document doc = null;
- File file = null;
- while (iterator.hasNext())
- {
- file = (File) iterator.next();
- doc = new Document();
- doc.add(new Field("name", FilenameUtils.getBaseName(file
- .getAbsolutePath()), Field.Store.YES,
- Field.Index.TOKENIZED));
- writer.addDocument(doc);
-
- log.debug("index file " + file.getName());
- }
- }
- writer.optimize();
- writer.close();
- }
-
- }
测试用例如下：
java 代码
- public class Mp3SearcherTest extends TestCase
- {
- private Mp3Searcher searcher = new Mp3Searcher();
-
- public void setUp() throws Exception
- {
- searcher.buildIndex(Mp3Searcher.DATA_DIR);
- }
-
- public void testSearch() throws Exception
- {
- Hits results = searcher.search("没你的日子");
- assertEquals(1,results.length());
-
- Document doc = results.doc(0);
- assertEquals("没你的日子",doc.getField("name").stringValue());
-
- results = searcher.search("天");
- assertEquals(2,results.length());
-
- doc = results.doc(0);
- assertNotNull(doc);
-
- }
- }
总结
Lucene提供一个非常简单易用的API，可以很容易的基于其构建搜索引用，同时也提供很好的扩展。要构建一个成熟的产品级应用，还需要做很多工作，主要包括如何实现针对特定领域的分词技术来提高索引的质量，索引的大小。
如何基于数据库进行索引
很多应用的数据都是存储在数据库中的，比如china-pub的所有的书籍目录，CMS中的客户资料。如何针对这些数据来源构建搜索应用呢？
可以建一个后台进程，在闲时构建增量索引，比如每天晚上12点。这种方式不能保证实时查询到最新录入的数据，搜索会有一定的延迟，但是大多数这种应用都能接受这种延迟。如果要在每次增加新的数据时构建索引，会极大的影响应用的性能。
参考资料
www.ibm.com/developerworks/cn/java/j-lo-lucene1/
www.ibm.com/developerworks/cn/java/wa-lucene/
www.iteye.com/topic/70305
分享到：
相关推荐
基于SSM+JSP的企业人事管理信息系统毕业设计(源码+录像+说明).rar 【项目技术】 开发语言：Java 框架：ssm+jsp 架构：B/S 数据库：mysql 【演示视频-编号：420】 https://pan.quark.cn/s/b3a97032fae7 【实现功能】 实现了员工基础数据的管理，考勤管理,福利管理,薪资管理,奖惩管理,考核管理,培训管理,招聘管理,公告管理,基础数据管理等功能。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于PaddleFL框架的联邦学习医疗影像识别系统源码+GUI界面+说明.zip该项目是个人毕设项目源码，评审分达到97分，都经过严格调试，确保可以运行！放心下载使用。该项目资源主要针对计算机相关专业的学生或从业者下载使用，也可作为期末课程设计、课程大作业、毕业设计等。 基于PaddleFL框架的联邦学习医疗影像识别系统源码+GUI界面+说明.zip该项目是个人毕设项目源码，评审分达到97分，都经过严格调试，确保可以运行！放心下载使用。该项目资源主要针对计算机相关专业的学生或从业者下载使用，也可作为期末课程设计、课程大作业、毕业设计等。 基于PaddleFL框架的联邦学习医疗影像识别系统源码+GUI界面+说明.zip该项目是个人毕设项目源码，评审分达到97分，都经过严格调试，确保可以运行！放心下载使用。该项目资源主要针对计算机相关专业的学生或从业者下载使用，也可作为期末课程设计、课程大作业、毕业设计等。 基于PaddleFL框架的联邦学习医疗影像识别系统源码+GUI界面+说明.zip该项目是个人毕设项目源码，评审分达到97分，都经过严格调试，确保可以运行！放心下载使用。该项目资源
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
.数据内容：全国及各省（不含西藏）不同类型农村劳动力转移数据。包括：根据转移时间长短划分为常年外出务工劳动力和季节性外出务工劳动力；根据转移地点范围划分为乡外县内务工劳动力、县外省内务工劳动力和省外务工劳动力。 指标解释：常年外出务工劳动力数：指在外出劳动力中，全年累计在外劳动时间超过6个月的劳动力数量；季节性外出务工劳动力数：指在外出劳动力中，全年累计在外劳动时间在3个月以上6个月以下的劳动力数量；乡外县内务工劳动力数，指在常年外出劳动力中，在本乡镇外、所属县内从业的劳动力数量；县外省内务工劳动力数，指在常年外出劳动力中，在本县外、所属省内从业的劳动力数量；省外务工劳动力数，指在常年外出劳动力中，在本省外从业的劳动力数量。 指标： 地区 汇总乡镇数 汇总村数 汇总农户数（万人） 汇总人口数（万人） 汇总劳动力数（万人） 从事家庭经营劳动力数（万人） 从事第一产业劳动力数（万人） 外出务工劳动力（万人） 常年外出务工劳动力（万人） 乡外县内（万人
基于MATLAB:simulink汽车整车模型工程源代码合集，6份。 1、CI发动机测功机参考应用.zip 2、Simulink中的混合动力汽车模型.zip 3、SI发动机测功机参考应用.zip 4、常规车辆参考应用.zip 5、电动汽车参考应用.zip 6、混合动力电动汽车参考应用.zip
Java毕业设计-基于SSM框架的农产品质量安全检测网站(源码+演示视频+说明).rar 【项目技术】 开发语言：Java 框架：ssm+vue 架构：B/S 数据库：mysql 【演示视频-编号：469】 https://pan.quark.cn/s/b3a97032fae7
PyTorch深度学习 —— 基于小土堆视频等资料.zip
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于SSM+Vue的敏捷工贸公司销售管理系统毕业设计(源码+录像+说明).rar 【项目技术】 开发语言：Java 框架：ssm+vue 架构：B/S 数据库：mysql 【演示视频-编号：480】 https://pan.quark.cn/s/b3a97032fae7 【实现功能】 本系统的使用者主要可以被分为管理员角色和用户角色两类。其中，管理员角色主要的功能需求有用户信息管理、物资信息管理、订单信息管理等模块，用户角色主要的功能需求有系统登录、查询物资信息、查询订单信息等模块。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
文本分类一般有两种处理思路：基于机器学习的方法和基于深度学习的方法。.zip