文本信息检索技术
一、文本信息检索的历史、发展现状和前沿
1.1 信息检索的模型分类
二、文本信息检索发展的瓶颈
2.1 语言方面的挑战[1]
检索意图表达不够清楚
返回的事文档列表，缺乏对答案的准确定位
信息太多太杂，检索效果不佳
2.2 信息源方面的挑战
信息来源不同
存储格式和系统不同
异构资源整合检索，用户统一访问和检索
2.3 性能方面的挑战
面对海量的内容数据
并发检索压力，保证检索性能
2.4 多种检索技术的联合检索
与关系数据库镇南关数据的联合检索性能
XML数据的检索
三、文本信息检索技术的应用
3.1.互联网应用：
随着互联网内容的爆炸性增长，网络信息处理变成了信息处理技术关注的热点。由于互联网上的主要内容是标记文本，所以文本信息处理技术在这方面发挥着很大的用处。
目前关于关于互联网的应用主要有: 网页搜索、 文本分类、 文本聚类、 自动文摘、 信息监控、 分布分析与趋势预测、 网页去重、 网页自动关联、问-答查询、聊天机器人、 基于上下文的多媒体搜索。
3.2.在语言学、语音学方面的应用：
在语言学、语音学方面可以用于文字识别、机器翻译、语音识别、文－语转换等
3.3.在生物、医药方面有很多应用：
近年来在生物、医药领域，研究成果发布周期越来越短，相关文献数目也是加速增长。许多信息都隐藏在海量文献与数据中。目前通过将文本信息挖掘技术应用于相关文献，在实体识别(entityrecognition)、文本分类、术语抽取、关系抽取、假说生成(hypothesisgeneration)等方面取得了大量进展。目前主要需要做的工作是将这些技术实用化，构造出具体可用的系统。[10]
3.4.法律领域的应用：
在法律分析、研究中，也有许多法律文档需要处理。从20世纪70年代起，随着法律文档的电子化，很多关于法律文档的机器处理研究便开展起来。早期的法律文献检索还是基于关键字检索等技术，现在更多的则是基于统计的、自然语言查询的分析与检索技术得到了应用。[11]
3.5.图书管理：
3.6.其他程序输出数据处理、数据库应用等：
四、文本信息检索领域的领头人物、重要机构和经典论文
4.1领域基石
Vannevar Bush：1945年，Vannevar Bush的论文《As We May Think》[2]第一次提出了设计自动的，在大规模的存储数据中进行查找的机器的构想。这被认为是现在信息检索技术的开山之作。
Luhn：在50年代中期，在利用电脑对文本数据进行检索的研究上，研究者取得了一些成果。其中最有代表性的是Luhn在IBM公司的工作[3]。他提出了利用词对文档构建索引并利用检索与文档中词的匹配程度进行检索 的方法，这种方法就是目前常用的倒排文档技术的雏形。
Cranfield：在评价指标方面，由Cranfield的研究组组织的Cranfield评测[4]提出了许多目前仍然被广泛采用的评价指标。
Gernard Salton：Gernard Salton开发的SMART系统[5]为文本信息检索构建了一个很好的研究平台。在70年代到80年代，许多信息检索的理论与模型被提出，并且被证明对当时所能获得的数据集是有效的。其中最为著名的是Gerard Salton提出的向量空间模型[6][7][8]，至今该模型还是信息检索领域最为常用的模型之一。
Maron，Kuhn：Maron和Kuhn在1960年最早提出概率模型[9]。概率模型的基本思想是估计文档与查询相关联概率，并对所有文档根据关联概率进行排序。
4.2重要机构
TREC：The Text REtrieval Conference。1992年，美国国家标准和科技机构 (National Institute of Standards and Technology, 简称 NIST)和美国情报局先进研发活动 (Advanced Research and Development Activity center of the U.S. Department of Defense, 简称 DARDA ] 合作举办“文字检索会议”(The Text REtrieval Conference, TREC)，一开始是附属于 TIPSTER Text program[4]底下的计划，从1992年之后，每年都会举办一次TREC会议。TREC 会议成立目的是辅导与支援资讯检索相关研究，提供标准测试集协助研究者进行测试等。