智能爬虫
垂直搜索的核心技术实际上就是智能爬虫的技术，也就是说如何将定向或者非定向的网页抓取下来并进行分析后得到格式化数据的技术。那么衡量一个垂直搜索引擎的好坏主要有以下几个标准。
A.数据的更新频率
顾名思义，就是爬虫从目标网站上爬取数据的频率。
B.覆盖网站个数
覆盖尽量多的网站，对提供的信息数量将是一个保证。
C.单站有效数据抓取率
单个目标网站的有效数据，对数据量的多少有直接的影响。衡量一个爬虫的重要标准之一。
D.信息抽取完整率和准确率
此项指标的重要度不言而喻。信息的准确率和完整率直接关系到整个搜索引擎搜索结果的质量。
经过发展现有垂直搜索爬虫分为2种基本模式。
一、定向爬虫获取信息，配上手工或者自动的模版进行信息匹配，将信息进行格式化分析存储。
优势：
基于模版的信息提取技术，能提供更加精准的信息。比如价格，房屋面积，时间，职位，公司名等等。
劣势：
目标网站难以大面积覆盖，因为基于模版匹配的信息提取技术，需要人工的参与配置模版，欲要大面积覆盖各个目标网站，需要大量的人力成本，同样维护模板也需要很大的人力成本。
二、语义爬虫全网爬取，爬虫根据语义识别，自动进行信息格式化分析，并存储。
优势：
1、全网非定向抓取目标网站，有效的保证信息数量。
2、不需要人工参与定制和维护模板，有效的保证了自身的人力和维护成本。
劣势：
相对于第一种模板匹配，根据语义来进行数据抓取，准确率略有下降。
现在大家对该如何衡量一个 智能爬虫应该有了一定的了解了吧