为了更好地构建一个更加智能化、人性化的搜索引擎，首先要解决搜索引擎的资源获取问题。本文从这个问题出发，首先简单介绍了搜索引擎的发展状况，关键技术。然后就搜索引擎关键技术之一的网络蜘蛛进行了展开论述。本文的核心部分是从网络蜘蛛的发展状况、传统检索方法的实现、起始地址的选择、所需协议等方面简述网络蜘蛛的相关知识，然后提出一个智能网络蜘蛛系统。
网络搜索引擎系统的设计和开发，需要综合运用计算机、人工智能、网络通信、数据库、图书情报及应用语言学等多领域理论和技术，具有一定的综合性和复杂性，本文设计的实验系统还存在着缺点和不足之处，有待作者他日继续深入研究和修正。