这种爬虫叫做”通用爬虫(broad crawls)”，一般用于搜索引擎。 通用爬虫一般有以下通用特性: 其爬取大量(一般来说是无限)的网站而不是特定的一些网站。
基于29个网页-相关网页
broad crawls
广泛的爬
以上为机器翻译结果，长、整句建议使用 人工翻译 。
应用推荐
模块上移
模块下移
不移动