怎么诱饵蜘蛛抓取网页
1、经常有规律性的更新网站2、确保服务器工作正常3、使页面尽量简洁,页面大小控制在100K内,确保打开速度快4、检查内部链接结构,去除死链接和重复链接5、尽量多从正规和相关站点获得反向链接6、用Google站长工具检查爬行速度7、为站点制作网站地图并提交Google管理后台,包括html格式和xml格式8、确保服务器返回正确的数据包响应9、为每个页面制作独立的标题和meta标签(关键字、描述)10、监测Google的爬行记录