1. 日志的数据往往比GA之类统计工具的全,更适合对流量的细分分析;
2. 用日志数据写脚本去生成周报什么的,比GA后台慢慢查、或是用GA的API,相对方便快捷;
3. 可以依其数据屏蔽些页面。见到最极端例子是前公司,有个主题帖量大致十万级的论坛,其中大部分抓取,都是抓其中的“只看该作者帖子”的无意义链接。
从爬虫日志分析中能获取的一些SEO信息
1.抓取页面量和流量的分配(一般抓得多的页面权重高,是否着陆合适的关键词)
2.是否有垃圾页面抓取(手机页,带参数的页面,个人profile,各种非200响应码等等)