Go语言做爬虫状态码返回418的问题解决
短信预约 -IT技能 免费直播动态提醒
目录
背景
原因分析
代码部分
背景在使用Go语言做爬虫时，使用
http.Get(url)
http.Get(url)http.NewRequest
func main7() {
client := &http.Client{}
url := "https://movie.douban.com/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//设置header属性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
var result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("读取网页完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印读取的网页
fmt.Println(result)
}
}
到此这篇关于Go语言做爬虫状态码返回418的问题解决的文章就介绍到这了,更多相关Go语言爬虫返回418内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
