pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded.

最新推荐文章于 2024-07-01 11:05:58 发布

原创最新推荐文章于 2024-07-01 11:05:58 发布 · 2.6k 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文介绍了在使用Pyppeteer爬虫时遇到的NavigationTimeoutExceeded错误，分析了该问题的原因是执行速度过快导致页面未完全加载。为解决这个问题，提出了通过引入随机延迟函数sleep_time()来确保页面充分加载的方法，从而避免TimeoutError。这种方法对于优化爬虫性能和提高爬取成功率具有实际意义。

Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

使用pyppeteer爬虫时，使用函数

page = await browser.newPage()
await page.goto(url)

时，发现页面已经跳转到了链接所在位置，但是还是报错：
pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded.

原因在于，执行速度太快，没有反应过来，再跳转之前增加延时可以解决

from asyncio import sleep
import random

def sleep_time():
    return 1+random.random() * 2
    
page2 = await browser.newPage()
await sleep(sleep_time())
await page2.goto(detaillink)