Selify请求返回错误400-错误的请求错误、Selify

2023-09-03 08:25:58 作者:封刀战魔

我正在尝试从http://43.248.49.97/indexEn获取拉取数据

通常在浏览器上会有对上面的url的第一个请求返回错误412,第二个请求是对JS文件的请求,第三个请求也是对上面的url的请求,并返回OK(200)。

http400错误请求

使用Selify时,第三个请求返回错误400-错误请求。

我使用的是Python。你知道为什么会发生这种情况吗?]

谢谢

推荐答案

我遇到了与您相同的问题,但我找到了一个完美解决我的问题的解决方案。

您的程序失败可能是因为您被检测为使用Selify的机器人。 因此,以下是解决该问题或隐藏您的身份的方法(window.Navigator.webdrive),使用JavaScript:

使用CDP(Chrome DevTools-协议),您可以在JS文件(检测器)加载帧之前运行代码。因此,请使用以下代码来删除Web驱动程序True&Quot;属性:

Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })

按键代码:

from selenium.webdriver import Chrome
driver = Chrome('D://chromedriver.exe')
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})
driver.get('http://pythonlearner.com')

然而,如果您现在将Chrome升级到88。上面提到的方法是毫无用处的。幸运的是,我们仍然有一个解决方案(添加此代码)

chrome_options.add_argument("--disable-blink-features=AutomationControlled")

这些代码应该可以帮助您传递JS文件,以便您可以获取数据。至少我成功地运行了我的程序。