经常玩爬虫的童鞋都知道cookie的重要性,目前为止大部分网站都仍然使用cookie标识登录状态,只有少部分网站升级到使用jwt记录登录状态。
提取cookie作用不言而喻,那么提取cookie有哪些高端的操作呢?请观看:
这应该是任何玩过爬虫的童鞋都会的方案,也可能是对于完全不会爬虫的童鞋使用起来最困难的方案。
方法就是先F12打开开发者工具,然后访问要提取cookie的网站,然后在网络中选中刚才访问的请求。具体步骤如下:
然后在请求头中找到cookie这一项,复制对应的值即可:
这应该是任何学过爬虫的童鞋都会的操作,那么我们有没有办法利用代码增加一点自动化的效果呢?
我的方案是在复制curl请求后,利用代码直接提取,操作如下:
将请求以curl命令形式复制到剪切板之后,我们就可以通过代码直接提取cookie,代码如下:
import re
import pyperclip
def extractCookieByCurlCmd(curl_cmd):
cookie_obj = re.search("-H \$?'cookie: ([^']+)'", curl_cmd, re.I)
if cookie_obj:
return cookie_obj.group(1)
cookie = extractCookieByCurlCmd(pyperclip.paste())
print(cookie)
经对比发现打印出来的cookie与直接复制的完全一致。
以保存B站登录cookie为例:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException
import time
import json
browser = webdriver.Chrome()
browser.get("https://passport.bilibili.com/login")
flag = True
print("等待登录...")
while flag:
try:
browser.find_element(By.XPATH,
"//div[@class='user-con signin']|//ul[@class='right-entry']"
"//a[@class='header-entry-avatar']")
flag = False
except NoSuchElementException as e:
time.sleep(3)
print("已登录,现在为您保存cookie...")
with open('cookie.txt', 'w', encoding='u8') as f:
json.dump(browser.get_cookies(), f)
browser.close()
print("cookie保存完成,游览器已自动退出...")
执行以上代码,selenium会控制谷歌游览器打开B站的登录页,等待用户手动登录B站,登录后会自动保存cookie。
那么后续selenium程序启动时如何直接使用该cookie而不需再次登录呢?演示如下:
import json
from selenium import webdriver
browser = webdriver.Chrome()
with open('cookie.txt', 'r', encoding='u8') as f:
cookies = json.load(f)
browser.get("https://www.bilibili.com/")
for cookie in cookies:
browser.add_cookie(cookie)
browser.get("https://www.bilibili.com/")
流程就是先访问要加载cookie的网站,再迅速向其添加cookie,再重新访问一遍该网站加载的cookie即可生效。
比如抖音这种网站想下载其中的视频,就必须要带有一个初始的cookie,但这个cookie生成的算法比较复杂,纯requests很难模拟,这时我们完全可以借助selenium来加载网页并获取cookie节省分析js的时间。由于我们并不需要进行人工的操作,所以使用无头模式更佳。
下面就演示无头模式获取抖音网站的cookie:
from selenium import webdriver
import time
def selenium_get_cookies(url='https://www.douyin.com'):
"""无头模式提取目标链接对应的cookie,代码作者:小小明-代码实体"""
start_time = time.time()
option = webdriver.ChromeOptions()
option.add_argument("--headless")
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
option.add_argument(
'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
option.add_argument("--disable-blink-features=AutomationControlled")
print("打开无头游览器...")
browser = webdriver.Chrome(options=option)
print(f"访问{
url} ...")
browser.get(url)
cookie_list = browser.get_cookies()
# 关闭浏览器
browser.close()
cost_time = time.time() - start_time
print(f"无头游览器获取cookie耗时:{
cost_time:0.2f} 秒")
return {
row["name"]: row["value"] for row in cookie_list}
print(selenium_get_cookies("https://www.douyin.com"))
打印结果如下:
打开无头游览器...
访问https://www.douyin.com ...
无头游览器获取cookie耗时:3.28 秒
{'': 'douyin.com', 'ttwid': '1%7CZn_LJdPjHKdCy4jtBoYWL_yT3NMn7OZVTBStEzoLoQg%7C1642932056%7C80dbf668fd283c71f9aee1a277cb35f597a8453a3159805c92dfee338e70b640', 'AB_LOGIN_GUIDE_TIMESTAMP': '1642932057106', 'MONITOR_WEB_ID': '651d9eca-f155-494b-a945-b8758ae948fb', 'ttcid': 'ea2b5aed3bb349219f7120c53dc844a033', 'home_can_add_dy_2_desktop': '0', '_tea_utm_cache_6383': 'undefined', '__ac_signature': '_02B4Z6wo00f01kI39JwAAIDBnlvrNDKInu5CB.AAAPFv24', 'MONITOR_DEVICE_ID': '25d4799c-1d29-40e9-ab2b-3cc056b09a02', '__ac_nonce': '061ed27580066860ebc87'}
我们知道当我们通过selenium直接去控制谷歌游览器时,并没有加载原本谷歌游览器的cookie。有没有办法可以直接获取谷歌游览器已经登录过的cookie呢?
其实很简单,只要我们使用debug远程调试模式运行本地的谷歌游览器,再用selenium控制即可提取之前登录的cookie:
import os
import winreg
from selenium import webdriver
import time
def get_local_ChromeCookies(url, chrome_path=None):
"""提取本地谷歌游览器目标链接对应的cookie,代码作者:小小明-代码实体"""
if chrome_path is None:
key = winreg.OpenKey(winreg.HKEY_CLASSES_ROOT, r"ChromeHTML\Application")
path = winreg.QueryValueEx(key, "ApplicationIcon")[0]
chrome_path = path[:path.rfind(",")]
start_time = time.time()
command = f'"{
chrome_path}" --remote-debugging-port=9222'
# print(command)
os.popen(command)
option = webdriver.ChromeOptions()
option.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
browser = webdriver.Chrome(options=option)
print(f"访问{
url}...")
browser.get(url)
cookie_list = browser.get_cookies()
# 关闭浏览器
browser.close()
cost_time = time.time() - start_time
print(f"获取谷歌游览器cookie耗时:{
cost_time:0.2f} 秒")
return {
row["name"]: row["value"] for row in cookie_list}
print(get_local_ChromeCookies("https://www.douyin.com"))
上述代码有能力直接获取之前在谷歌游览器访问过的任何网站的cookie,下面是抖音的结果:
DevTools listening on ws://127.0.0.1:9222/devtools/browser/9a9c19da-21fc-42ba-946d-ff60a91aa9d2
访问https://www.douyin.com...
获取谷歌游览器cookie耗时:4.62 秒
{'THEME_STAY_TIME': '10718', 'home_can_add_dy_2_desktop': '0', '_tea_utm_cache_1300': 'undefined', 'passport_csrf_token': 'c6bda362fba48845a2fe6e79f4d35bc8', 'passport_csrf_token_default': 'c6bda362fba48845a2fe6e79f4d35bc8', 'MONITOR_WEB_ID': 'd6e51b15-5276-41f3-97f5-e14d51242496', 'MONITOR_DEVICE_ID': 'd465b931-3a0e-45ba-ac19-263dd31a76ee', '': 'douyin.com', 'ttwid': '1%7CsXCoN0TQtHpKYiRoZnAKyqNJhOfkdJjNEJIdPPAibJw%7C1642915541%7C8a3308d87c6d2a38632bbfe4dfc0baae75162cedf6d63ace9a9e2ae4a13182d2', '__ac_signature': '_02B4Z6wo00f01I50-sQAAIDADnYAhr3RZZCOUP5AAEJ0f7', 'msToken': 'mUYtlAj8qr_9fuTIekLmAThy9N_ltbh0NJo05ns14o3X5As496_O5n7XT4-I81npZuGrIxt0V3JadDZlznmwgzwxqT6GZdIOBozEPC-WAZawQR-teML5984=', '__ac_nonce': '061ed25850009be132678', '_tea_utm_cache_6383': 'undefined', 'AB_LOGIN_GUIDE_TIMESTAMP': '1642915542503', 'ttcid': '3087b27658f74de9a4dae240e7b3930726'}
上述代码通过读取注册表的项目获取谷歌游览器的路径:
个人无法确认其他电脑上也能通过该注册表获取谷歌游览器的位置,所以提供了主动传入路径的参数。
谷歌游览器的启动参数加上 --remote-debugging-port=9222即可开启远程debug模式,而selenium则可以通过debuggerAddress
参数连接一个现有开启远程debug模式的谷歌游览器。
于是我们可以顺利获取任何之前在谷歌游览器登录过的网站cookie。
不过注意,如果我们日常运行谷歌游览器的快捷方式带有
--user-data-dir
参数,上述代码也应该增加该参数,但是主机上的谷歌游览器并没有:
最后我再介绍一个终极绝招,那就是直接解密cookies文件。在97之前版本的谷歌游览器,保存cookie的文件存储在%LOCALAPPDATA%\Google\Chrome\User Data\Default\Cookies
,而在97版本后则移动到了%LOCALAPPDATA%\Google\Chrome\User Data\Default\Network\Cookies
。
但在未来97以上的版本,存储位置和加密方式是否会继续发生变化还未知。截止目前密钥数据始终都存储在%LOCALAPPDATA%\Google\Chrome\User Data\Local State
文件中。(80版本之前,直接使用win32crypt.CryptUnprotectData(encrypted_value_bytes,None,None,None,0)[1]解密,无需密钥)
实际上Cookies文件是一个SQLlite数据库,可以直接使用Navicat Premium 15查看:
但值被加密了,80版本之后的加密算法详见:https://github.com/chromium/chromium/blob/master/components/os_crypt/os_crypt_win.cc
涉及解密key存储的文件Local State是一个JSON文件:
完整提取代码如下:
"""
小小明的代码
CSDN主页:https://blog.csdn.net/as604049322
"""
__author__ = '小小明'
__time__ = '2022/1/23'
import base64
import json
import os
import sqlite3
import win32crypt
from cryptography.hazmat.primitives.ciphers.aead import AESGCM
def load_local_key(localStateFilePath):
"读取chrome保存在json文件中的key再进行base64解码和DPAPI解密得到真实的AESGCM key"
with open(localStateFilePath, encoding='u8') as f:
encrypted_key = json.load(f)['os_crypt']['encrypted_key']
encrypted_key_with_header = base64.b64decode(encrypted_key)
encrypted_key = encrypted_key_with_header[5:]
key = win32crypt.CryptUnprotectData(encrypted_key, None, None, None, 0)[1]
return key
def decrypt_value(key, data):
"AESGCM解密"
nonce, cipherbytes = data[3:15], data[15:]
aesgcm = AESGCM(key)
plaintext = aesgcm.decrypt(nonce, cipherbytes, None).decode('u8')
return plaintext
def fetch_host_cookie(host):
"获取指定域名下的所有cookie"
userDataDir = os.environ['LOCALAPPDATA'] + r'\Google\Chrome\User Data'
localStateFilePath = userDataDir + r'\Local State'
cookiepath = userDataDir + r'\Default\Cookies'
# 97版本已经将Cookies移动到Network目录下
if not os.path.exists(cookiepath) or os.stat(cookiepath).st_size == 0:
cookiepath = userDataDir + r'\Default\Network\Cookies'
# print(cookiepath)
sql = f"select name,encrypted_value from cookies where host_key like '%.{
host}'"
cookies = {
}
key = load_local_key(localStateFilePath)
with sqlite3.connect(cookiepath) as conn:
cu = conn.cursor()
for name, encrypted_value in cu.execute(sql).fetchall():
cookies[name] = decrypt_value(key, encrypted_value)
return cookies
if __name__ == '__main__':
print(fetch_host_cookie("douyin.com"))
结果:
{'ttcid': '3087b27658f74de9a4dae240e7b3930726', 'MONITOR_DEVICE_ID': 'd465b931-3a0e-45ba-ac19-263dd31a76ee', 'MONITOR_WEB_ID': '70892127-f756-4455-bb5e-f8b1bf6b71d0', '_tea_utm_cache_6383': 'undefined', 'AB_LOGIN_GUIDE_TIMESTAMP': '1642915542503', 'passport_csrf_token_default': 'c6bda362fba48845a2fe6e79f4d35bc8', 'passport_csrf_token': 'c6bda362fba48845a2fe6e79f4d35bc8', '_tea_utm_cache_1300': 'undefined', 'msToken': 'e2XPeN9Oe2rvoAwQrIKLvpGYQTF8ymR4MFv6N8dXHhu4To2NlR0uzx-XPqxCWWLlO5Mqr2-3hwSIGO_o__heO0Rv6nxYXaOt6yx2eaBS7vmttb4wQSQcYBo=', 'THEME_STAY_TIME': '13218', '__ac_nonce': '061ed2dee006ff56640fa', '__ac_signature': '_02B4Z6wo00f01rasq3AAAIDCNq5RMzqU2Ya2iK.AAMxSb2', 'home_can_add_dy_2_desktop': '1', 'ttwid': '1%7CsXCoN0TQtHpKYiRoZnAKyqNJhOfkdJjNEJIdPPAibJw%7C1642915541%7C8a3308d87c6d2a38632bbfe4dfc0baae75162cedf6d63ace9a9e2ae4a13182d2'}
可以看到已经完美的从本地文件中提取出了cookie。
文章浏览阅读232次。 After finishing a project on a boost converter, I actually think that there is something I can do better. Let me introduce you to my progress, at the moment to hardware extent by a function gen...
文章浏览阅读3k次。在/system下的build.prop文件里,我们常看见以下语句。ro.ril.hsdpa.category = 10ro.ril.hsupa.category = 6ro.ril.hsxpa = 2ro.ril.enable.amr.wideband=1wifi.supplicant_scan_interval=45dalvik.vm.heapsize=24m _op system/system/build.prop cp: error writing 'system/system/build.prop': no
文章浏览阅读600次。在我们用C/C++开 发的过程中,总是有一个问题会给我们带来苦恼。这个问题就是函数内和函数外代码需要通过一块内存来交互(比如,函数返回字符串),这个问题困扰和很多开发 人员。如果你的内存是在函数内栈上分配的,那么这个内存会随着函数的返回而被弹栈释放,所以,你一定要返回一块函数外部还有效的内存。这 是一个让无数人困扰的问题。如果你一不小心,你就很有可能在这个上面犯错误。当然目前有很多解决_inet_ntoa 释放
文章浏览阅读580次。#include typedef enum _SYSTEM_INFORMATION_CLASS { SystemBasicInformation, SystemProcessorInformation, SystemPerformanceInformation, SystemTimeOfDayInformation, Syst_zwduplicateobject系统进程
文章浏览阅读118次。JVM的垃圾收集器经历了多代的发展,从单线程收集器到多线程收集器。一、背景垃圾回收器经历过多代的发展,从单线程到多线程,垃圾收集器的大家族产品如下,每一个连线表示可以组合使用。接下来大概分为几个阶段详细介绍下各个垃圾回收器的特点:阶段收集器名称区域并行/串行/并发算法优缺点适用场景第一阶段Serial新生代串行复制响应速度快单CPU环境下的Client模式Serial Old老年代串行标志-整理响应速度快单CPU环境下的Client._从整体来看是基于“标记--整理”算法实现的收集器;从局部上来看是基于“复制”
文章浏览阅读1.7w次,点赞19次,收藏92次。一、课时目标1.理解shell的概念2.理解交互式shell和非交互式shell的区别3.掌握反弹shell的原理和方法_反弹shell
文章浏览阅读4.7w次,点赞17次,收藏73次。常用的分析管理工具方法常用的分析管理工具方法二八原则SWOT分析法鱼骨图分析法5M因素分析法5M1E分析法头脑风暴法名义群体法德尔菲法电子会议分析法几种决策方法比较PDCA循环5W1H分析法5W2H分析法5W2H1E法SMART原则任务分解法OGSM计划法_阿波罗根本原因分析
文章浏览阅读502次。操作系统和微机接口技术的课程设计星期三班委才说,下周三就要叫答辩!!!!这几周还要连着期末考试.一点时间都没有!!操作系统的做了,微机接口技术的实在没有.2、掌握运用Matlab软件分析连续时间信号与系统的时域、频域特性;3、通过。二、实验内容1、构建一个包含若干个不同频率分量的周期连续信号(各分量频率自定)f(t),截取该信号的不同长度(注意截取长度应不小于最低频率分量的一个周期).n=0:15..._构建一个包含若干个不同频率分量的周期连续信号(各分量频率自定)f(t),截取该信号
文章浏览阅读6.5k次。Fastjson漏洞修复参考1. 漏洞背景 Fastjson是阿里巴巴的开源JSON解析库,它可以解析JSON格式的字符串,支持将Java Bean序列化为JSON字符串,也可以从JSON字符串反序列化到JavaBean。Fastjson多处补丁修补出现纰漏,Fastjson在1.2.68版本以下,无需Autotype开启,或者可绕过autoType限制,攻击者即可通过精心构造的请求包在使用Fastjson的服务器上进行远程代码执行。受影响的版本:fastjson <=1.2.68fas_fastjson漏洞修复
文章浏览阅读394次,点赞2次,收藏3次。C++ 向量 vector 是一种对象实体, 能够容纳许多其他类型相同的元素, 因此又被称为容器。 与string相同, vector 同属于STL(Standard Template Library, 标准模板库)中的一种自定义的数据类型, 可以广义上认为是数组的增强版。_vector::iterator it = m_vec.begin()
文章浏览阅读195次。Java学习路线&笔记链接????JAVASE数据库mysql(或oracle)JDBCWEB前端HTMLCSSJavaScriptJavaWeb(web后端)ServletJSPweb进阶AJAXjQueryJavaWeb项目实战SSM三大框架(额外可选学SSH)MyBatisSpringSpringMVC互联网分布式JAVASEJava语言的基础,是Java的最基本的库。基础语法加常用类库。数据库mysql(或oracle)数据库是所有程序员都需要学习的,因为不管是C语言,还是C++,_java 学习连
文章浏览阅读358次。 ESD05V56T-2L的参数: 封装:SOT-563 电压:5V 钳位电压:9.8V 容值:3pF 功率:100W ESD05V56T-2L的特性: 1、依据(tp=8/20μs)线路,峰值脉冲功率为100W 2、保护两个I/O线及电源线 3、适合高速接口的低电容 4、工作电压:5V 5、超小型封装要求小于2.9mm2的PCB面积 6、IEEE1394高速火线端口 6、IEC61000-4-2(ESD)±15_esd二极管容值