環(huán)境介紹：

python 3.8 解釋器pycharm 2021專業(yè)版 >>> 激活碼編輯器谷歌瀏覽器谷歌驅(qū)動selenium >>> 驅(qū)動 >>> 瀏覽器

模塊使用：

采集一個視頻

requests >>> pip install requestsre

采集多個視頻

selenium >>> pip install selenium==3.141.0 (3.141.0)指定模塊版本去安裝使用這個模塊安裝瀏覽器驅(qū)動time

如果安裝python第三方模塊:

win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車在pycharm中點擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)點擊齒輪, 選擇add添加python安裝路徑

pycharm如何安裝插件?

選擇file(文件) >>> setting(設置) >>> Plugins(插件)點擊 Marketplace 輸入想要安裝的插件名字比如:翻譯插件輸入 translation / 漢化插件輸入 Chinese選擇相應的插件點擊 install(安裝) 即可安裝成功之后是會彈出重啟pycharm的選項點擊確定, 重啟即可生效

案例基本流程思路:

解答、源碼、教程、資料點擊「鏈接」免費領取

一. 分析數(shù)據(jù)來源

確定自己需求 , 我們采集的內(nèi)容是什么? 采集那個網(wǎng)站… 先采集一個視頻, 然后再去采集多個視頻通過開發(fā)者工具進行抓包分析..

I. 開發(fā)者工具網(wǎng)頁瀏覽器自帶, F12 或者鼠標右鍵點擊檢查選擇network

II. 刷新網(wǎng)頁….讓網(wǎng)頁數(shù)據(jù)內(nèi)容重新完整加載一遍 <找視頻數(shù)據(jù)內(nèi)容>

III. 通過network下面的media里面找到視頻url地址

IV. 不夠.. >>> 分析這個視頻url地址從哪里來的… 通過抓包分析, 得到url地址通過一次編碼

二. 代碼實現(xiàn)的步驟爬蟲基本四大步驟….

發(fā)送請求, 對于剛剛分析得到url地址發(fā)送請求 https://www.douyin.com/video/7086835442330504488獲取數(shù)據(jù), 獲取服務器返回響應數(shù)據(jù)解析數(shù)據(jù), 提取我們想要視頻url地址以及視頻標題保存數(shù)據(jù), 把視頻內(nèi)容保存在本地文件夾

代碼

導入模塊

import requests # 導入數(shù)據(jù)請求模塊第三方模塊 pip install requestsimport re # 導入正則表達式模塊內(nèi)置模塊from selenium import webdriverimport time # 時間模塊

selenium用selenium模塊用驅(qū)動<瀏覽器>操作瀏覽器
人怎么去操作瀏覽器, 怎么去寫代碼
打開瀏覽器webdriver.Chrome(executable_path="chromedriver") 括號里面是需要加驅(qū)動路徑如果你驅(qū)動放在和代碼一個文件夾里面, 可以不用寫路徑或者你的驅(qū)動放在python安裝目錄里面也可以不用寫路徑其他位置, 都需要在指定路徑位置輸入網(wǎng)址查看網(wǎng)頁內(nèi)容
requests請求數(shù)據(jù),獲取服務器返回數(shù)據(jù)內(nèi)容 selenium你可以直接根據(jù)元素面板去定位數(shù)據(jù)內(nèi)容

爬蟲模擬瀏覽器對于url地址發(fā)送請求, 最后獲取服務返回響應數(shù)據(jù)
發(fā)送請求:
確定url模擬偽裝請求頭headers 是可以直接在開發(fā)者工具里面復制粘貼 request headers 直接復制字典數(shù)據(jù)類型, 構(gòu)建完整鍵值對形式user-agent 用戶代理表示瀏覽器基本身份標識請求方式狀態(tài)碼 200 表示請求成功… 但是不一定得到你想要的數(shù)據(jù)…
沒有得到你想要數(shù)據(jù)內(nèi)容, 是什么原因?qū)е碌? <被反爬了> 為什么被反爬了因為你被識別出來你是爬蟲程序比如說: 超市面試試吃老是你來吃東西<一直你是Ip請求快速>, 不給你吃了 <IP被封>

driver = webdriver.Chrome() # 實例化一個瀏覽器對象driver.get('https://www.douyin.com/user/MS4wLjABAAAAUXBNFnWLvl9T8ylgAbD1auR_o5FL3dF7ic0KMYN9_88')driver.implicitly_wait(10)def drop_down(): for x in range(1, 30, 4): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)解答、資料、教程可加Q裙：261823976免費領list_1 = [1, 2, 3, 4, 5, 6, 7]list_1[1:]drop_down()lis = driver.find_elements_by_css_selector( 'div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt') # 通過 css 選擇器查找元素獲取多個li標簽返回列表# url_list = [li.find_element_by_css_selector('a').get_attribute('href') for li in lis]for li in lis: try: time.sleep(1) url = li.find_element_by_css_selector('a').get_attribute('href') # url = 'https://www.douyin.com/video/7087141617865346304' # 網(wǎng)址 headers = { 'cookie': 'douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; s_v_web_id=verify_l268jj46_kc7yYkD6_YHWW_4x4v_9snI_EDE0zro77uRn; AVATAR_FULL_LOGIN_GUIDE_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_TIMESTAMP=1650982839652; AVATAR_FULL_LOGIN_GUIDE_ITA_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_ITA_TIMESTAMP=1650982839652; __ac_nonce=0627ba36600d465d72261; __ac_signature=_02B4Z6wo00f01zrB8EAAAIDCWcswKSh.eLM65fTAAKzW8srQpmSjmL6YX9IsdmMSL4a9EBuyJvIwNMROqFQktniG-Ur-UDPK6wHInC8QKqRYUmyGnflwUXLpKzPgVt2FtREyprGmCDAZLrIpcc; douyin.com; strategyABtestKey=1652269927.635; AB_LOGIN_GUIDE_TIMESTAMP=1652269927510; AVATAR_LOGIN_GUIDE_COUNT=1; _tea_utm_cache_2285=undefined; _tea_utm_cache_6383=undefined; _tea_utm_cache_1300=undefined; pwa_guide_count=3; IS_HIDE_THEME_CHANGE=1; THEME_STAY_TIME=299808; msToken=XGPVAVUHDi9iTEQRjdXuQ0YyetxhHq0c9EH1dLLpttanbCXsNSD0DRxwk9oUB0vZ7LB9vKd-ABi2kAkzj2lCn1x98lJ4iTFbf260RcLav-G4QkhNyq8qV9i3oEJRyc8t; home_can_add_dy_2_desktop=1; msToken=3ALqenaebbJHw7kQDiDG6aRAgVYm5WM1pVGqmyyidbGgYpWRWKn-wQ9tcjoxWrHvwcqoYAx3tQ4IGE1qixdq2ei_fPrirMeeI6HeooU3sGR2wyWQ2OAAh2RejVJOrmpA; tt_scid=Gp0q0JW0LDreTqplgpajIZNHCB0.p1NcVv0hhZBgaGDw4SFxkXGlXfKafiCVmWAWc537', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36' } response = requests.get(url=url, headers=headers) # print(url) # <Response [200]> 響應對象 200 狀態(tài)碼表示請求成功 response.text 獲取響應對象文本數(shù)據(jù) # print(response.text) """ 數(shù)據(jù)解析, 提取我們想要數(shù)據(jù)內(nèi)容 re正則表達式 <在付費課程 2.5個小時的內(nèi)容講解完> re.findall() 調(diào)用re模塊里面findall方法去查詢匹配數(shù)據(jù) 找到所有 >>> 從什么地方去找什么樣數(shù)據(jù) (.*?) 表示你想要數(shù)據(jù)內(nèi)容, 通配符, 可以匹配任意字符(除了換行符以外) """ title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0] title = re.sub(r'[/:*?"<>|n]', '', title) video_url = re.findall('src(.*?)%22%7D%2C%7B%22src', response.text)[0] # 編碼的內(nèi)容獲取 video_url_1 = requests.utils.unquote(video_url).replace('":"', 'https:') # 解碼 # 編碼 requests.utils.quote # 就業(yè)工作 1 接單賺錢 2 # print(title) # print(video_url) # print(video_url_1) video_content = requests.get(url=video_url_1, headers=headers).content # 發(fā)送請求獲取二進制數(shù)據(jù)內(nèi)容解答、資料、教程可加Q裙：261823976免費領 with open('img' + title + '.mp4', mode='wb') as f: f.write(video_content) # 寫入內(nèi)容 print('正在保存: ', title) except Exception as e: print(e)