j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

推薦（免費(fèi)）：python視頻教程j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

文章目錄j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

系列文章目錄前言一、網(wǎng)頁解析二、代碼填寫1.獲取Html及寫入方法2.其余代碼總結(jié)

前言j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

利用python寫一個簡單的筆趣閣爬蟲，根據(jù)輸入的小說網(wǎng)址爬取整個小說并保存到txt文件。爬蟲用到了BeautifulSoup庫的select方法
結(jié)果如圖所示：

本文只用于學(xué)習(xí)爬蟲j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

一、網(wǎng)頁解析j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

這里以斗羅大陸小說為例 網(wǎng)址：
http://www.biquge001.com/Book/2/2486/

可以發(fā)現(xiàn)每章的網(wǎng)頁地址和章節(jié)名都放在了 <"p id=list dl dd a>中的a標(biāo)簽中，所以利用BeautfulSoup中的select方法可以得到網(wǎng)址和章節(jié)名j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

Tag = BeautifulSoup(getHtmlText(url), "html.parser") #這里的getHtmlText是自己寫的獲取html的方法urls = Tag.select("p #list dl dd a")

然后遍歷列表j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

for url in urls: href = "http://www.biquge001.com/" + url['href'] # 字符串的拼接 拼接成正確的網(wǎng)址 pageName = url.text # 每章的章名

然后每章小說的內(nèi)容都存放在<p id=“content” 里 同理得
j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

substance = Tag.select("p #content") # 文章的內(nèi)容

**后同理在首頁獲取小說的名稱
<"p id = info h1>j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

bookName = Tag.select("p #info h1")

j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

二、代碼填寫j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

1.獲取Html及寫入方法j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

def getHtmlText(url): r = requests.get(url, headers=headers) r.encoding = r.apparent_encoding # 編碼轉(zhuǎn)換 r.raise_for_status() return r.textdef writeIntoTxt(filename, content): with open(filename, "w", encoding="utf-8") as f: f.write(content) f.close() print(filename + "已完成")

2.其余代碼j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

代碼如下（示例）：j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

url = "http://www.biquge001.com/Book/2/2486/"substanceStr = ""bookName1 = ""html = getHtmlText(url)# 判斷是否存在這個文件Tag = BeautifulSoup(getHtmlText(url), "html.parser")urls = Tag.select("p #list dl dd a")bookName = Tag.select("p #info h1")for i in bookName: bookName1 = i.textif not os.path.exists(bookName1): os.mkdir(bookName1) print(bookName1 + "創(chuàng)建完成")else: print("文件已創(chuàng)建")for url in urls: href = "http://www.biquge001.com/" + url['href'] # 字符串的拼接 拼接成正確的網(wǎng)址 pageName = url.text # 每章的章名 path = bookName1 + "\" # 路徑 fileName = path + url.text + ".txt" # 文件名 = 路徑 + 章節(jié)名 + ".txt" Tag = BeautifulSoup(getHtmlText(href), "html.parser") # 解析每張的網(wǎng)頁 substance = Tag.select("p #content") # 文章的內(nèi)容 for i in substance: substanceStr = i.text writeIntoTxt(fileName, substanceStr) time.sleep(1)

j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

總結(jié)j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

簡單利用了BeautfulSoup的select方法對筆趣閣的網(wǎng)頁進(jìn)行了爬取 j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺

更多相關(guān)學(xué)習(xí)敬請關(guān)注python教程欄目！

以上就是介紹python60行代碼寫一個簡單的筆趣閣爬蟲的詳細(xì)內(nèi)容，更多請關(guān)注少兒編程網(wǎng)其它相關(guān)文章！j27少兒編程網(wǎng)-Scratch_Python_教程_免費(fèi)兒童編程學(xué)習(xí)平臺