如何使用網頁爬蟲資料儲存教學? 探索Python的無限可能!

Posted by林知涵onThursday, January 2, 2025
如何使用網頁爬蟲資料儲存教學? 探索Python的無限可能!

網路世界就像個無窮的資料庫，裡面有各式各樣的信息等著我們去挖掘。然而，如何有效地從這個龐大的資料庫中提取有用的資訊呢？這就是網頁爬蟲的用武之地。本文將深入探討如何使用Python來創建一個網頁爬蟲程式，並將其結果存入MySQL資料庫中。我們將以Yahoo奇摩股市為例，帶你一步步了解這些技術的奇妙之處。準備好你的好奇心和滑鼠，讓我們開始這段技術旅程吧!

什麼是網頁爬蟲? 一探究竟!

網頁爬蟲，顧名思義，就是在網頁上像小蟲一樣到處爬行，並收集資料的程式。在這個過程中，我們需要了解網頁的架構，因為網頁是由HTML檔案組成的。可以把HTML檔案看作是網頁的語法或標記語言。這些標記語言告訴瀏覽器如何顯示網頁內容。

網頁爬蟲如何運作?

網頁爬蟲通常是通過HTTP請求來獲取網頁的HTML代碼。然後，爬蟲會解析這些HTML代碼以提取所需的信息。解析HTML的過程中，我們常常會使用Python的兩個熱門庫：requests和BeautifulSoup4。這些工具就像是爬蟲的雙腳，讓它能夠快速且準確地提取信息。

開始你的爬蟲之旅: 工具與技術

要開始使用網頁爬蟲，我們需要準備一些工具和技術。首先，你需要安裝Python，這是我們編寫爬蟲程式的基礎。接下來，我們需要一些Python庫來幫助我們完成這項任務。

需要安裝的Python庫

  1. requests: 這個庫用來發送HTTP請求，獲取網頁的HTML代碼。
  2. BeautifulSoup4: 用來解析HTML代碼並提取我們需要的信息。
  3. Selenium: 當我們需要模擬瀏覽器操作（例如點擊按鈕）時，這個庫就派上用場了。
  4. MySQL Connector: 用來將提取到的數據存入MySQL資料庫中。

安裝指令

以下是安裝這些工具的基本指令：

pip install requests
pip install beautifulsoup4
pip install selenium
pip install mysql-connector-python

深入解析Yahoo奇摩股市: 實作案例

在這個案例中，我們將以Yahoo奇摩股市為例，展示如何利用Python網頁爬蟲取得股票資料。然後，我們會將這些資料存入MySQL資料庫中，以便後續分析。

Yahoo奇摩股市的網頁結構

Yahoo奇摩股市的網頁結構相對簡單，但它包含了大量的有用信息，例如股票價格、交易量等。為了提取這些信息，我們需要先分析網頁的HTML結構，找出我們需要的數據所在的位置。

使用requests和BeautifulSoup4進行資料提取

首先，我們使用requests庫來發送HTTP請求，獲取網頁的HTML代碼。接著，我們使用BeautifulSoup4庫來解析這些HTML代碼，並提取我們需要的股票資料。

import requests
from bs4 import BeautifulSoup

url = "https://tw.stock.yahoo.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 假設我們要提取股票名稱和價格
stock_names = soup.find_all('a', class_='stock-name')
stock_prices = soup.find_all('span', class_='price')

for name, price in zip(stock_names, stock_prices):
    print(f"股票名稱: {name.text}, 價格: {price.text}")

使用Selenium進行進一步操作

如果資料需要透過網頁操作（如點擊按鈕）才能顯示，這時就需要用到Selenium。Selenium能夠模擬使用者的瀏覽器操作，進一步取得動態生成的內容。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get(url)

# 找到並點擊顯示更多的按鈕
button = driver.find_element_by_class_name('show-more-button')
button.click()

# 取得更新後的HTML
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

# 如前提取資料

資料儲存: 將爬取的資料存入MySQL

網頁爬蟲取得的資料往往需要進一步分析和處理，因此，我們會將這些資料存入MySQL資料庫中。

連接MySQL資料庫

首先，我們需要通過MySQL Connector來連接MySQL資料庫。

import mysql.connector

db = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="stockdata"
)

cursor = db.cursor()

創建表格並插入資料

接著，我們創建一個資料表來存放股票資料，並將提取到的資料插入其中。

cursor.execute("CREATE TABLE IF NOT EXISTS stocks (name VARCHAR(255), price FLOAT)")

sql = "INSERT INTO stocks (name, price) VALUES (%s, %s)"
val = (name.text, float(price.text))
cursor.execute(sql, val)

db.commit()

| 股票名稱 | 價格 (TWD) |
| -------- | ---------- |
| 台積電   | 600.5      |
| 鴻海     | 120.3      |

常見問題解答

網頁爬蟲是否合法?

一般來說，只要遵循網站的robots.txt文件規定，並且不對網站造成過大負擔，網頁爬蟲是合法的。然而，仍需注意相關法律法規和網站的服務條款。

如何處理反爬蟲措施?

許多網站會設置反爬蟲措施，如IP封鎖或需要登入驗證。對此，可以考慮使用代理伺服器、設置請求延遲等方法來解決。

有哪些免費的資料來源可以使用?

有許多免費的公開資料來源可供使用，如政府公開資料平台、Yahoo奇摩股市、Google新聞等。

使用網頁爬蟲需要哪些程式設計技能?

基本的Python程式設計技能是必要的，此外，對HTML和CSS的基本了解也會有幫助。熟悉HTTP協議和網頁架構則能讓你更有效率地設計爬蟲。

如何優化爬蟲的效能?

可以通過並行請求、減少重複請求、使用高效的資料結構來提升爬蟲的效能。此外，對於大型資料集，可以考慮使用分散式爬蟲系統。

是否有可視化工具可以使用?

是的，市面上有不少可視化工具如Octoparse，可以幫助你在不寫代碼的情況下進行資料爬取。

結論

通過本文的介紹，我們學習了如何使用Python來創建一個網頁爬蟲程式，並將資料存入MySQL資料庫中。這不僅讓我們能夠有效地提取網頁資料，還能進一步分析這些資料以獲得洞見。無論你是對金融市場感興趣，還是想獲取其他網站的資料，網頁爬蟲都將是你的好幫手。現在，讓我們一起探索網路世界的無限可能吧!

CATALOG
    FEATURED TAGS