白話機(jī)器學(xué)習(xí)-第二章-監(jiān)督學(xué)習(xí)

什么是監(jiān)督學(xué)習(xí)？

我們假設(shè)一下，你在教小朋友辨認(rèn)水果。你拿起一個(gè)蘋果說(shuō)：“這是蘋果?！?然后再拿起一個(gè)香蕉說(shuō)：“這是香蕉?！?你不斷重復(fù)這種過(guò)程，直到小朋友能準(zhǔn)確地辨認(rèn)蘋果和香蕉。這就是監(jiān)督學(xué)習(xí)的基本思路。

在機(jī)器學(xué)習(xí)的世界里，監(jiān)督學(xué)習(xí)就是讓機(jī)器從一堆已經(jīng)標(biāo)注好的數(shù)據(jù)中學(xué)習(xí)，然后它可以自己去判斷新的數(shù)據(jù)。這些標(biāo)注好的數(shù)據(jù)就像是你手中的蘋果和香蕉——已經(jīng)有了正確答案，機(jī)器只需要通過(guò)學(xué)習(xí)這些例子，來(lái)學(xué)會(huì)“看圖識(shí)水果”。

監(jiān)督學(xué)習(xí)的分類

監(jiān)督學(xué)習(xí)主要有兩種類型：

分類（Classification）

回歸（Regression）

分類：分類就像是一個(gè)“多選題”，機(jī)器需要從幾個(gè)選項(xiàng)中選出正確答案。比如判斷一封郵件是垃圾郵件還是正常郵件，這就是一個(gè)二分類問(wèn)題——只有兩種可能的結(jié)果。當(dāng)然，也有多分類問(wèn)題，比如辨認(rèn)不同種類的水果。

回歸：回歸則更像是一個(gè)“填空題”，機(jī)器需要預(yù)測(cè)一個(gè)連續(xù)的值。比如預(yù)測(cè)房?jī)r(jià)、股票價(jià)格等等。房子有多大？位置如何？這些特征都是填空題的提示，而最終答案就是房子的價(jià)格。

常見的監(jiān)督學(xué)習(xí)算法

接下來(lái)，我們來(lái)聊聊一些常見的監(jiān)督學(xué)習(xí)算法，就像是教小朋友辨認(rèn)水果時(shí)用的方法一樣，每種算法都有自己的“教學(xué)風(fēng)格”。

K-近鄰算法（K-Nearest Neighbors，KNN）：

KNN 就像是“跟著鄰居走”。想象一下，你走進(jìn)一個(gè)新社區(qū)，想知道某個(gè)房子是屬于哪個(gè)街區(qū)的。你可能會(huì)看看周圍的房子，發(fā)現(xiàn)它們大多數(shù)屬于某個(gè)特定街區(qū)。于是，你就猜測(cè)這個(gè)新房子也應(yīng)該屬于這個(gè)街區(qū)。KNN 就是這樣工作的：它根據(jù)新數(shù)據(jù)點(diǎn)周圍的“K”個(gè)最近鄰的數(shù)據(jù)點(diǎn)來(lái)做出分類或預(yù)測(cè)。

決策樹（Decision Tree）：

決策樹就像是一個(gè)“二十問(wèn)題”游戲。你不斷地問(wèn)“是”或“否”問(wèn)題，把問(wèn)題的范圍逐步縮小，直到最終得到答案。比如，判斷一個(gè)動(dòng)物是貓還是狗，你可能會(huì)先問(wèn)“它會(huì)汪汪叫嗎？”如果答案是“是”，那么它更可能是狗；如果“不是”，那可能是貓。決策樹就是通過(guò)這種層層篩選的方式來(lái)做出決策。

備注：

“二十問(wèn)題游戲”是一種有趣的猜謎游戲，玩法很簡(jiǎn)單：一方想出一個(gè)物品或概念，而另一方則可以通過(guò)問(wèn)最多20個(gè)是非問(wèn)題來(lái)猜出這個(gè)物品或概念的是什么。問(wèn)題的回答只能是“是”或“否”。

舉個(gè)例子，如果我想的是一只貓，你可能會(huì)問(wèn)：

這是一個(gè)動(dòng)物嗎？

它能飛嗎？

它有四條腿嗎？

它會(huì)汪汪叫嗎？

通過(guò)這些問(wèn)題，你逐步縮小了范圍，直到你有足夠的信息猜出答案是“貓”。這個(gè)游戲考驗(yàn)的是你提出問(wèn)題的策略和邏輯推理能力，隨著問(wèn)題的推進(jìn)，你越來(lái)越接近正確答案。

這個(gè)游戲的思路和決策樹算法有點(diǎn)相似——通過(guò)一系列“是”或“否”的問(wèn)題來(lái)逐步縮小可能的選項(xiàng)范圍，最終得到答案。

支持向量機(jī)（Support Vector Machine，SVM）：

SVM 就像是“劃分兩塊地”。想象你在一塊地上種植兩種不同的作物，想要用籬笆把它們分開。SVM 會(huì)找到那條最佳的籬笆，讓兩種作物盡可能遠(yuǎn)離對(duì)方。對(duì)于分類問(wèn)題，SVM 會(huì)找到一條最佳分界線，把不同類別的數(shù)據(jù)點(diǎn)分開。

線性回歸（Linear Regression）：

線性回歸就像是“畫一條直線”。假設(shè)你要預(yù)測(cè)一家商店的銷售額，你可能會(huì)根據(jù)過(guò)去的銷售數(shù)據(jù)畫一條直線，看看它的趨勢(shì)如何。這條直線就是線性回歸的結(jié)果，它能幫助你預(yù)測(cè)未來(lái)的銷售情況。

樸素貝葉斯（Naive Bayes）：

樸素貝葉斯就像是“先入為主的猜測(cè)”。假設(shè)你知道絕大多數(shù)蘋果都是紅色的，那么當(dāng)你看到一個(gè)紅色的水果時(shí)，你可能會(huì)猜它是蘋果。樸素貝葉斯算法就是基于這種“先入為主”的概率來(lái)進(jìn)行分類的。

監(jiān)督學(xué)習(xí)就像是教小朋友辨認(rèn)水果一樣，通過(guò)不斷學(xué)習(xí)標(biāo)注好的數(shù)據(jù)，讓機(jī)器學(xué)會(huì)去識(shí)別新的數(shù)據(jù)。不同的算法就像是不同的教學(xué)方法，各有各的優(yōu)點(diǎn)和適用場(chǎng)景。KNN、決策樹、SVM、線性回歸和樸素貝葉斯這些常見的算法，就像是我們教學(xué)工具箱里的五種工具，掌握它們，我們就能更好地理解和應(yīng)用監(jiān)督學(xué)習(xí)。

實(shí)踐環(huán)節(jié)：

在進(jìn)行實(shí)踐之前我們先了解一下Sklearn：

Sklearn，全名是Scikit-learn，是一個(gè)基于Python的機(jī)器學(xué)習(xí)庫(kù)。它是由各種不同的機(jī)器學(xué)習(xí)算法和工具組成的，讓數(shù)據(jù)科學(xué)家和工程師可以更輕松地構(gòu)建、訓(xùn)練和評(píng)估機(jī)器學(xué)習(xí)模型。

Sklearn有豐富的算法庫(kù)，Sklearn包含了從簡(jiǎn)單到復(fù)雜的各種機(jī)器學(xué)習(xí)算法，比如線性回歸、支持向量機(jī)、決策樹、隨機(jī)森林等等。不管你是要做分類、回歸、聚類還是降維，Sklearn都能幫你搞定。

Sklearn的API設(shè)計(jì)非常簡(jiǎn)潔，使用起來(lái)就像搭積木一樣。你只需要幾行代碼，就可以完成數(shù)據(jù)預(yù)處理、模型訓(xùn)練和預(yù)測(cè)。

Sklearn的文檔非常詳細(xì)，而且有大量的教程、示例和社區(qū)討論，讓你在學(xué)習(xí)和使用過(guò)程中遇到問(wèn)題時(shí)能快速找到答案。Sklearn可以很方便地與其他Python庫(kù)集成，比如NumPy、Pandas和Matplotlib，這使得數(shù)據(jù)處理、分析和可視化變得更加方便。

下面我們使用Sklearn對(duì)監(jiān)督學(xué)習(xí)常用的算法進(jìn)行演示：

a. K-近鄰算法（K-Nearest Neighbors, KNN）示列：

假設(shè)我們有一些水果的特征數(shù)據(jù)（如重量和顏色深度），我們想通過(guò)這些特征來(lái)預(yù)測(cè)一種新水果是蘋果還是香蕉，代碼如下：

import numpy as npfrom sklearn.neighbors import KNeighborsClassifierimport matplotlib.pyplot as plt
# 1. 創(chuàng)建訓(xùn)練數(shù)據(jù)#?數(shù)據(jù)格式：[重量, 顏色深度]X = np.array([[150, 1], [160, 1], [170, 0], [180, 0], [120, 1], [130, 1], [140, 0], [150, 0]])# 0代表蘋果，1代表香蕉y = np.array([0, 0, 1, 1, 0, 0, 1, 1])
# 2. 創(chuàng)建KNN分類器# 參數(shù) n_neighbors=3 表示我們將使用最近的3個(gè)鄰居來(lái)進(jìn)行投票決定分類。knn = KNeighborsClassifier(n_neighbors=3)
# 3. 用訓(xùn)練數(shù)據(jù)擬合模型knn.fit(X, y)
# 4. 創(chuàng)建新水果的特征數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)new_fruit = np.array([[160, 0]])
# 5. 預(yù)測(cè)新水果的類別predicted_class = knn.predict(new_fruit)
# 6. 輸出預(yù)測(cè)結(jié)果if predicted_class == 0:    print("預(yù)測(cè)結(jié)果：這個(gè)水果是蘋果。")else:    print("預(yù)測(cè)結(jié)果：這個(gè)水果是香蕉。")
# 7. 可視化數(shù)據(jù)plt.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm', label='Training Data')plt.scatter(new_fruit[:, 0], new_fruit[:, 1], color='green', marker='*', s=200, label='New Fruit')plt.xlabel('Weight')plt.ylabel('Color Depth')plt.title('K-Nearest Neighbors (KNN)')plt.legend()plt.show()

# 輸出預(yù)測(cè)結(jié)果：這個(gè)水果是香蕉。

b.?決策樹（Decision Tree）示例：

我們將使用Scikit-learn庫(kù)中的決策樹分類器決策樹（Decision Tree）來(lái)處理一個(gè)經(jīng)典的鳶尾花數(shù)據(jù)集（Iris dataset），這是一個(gè)常用于測(cè)試機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集。

鳶尾花數(shù)據(jù)集是一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)數(shù)據(jù)集，用于分類和模式識(shí)別任務(wù)。它由著名的統(tǒng)計(jì)學(xué)家和生物學(xué)家埃德加·安德森（Edgar Anderson）于1930年代首次引入，并由著名的統(tǒng)計(jì)學(xué)家和計(jì)算機(jī)科學(xué)家羅納德·費(fèi)希爾（Ronald A. Fisher）在1936年進(jìn)行了介紹。這個(gè)數(shù)據(jù)集包含了三種鳶尾花（Iris species）的數(shù)據(jù)：Setosa、Versicolor和Virginica。

數(shù)據(jù)集結(jié)構(gòu)說(shuō)明：

數(shù)據(jù)特征：

萼片長(zhǎng)度（Sepal Length）：鳶尾花的萼片（花萼）的長(zhǎng)度，單位是厘米（cm）。

萼片寬度（Sepal Width）：鳶尾花的萼片的寬度，單位是厘米（cm）。

花瓣長(zhǎng)度（Petal Length）：鳶尾花的花瓣的長(zhǎng)度，單位是厘米（cm）。

花瓣寬度（Petal Width）：鳶尾花的花瓣的寬度，單位是厘米（cm）。

每個(gè)特征都有一個(gè)浮點(diǎn)數(shù)值，用于描述每朵鳶尾花的物理特性。

標(biāo)簽：

Iris Setosa：第一種鳶尾花。

Iris Versicolor：第二種鳶尾花。

Iris Virginica：第三種鳶尾花。

每個(gè)樣本都有一個(gè)對(duì)應(yīng)的類別標(biāo)簽，用于表示花的種類。

數(shù)據(jù)樣本數(shù)量：總共150個(gè)樣本。

每種鳶尾花的樣本數(shù)量：每種鳶尾花各50個(gè)樣本。

數(shù)據(jù)格式：數(shù)據(jù)集通常以二維數(shù)組的形式提供，其中每一行代表一朵鳶尾花的特征，最后一列是花的類別標(biāo)簽。

數(shù)據(jù)示例（單行數(shù)據(jù)）：

鳶尾花數(shù)據(jù)集是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)中的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集，用于：

分類任務(wù)：用于測(cè)試和評(píng)估分類算法的性能。

數(shù)據(jù)可視化：用于演示和練習(xí)數(shù)據(jù)可視化技巧。

模型驗(yàn)證：用于進(jìn)行模型驗(yàn)證和調(diào)整。

代碼如下：

# 導(dǎo)入必要的庫(kù)from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import accuracy_score, classification_reportimport matplotlib.pyplot as pltfrom sklearn import tree
# 1. 加載數(shù)據(jù)iris = load_iris()X = iris.datay = iris.target
# 2. 將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 3. 創(chuàng)建決策樹分類器clf = DecisionTreeClassifier()
# 4. 訓(xùn)練模型clf.fit(X_train, y_train)
# 5. 進(jìn)行預(yù)測(cè)y_pred = clf.predict(X_test)
# 6. 評(píng)估模型accuracy = accuracy_score(y_test, y_pred)print(f"Accuracy: {accuracy:.2f}")
print("nClassification Report:")print(classification_report(y_test, y_pred, target_names=iris.target_names))
# 7. 繪制決策樹plt.figure(figsize=(12,8))tree.plot_tree(clf, feature_names=iris.feature_names, class_names=iris.target_names, filled=True)plt.show()
# 8. 繪制訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的散點(diǎn)圖plt.figure(figsize=(14, 7))
# 繪制訓(xùn)練數(shù)據(jù)plt.subplot(1, 2, 1)for i, color in zip(range(3), ['red', 'green', 'blue']):    plt.scatter(X_train[y_train == i, 0], X_train[y_train == i, 1], color=color, label=iris.target_names[i])plt.title('Training Data')plt.xlabel(iris.feature_names[0])plt.ylabel(iris.feature_names[1])plt.legend()
# 繪制測(cè)試數(shù)據(jù)plt.subplot(1, 2, 2)for i, color in zip(range(3), ['red', 'green', 'blue']):    plt.scatter(X_test[y_test == i, 0], X_test[y_test == i, 1], color=color, label=iris.target_names[i])plt.title('Test Data')plt.xlabel(iris.feature_names[0])plt.ylabel(iris.feature_names[1])plt.legend()
plt.tight_layout()plt.show()

# 輸出Accuracy: 1.00
Classification Report:              precision    recall  f1-score   support
      setosa       1.00      1.00      1.00        19  versicolor       1.00      1.00      1.00        13   virginica       1.00      1.00      1.00        13
    accuracy                           1.00        45   macro avg       1.00      1.00      1.00        45weighted?avg???????1.00??????1.00??????1.00????????45

c.?支持向量機(jī)（Support Vector Machine，SVM）示例：

本次我們使用支持向量機(jī)來(lái)處理一個(gè)經(jīng)典的鳶尾花數(shù)據(jù)集，數(shù)據(jù)集信息已在上個(gè)例子說(shuō)明，代碼如下：

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.svm import SVCfrom sklearn.metrics import accuracy_score, classification_reportfrom sklearn.decomposition import PCA
# 1. 加載數(shù)據(jù)iris = load_iris()X = iris.datay = iris.target
# 2. 將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 3. 降維到2維（用于可視化）pca = PCA(n_components=2)X_train_pca = pca.fit_transform(X_train)X_test_pca = pca.transform(X_test)
# 4. 創(chuàng)建支持向量機(jī)分類器svm = SVC(kernel='linear')  # 使用線性核函數(shù)
# 5. 訓(xùn)練模型svm.fit(X_train_pca, y_train)
# 6. 進(jìn)行預(yù)測(cè)y_pred = svm.predict(X_test_pca)
# 7. 評(píng)估模型accuracy = accuracy_score(y_test, y_pred)print(f"Accuracy: {accuracy:.2f}")
print("nClassification Report:")print(classification_report(y_test, y_pred, target_names=iris.target_names))
# 8. 繪制決策邊界plt.figure(figsize=(12, 6))
# 繪制訓(xùn)練數(shù)據(jù)plt.subplot(1, 2, 1)plt.scatter(X_train_pca[y_train == 0, 0], X_train_pca[y_train == 0, 1], color='red', label='Setosa', marker='o')plt.scatter(X_train_pca[y_train == 1, 0], X_train_pca[y_train == 1, 1], color='green', label='Versicolor', marker='x')plt.scatter(X_train_pca[y_train == 2, 0], X_train_pca[y_train == 2, 1], color='blue', label='Virginica', marker='^')
# 繪制決策邊界xx, yy = np.meshgrid(np.linspace(X_train_pca[:, 0].min(), X_train_pca[:, 0].max(), 500),                     np.linspace(X_train_pca[:, 1].min(), X_train_pca[:, 1].max(), 500))Z = svm.predict(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.get_cmap('coolwarm'))plt.title('SVM Decision Boundary (Training Data)')plt.xlabel('Principal Component 1')plt.ylabel('Principal Component 2')plt.legend()
# 繪制測(cè)試數(shù)據(jù)plt.subplot(1, 2, 2)plt.scatter(X_test_pca[y_test == 0, 0], X_test_pca[y_test == 0, 1], color='red', label='Setosa', marker='o')plt.scatter(X_test_pca[y_test == 1, 0], X_test_pca[y_test == 1, 1], color='green', label='Versicolor', marker='x')plt.scatter(X_test_pca[y_test == 2, 0], X_test_pca[y_test == 2, 1], color='blue', label='Virginica', marker='^')
# 繪制決策邊界plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.get_cmap('coolwarm'))plt.title('SVM Decision Boundary (Test Data)')plt.xlabel('Principal Component 1')plt.ylabel('Principal Component 2')plt.legend()
plt.tight_layout()plt.show()

# 輸出Accuracy: 0.98
Classification Report:              precision    recall  f1-score   support
      setosa       1.00      1.00      1.00        19  versicolor       0.93      1.00      0.96        13   virginica       1.00      0.92      0.96        13
    accuracy                           0.98        45   macro avg       0.98      0.97      0.97        45weighted avg       0.98      0.98      0.98        45

d. 線性回歸（Linear Regression）示例：

線性回歸是一種基本的回歸分析方法，用于建立一個(gè)目標(biāo)變量（y）與一個(gè)或多個(gè)自變量（x）之間的線性關(guān)系。代碼如下：

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_error, r2_score
# 1. 生成示例數(shù)據(jù)np.random.seed(0)X = 2 * np.random.rand(100, 1)  # 生成100個(gè)樣本的特征數(shù)據(jù)y = 4 + 3 * X + np.random.randn(100, 1)  # 目標(biāo)變量，包含線性關(guān)系和一些噪聲
# 2. 創(chuàng)建線性回歸模型lin_reg = LinearRegression()
# 3. 訓(xùn)練模型lin_reg.fit(X, y)
# 4. 進(jìn)行預(yù)測(cè)y_pred = lin_reg.predict(X)
# 5. 評(píng)估模型mse = mean_squared_error(y, y_pred)r2 = r2_score(y, y_pred)print(f"Mean Squared Error: {mse:.2f}")print(f"R^2 Score: {r2:.2f}")
# 6. 繪制結(jié)果plt.figure(figsize=(10, 6))
# 繪制數(shù)據(jù)點(diǎn)plt.scatter(X, y, color='blue', label='Data Points')
# 繪制回歸線plt.plot(X, y_pred, color='red', linewidth=2, label='Regression Line')
plt.title('Linear Regression')plt.xlabel('Feature')plt.ylabel('Target')plt.legend()plt.grid(True)plt.show()

# 輸出Mean Squared Error: 0.99R^2 Score: 0.75

e. 樸素貝葉斯（Naive Bayes）示例：

樸素貝葉斯（Naive Bayes）是一種基于貝葉斯定理的分類算法，適用于分類問(wèn)題。它的"樸素"之處在于假設(shè)特征之間是條件獨(dú)立的，這種假設(shè)在實(shí)際情況中可能不完全成立，但在許多場(chǎng)景下，樸素貝葉斯仍然表現(xiàn)出色。

在這里，我們依舊使用 scikit-learn 提供的鳶尾花數(shù)據(jù)集作為示例，演示如何使用樸素貝葉斯進(jìn)行分類。代碼如下：

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.naive_bayes import GaussianNBfrom sklearn.metrics import accuracy_score, confusion_matrix, classification_reportimport seaborn as sns
# 1. 加載數(shù)據(jù)iris = load_iris()X = iris.datay = iris.targetfeature_names = iris.feature_namestarget_names = iris.target_names
# 2. 將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 3. 創(chuàng)建樸素貝葉斯模型nb_model = GaussianNB()
# 4. 訓(xùn)練模型nb_model.fit(X_train, y_train)
# 5. 進(jìn)行預(yù)測(cè)y_pred = nb_model.predict(X_test)
# 6. 評(píng)估模型accuracy = accuracy_score(y_test, y_pred)conf_matrix = confusion_matrix(y_test, y_pred)class_report = classification_report(y_test, y_pred, target_names=target_names)
print(f"Accuracy: {accuracy:.2f}")print("Confusion Matrix:")print(conf_matrix)print("Classification Report:")print(class_report)
# 7. 可視化混淆矩陣plt.figure(figsize=(8, 6))sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues',            xticklabels=target_names, yticklabels=target_names)plt.title('Confusion Matrix')plt.xlabel('Predicted Label')plt.ylabel('True Label')plt.show()

#?輸出Accuracy: 0.98Confusion Matrix:[[19  0  0] [ 0 12  1] [ 0  0 13]]Classification Report:              precision    recall  f1-score   support
      setosa       1.00      1.00      1.00        19  versicolor       1.00      0.92      0.96        13   virginica       0.93      1.00      0.96        13
    accuracy                           0.98        45   macro avg       0.98      0.97      0.97        45weighted avg       0.98      0.98      0.98        45