「アヤメのデータセット」について学ぶ（scikit-learn /トイデータセット）
この記事では、統計学を初めて学ぶ筆者が、「scikit-learn」の「トイデータセット」における「アヤメのデータセット」について学んだ内容について記載しています。
学習には、scikit-learnのガイド「7.1. Toy datasets」を参考にし、Pythonのプログラミングにも触れ、理解を深めました。
プログラミングには、機械学習ライブラリのscikit-learnを使用しました。
この記事は、他の人が参考にできるよう、わかりやすく書くことを心がけました。
scikit-learn トイデータセット
機械学習ライブラリscikit-learnに用意されている「トイデータセット」は、機械学習の問題を解くためのサンプルデータセットのことで、いくつかの種類が用意されています。例えば、Iris（アヤメ）の花の特徴から、その種類を分類する問題を解くための「irisデータセット」や、ボストン市の住宅価格に関するデータを用いて、住宅価格を予測する問題を解くための「bostonデータセット」などがあります。
scikit-learnにはいくつかの小さな標準データセットが付属しており、外部のウェブサイトからファイルをダウンロードする必要はありません。
これらは以下の関数を使って読み込むことができます。
load_boston() : load_boston は 1.0 で非推奨となり、1.2 で削除される予定である。
load_iris() : アヤメのデータセット(分類)をロードして返す。
load_diabetes() : 糖尿病のデータセット(回帰)をロードして返す。
load_digits() : 数字のデータセット(分類)をロードして返す。
load_linnerud() : 身体運動のデータセットをロードして返す。
load_wine() : ワインのデータセット(分類)をロードして返す。
load_breast_cancer() : ウィスコンシン州の乳がんのデータセット（分類）をロードして返す。7.1. Toy datasetsts
アヤメのデータセット
アヤメのデータセットは、機械学習における代表的なデータセットの1つであり、サンプルデータの中でも特に有名なものの1つです。
アヤメのデータセットには、ヒオウギアヤメ(Iris-Setosa)、アイリス・バージカラー(Iris Versicolour)、アイリス・ヴァージニカ(Iris Virginica)の3種類のアヤメが含まれており、各々50件のデータがあります。データには、「がく片の長さ」、「がく片の幅」、「花びらの長さ」、「花びらの幅」といった4つの属性があり、また3種のアヤメの分類に関するデータも含まれています。
Iris Setosa （ヒオウギアヤメ）
アラスカ、メイン、カナダ（ブリティッシュコロンビア、ニューファンドランド、ケベック、ユーコンなど）、ロシア（シベリアなど）、アジア北東部、中国、韓国、日本など北極海を越えて広く分布する根生葉の多年草です。
茎は高く伸び、葉は中緑色、花は紫、紫紺、青、ラベンダー色です。また、ピンクや白の花を咲かせる植物もあります。
Iris Versicolour （アイリス・バージカラー）
北アメリカ、アメリカ東部とカナダ東部に自生するアヤメの一種です。スゲ草地や湿地、川岸や海岸に普通に見られます。
特異形質バージカラー(versicolor)は「様々な色彩の」という意味です。
Iris Virginica （アイリス・ヴァージニカ）
北アメリカ東部原産の多年草です。アメリカ南東部のフロリダ州からジョージア州にかけての海岸平野によく見られます。
Pythonプログラミング
「アヤメのデータセット」をイメージしやすいようPythonでのプログラミングについても学びます。
プログラム
アヤメのデータセットを読み込み、データセットの詳細を出力します。
from sklearn.datasets import load_iris
# アヤメのデータセットを読み込む
iris = load_iris()
# データセットの詳細を出力する
print("アヤメのデータセットの定義:")
print("----------------------------")
print("データセット名:", iris['DESCR'])
print("----------------------------")
print("特徴量名:", iris['feature_names'])
print("----------------------------")
print("特徴量の数:", len(iris['feature_names']))
print("----------------------------")
print("クラス名:", iris['target_names'])
print("----------------------------")
print("クラスの数:", len(iris['target_names']))
print("----------------------------")
print("データ数:", len(iris['data']))
print("----------------------------")
print("データの先頭5行:")
print(iris['data'][:5])
print("----------------------------")
print("クラスの先頭5行:")
print(iris['target'][:5])実行結果
アヤメのデータセットの定義:
----------------------------
データセット名: .. _iris_dataset:
Iris plants dataset
--------------------
**Data Set Characteristics:**
:Number of Instances: 150 (50 in each of three classes)
:Number of Attributes: 4 numeric, predictive attributes and the class
:Attribute Information:
- sepal length in cm
- sepal width in cm
- petal length in cm
- petal width in cm
- class:
- Iris-Setosa
- Iris-Versicolour
- Iris-Virginica
:Summary Statistics:
============== ==== ==== ======= ===== ====================
Min Max Mean SD Class Correlation
============== ==== ==== ======= ===== ====================
sepal length: 4.3 7.9 5.84 0.83 0.7826
sepal width: 2.0 4.4 3.05 0.43 -0.4194
petal length: 1.0 6.9 3.76 1.76 0.9490 (high!)
petal width: 0.1 2.5 1.20 0.76 0.9565 (high!)
============== ==== ==== ======= ===== ====================
:Missing Attribute Values: None
:Class Distribution: 33.3% for each of 3 classes.
:Creator: R.A. Fisher
:Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
:Date: July, 1988
The famous Iris database, first used by Sir R.A. Fisher. The dataset is taken
from Fisher's paper. Note that it's the same as in R, but not as in the UCI
Machine Learning Repository, which has two wrong data points.
This is perhaps the best known database to be found in the
pattern recognition literature. Fisher's paper is a classic in the field and
is referenced frequently to this day. (See Duda & Hart, for example.) The
data set contains 3 classes of 50 instances each, where each class refers to a
type of iris plant. One class is linearly separable from the other 2; the
latter are NOT linearly separable from each other.
.. topic:: References
- Fisher, R.A. "The use of multiple measurements in taxonomic problems"
Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions to
Mathematical Statistics" (John Wiley, NY, 1950).
- Duda, R.O., & Hart, P.E. (1973) Pattern Classification and Scene Analysis.
(Q327.D83) John Wiley & Sons. ISBN 0-471-22361-1. See page 218.
- Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System
Structure and Classification Rule for Recognition in Partially Exposed
Environments". IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. PAMI-2, No. 1, 67-71.
- Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule". IEEE Transactions
on Information Theory, May 1972, 431-433.
- See also: 1988 MLC Proceedings, 54-64. Cheeseman et al"s AUTOCLASS II
conceptual clustering system finds 3 classes in the data.
- Many, many more ...
----------------------------
特徴量名: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
----------------------------
特徴量の数: 4
----------------------------
クラス名: ['setosa' 'versicolor' 'virginica']
----------------------------
クラスの数: 3
----------------------------
データ数: 150
----------------------------
データの先頭5行:
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]]
----------------------------
クラスの先頭5行:
[0 0 0 0 0]和訳します。（.. topic:: Referencesを除きます。）
アヤメのデータセットの定義:
----------------------------
データセット名: .. _iris_dataset:
アヤメのデータセット
--------------------
データセットの特徴:
:インスタンスの数: 150 (各クラス50ずつ)
:属性の数: 4つの数値予測属性とクラス
:属性情報:
- ガクの長さ (cm)
- ガクの幅 (cm)
- 花びらの長さ (cm)
- 花びらの幅 (cm)
- クラス:
- アイリス・セトサ
- アイリス・バーシクル
- アイリス・バージニカ
:概要統計:
============== ==== ==== ======= ===== ====================
Min Max 平均 標準偏差 クラスの相関係数
============== ==== ==== ======= ===== ====================
ガクの長さ: 4.3 7.9 5.84 0.83 0.7826
ガクの幅: 2.0 4.4 3.05 0.43 -0.4194
花びらの長さ: 1.0 6.9 3.76 1.76 0.9490 (高い!)
花びらの幅: 0.1 2.5 1.20 0.76 0.9565 (高い!)
============== ==== ==== ======= ===== ====================
:欠損値: なし
:クラス分布: 各3クラスが33.3％ずつ。
:作成者: R.A. Fisher
:提供者: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
:日付: 1988年7月
----------------------------
特徴量名: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
----------------------------
特徴量の数: 4
----------------------------
クラス名: ['setosa' 'versicolor' 'virginica']
----------------------------
クラスの数: 3
----------------------------
データ数: 150
----------------------------
データの先頭5行:
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]]
----------------------------
クラスの先頭5行:
[0 0 0 0 0]クラスの相関関係は各特徴量とアヤメの種類の間の線形相関の強さを示しています。具体的には、花びらの長さと花びらの幅の相関係数は0.95と非常に高く、これらの特徴量がアヤメの種類を識別する上で非常に有用であることを示しています。一方、ガクの幅は負の相関があるため、アヤメの種類を区別する上であまり役に立たないことが示されています。
プログラムの説明
from sklearn.datasets import load_irisscikit-learnのdatasetsモジュールから、load_iris関数をインポートします。これにより、irisデータセットを読み込むことができます。
# アヤメのデータセットを読み込む
iris = load_iris()load_iris()関数を使って、irisデータセットを読み込み、irisという名前で保存します。
# データセットの詳細を出力する
print("アヤメのデータセットの定義:")
print("----------------------------")
print("データセット名:", iris['DESCR'])
print("----------------------------")
print("特徴量名:", iris['feature_names'])
print("----------------------------")
print("特徴量の数:", len(iris['feature_names']))
print("----------------------------")
print("クラス名:", iris['target_names'])
print("----------------------------")
print("クラスの数:", len(iris['target_names']))
print("----------------------------")
print("データ数:", len(iris['data']))
print("----------------------------")print(“データセット名:", iris['DESCR’])は、アヤメのデータセットの詳細情報を出力します。
print(“特徴量名:", iris['feature_names’])は、アヤメのデータセットの特徴量名を出力します。
print(“特徴量の数:", len(iris['feature_names’]))は、アヤメのデータセットの特徴量の数を出力します。
print(“クラス名:", iris['target_names’])は、アヤメのデータセットのクラス名を出力します。
print(“クラスの数:", len(iris['target_names’]))は、アヤメのデータセットのクラスの数を出力します。
print(“データ数:", len(iris['data’]))は、アヤメのデータセットのデータの数を出力します。
print("データの先頭5行:")
print(iris['data'][:5])
print("----------------------------")
print("クラスの先頭5行:")
print(iris['target'][:5])print(iris['data’][:5])は、アヤメのデータセットの最初の5行を出力します。
iris['data’]は、アヤメのデータセットから取得したデータの行列を表します。各行が1つのデータポイントであり、各列が4つの特徴量の値を表します。iris['data’][:5]は、最初の5つの行を取得するためのPythonのスライスです。したがって、print(iris['data’][:5])は、最初の5つのデータポイントの特徴量の値を表示します。
print(iris['target’][:5])は、アヤメのデータセットのクラスの最初の5行を出力します。
iris['target’]は、アヤメのデータセットから取得したクラスラベルを表します。各クラスラベルは、各データポイントに対応しています。iris['target’][:5]は、最初の5つのクラスラベルを取得するためのPythonのスライスです。したがって、print(iris['target’][:5])は、最初の5つのデータポイントのクラスラベルを表示します。
データセットの分布
Pythonプログラミング
「アヤメのデータセットの分布」をイメージしやすいようPythonでのプログラミングについても学びます。
プログラム
アヤメのデータセットの各特徴量について、3種類のアヤメの分布をそれぞれヒストグラムで表示します。
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
# アヤメのデータセットをロードする
iris = load_iris()
# 各特徴量ごとにヒストグラムを描画する
for i, feature_name in enumerate(iris.feature_names):
plt.hist(iris.data[iris.target==0, i], alpha=0.5, label=iris.target_names[0], bins=10)
plt.hist(iris.data[iris.target==1, i], alpha=0.5, label=iris.target_names[1], bins=10)
plt.hist(iris.data[iris.target==2, i], alpha=0.5, label=iris.target_names[2], bins=10)
plt.xlabel(feature_name)
plt.ylabel("データ数")
plt.legend(loc="best")
plt.show()実行結果
プログラムの説明
from sklearn.datasets import load_iris
import matplotlib.pyplot as pltscikit-learnライブラリからload_iris関数をインポートします。
Matplotlibのpyplotモジュールをインポートし、pltという名前で呼び出します。
# アヤメのデータセットをロードする
iris = load_iris()scikit-learnのdatasetsモジュールから、load_iris関数をインポートします。これにより、irisデータセットを読み込むことができます。
# 各特徴量ごとにヒストグラムを描画する
for i, feature_name in enumerate(iris.feature_names):ループを開始し、irisの特徴量名を順番に取り出します。iは特徴量のインデックス、feature_nameは特徴量名を表します。
plt.hist(iris.data[iris.target==0, i], alpha=0.5, label=iris.target_names[0], bins=10)
plt.hist(iris.data[iris.target==1, i], alpha=0.5, label=iris.target_names[1], bins=10)
plt.hist(iris.data[iris.target==2, i], alpha=0.5, label=iris.target_names[2], bins=10)irisのデータから、種類が0のものだけをi番目の特徴量だけを取り出して、ヒストグラムを描画します。alphaはグラフの透明度を指定します。
irisのデータから、種類が1のものだけをi番目の特徴量だけを取り出して、ヒストグラムを描画します。alphaはグラフの透明度を指定します。
irisのデータから、種類が2のものだけをi番目の特徴量だけを取り出して、ヒストグラムを描画します。alphaはグラフの透明度を指定します。
plt.xlabel(feature_name)
plt.ylabel("Number of samples")
plt.legend(loc="best")
plt.show()plt.xlabel(feature_name) はx軸ラベルをfeature_nameに設定します。
plt.ylabel(“Number of samples") はy軸ラベルを"Number of samples"に設定します。
plt.legend(loc="best") は凡例をグラフの最適な位置に表示します。
plt.show() は描画したヒストグラムを表示する。ループを回しているため、特徴量ごとに複数のヒストグラムが表示されます。