MNISTデータセットのいいところ

page:[うんちく]

MNISTとは？

• 整形された手書き数字
  • 画像データ
  • 正解ラベル
    • セットになっている
• 普通の画像データと比較
  • ヘッダ情報が何もついていない
    • プレーンなデータ
  • 数字の羅列
  • CSV形式のテキストデータ
    • メモ帳でも見れる
• 表示方法
  • 機械学習ライブラリ（Matplotlibなど）を利用
  • データを画像として画面に表示する
• 参考
  • MNISTデータの画像表示
  • 外部リンク： MNISTデータの表示例

データを見てみる

はじめに

• Google Colaboratoryを利用する
• プリインストールされたMNISTデータセット利用がある
• 参考
  • Google Colaboratoryの利用方法で参考した記事
  • MNISTデータを見る

表示

!head -1 mnist_test.csv

7,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,84,185,159,151,60,36,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,222,254,254,254,254,241,198,198,198,198,198,198,198,198,170,52,0,0,0,0,0,0,0,0,0,0,0,0,67,114,72,114,163,227,254,225,254,254,254,250,229,254,254,140,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,17,66,14,67,67,67,59,21,236,254,106,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,83,253,209,18,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,22,233,255,83,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,129,254,238,44,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,59,249,254,62,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,133,254,187,5,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,9,205,248,58,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,126,254,182,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,75,251,240,57,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,19,221,254,166,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,203,254,219,35,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,38,254,254,77,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,31,224,254,115,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,133,254,254,52,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,61,242,254,254,52,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,121,254,254,219,40,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,121,254,207,18,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

• 1件（画像1枚分）だけ表示した出た
  • 折り返しなしで表示
• 最初の"7″が正解ラベル

• 同じデータを折り返して表示
• このデータが7万件用意されている
  • 学習用：6万枚
  • テスト用：1万枚

サイズを確認

data.shape

(10000, 785)

• テスト用データで1万件（行）
• 1行当たりのデータ数：28×28=784+1（正解ラベル）=785
• 参考
  • NumPyのshapeコマンドについて説明した記事
  • shapeコマンド

いいところ

画像データとしての利点

1. 大きさがそろっている
   • 28 x 28 ピクセル
   • 2色画像
     • 白黒とか黄色と紫とかの2色で見れる
   • 補足
     • MNISTデータを（オプション指定なしの）Matplotlibで表示すると黄色と紫
     • 最初はカラーなのかと思った…
2. 前処理が終わっている
   • 文字が中心に集まっている
   • 文字ごとにラベル付け（何の数字か）されている
   • 学習用データ、テスト用データに分割されている
   • 補足
     • 前処理：AIが学習しやすいようにデータを加工すること
3. サイズが小さい
   • スマホで撮った写真（メガピクセル1,000,000単位）より小さい（28×28=784）
   • 使用するコンピュータのメモリ量が少なくて済む
   • GPUを搭載していないノートパソコンでも画像分類を試せる
   • 参考
     • MNISTデータのサイズが小さい理由について説明した記事
     • サイズが小さい理由
4. 補足
   • 画像データについて
     • Windowsなどのパソコンで画像データを扱えるように、jpegやgifなどの統一の規格がある
     • 画像データの他にアプリケーションで利用できるようにヘッダ情報が付いている
     • バイナリデータなので、テキストエディタ（メモ帳）などで見れない
       ※試しに開くと文字化けした読めない文字が並んだ

AI学習データとしての利点

1. 件数が多い
   • 70,000件
   • 画像分類AIを試すには十分な量
2. 誰でも使える
   • Google Colaboratoryにプリインストールされている
   • ダウンロードできる
   • 機械学習ライブラリにダウンロードコマンドがある
   • 参考
     • MNISTの色々な入手方法を説明した記事
     • 外部リンク： AI学習用データセットのいろいろな入手方法

参考記事紹介

• 画像データについて説明した記事
• 概要
  • コンピュータでの画像データの扱い方
    • 画像認識のAIを扱う場合、画像データに関する知識が必要
  • CV2を使った画像データ表示例
  • RGB3原色と変換方法（グレースケールなど）について