データマイニング入門 | UTokyo OCW (OpenCourseWare)

おすすめキーワード

外国語の講義歴史機械学習法律学朝日講座情報学経済学人工知能

マイリストに追加

データマイニング入門

データマイニング入門

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

1. イントロダクション
2. Python基礎 (1)
3. Python基礎 (2)
4. データの記述統計・前処理
5. テキスト分析の基礎
6. ネットワーク分析の基礎
7. クラスタリング
8. 主成分分析
9. 教師あり学習(1)：線形回帰
10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化
11. 機械学習の実践
12. 全体のまとめ

講義一覧

1. イントロダクション

1-1　講義概要 | 森純一郎

1-2　Python | 森純一郎

1-3　データマイニング | 森純一郎

1-4　データサイエンス | 森純一郎

1-5　データソース | 森純一郎

講義資料1 | 森純一郎

配付資料1_python_for_data_analysis1.pdf | 森純一郎

配付資料2_data_mining.txt.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

2. Python基礎 (1)

2-1　Pythonの基礎(1) | 森純一郎

2-2　Pythonの基礎(2) | 森純一郎

2-3　Pythonの基礎(3) | 森純一郎

2-4　Pythonの基礎(4) | 森純一郎

2-5　Pythonの基礎(5) | 森純一郎

2-6　Pythonの基礎(6) | 森純一郎

2-7　Pythonの基礎(7) | 森純一郎

2-8　Pythonの基礎(8) | 森純一郎

2-9　課題 | 森純一郎

講義資料2 | 森純一郎

配付資料3_ex1.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

3. Python基礎 (2)

3-1　今回の流れ / デバッギング | 森純一郎

3-2　データ | 森純一郎

3-3　記述統計 | 森純一郎

3-4　標本と母集団 | 森純一郎

3-5　データの分布と可視化 | 森純一郎

3-6　Pandas(1) | 森純一郎

3-7　Pandas(2) | 森純一郎

3-8　Pandas(3) | 森純一郎

3-9　Pandas(4) | 森純一郎

3-10 課題(1) | 森純一郎

3-11 課題(2) | 森純一郎

講義資料3 | 森純一郎

配付資料4_ex2.pdf | 森純一郎

配付資料5_python_for_data_analysis2.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

user_class.csv.pdf | 森純一郎

user_score.csv.pdf | 森純一郎

4. データの記述統計・前処理

4-1　データの記述統計 | 森純一郎

4-2　統計的推測 | 森純一郎

4-3　データの相関 | 森純一郎

4-4　データマイニングのプロセス:データの前処理 (1) | 森純一郎

4-5　データマイニングのプロセス:データの前処理 (2) | 森純一郎

4-6　課題 (1) | 森純一郎

4-7　NumPy (1) | 森純一郎

4-8　NumPy (2) | 森純一郎

4-9　NumPy (3) | 森純一郎

4-10 matplotlib | 森純一郎

4-11 課題 (2) | 森純一郎

4-12 課題 (3) | 森純一郎

講義資料4 | 森純一郎

配付資料6_ex3.pdf | 森純一郎

配付資料7_python_for_data_analysis3.pdf | 森純一郎

配付資料8_python_for_data_analysis4.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

score_outlier.csv.pdf | 森純一郎

score_missing.csv.pdf | 森純一郎

5. テキスト分析の基礎

5-1 テキスト分析の基礎 | 森純一郎

5-2 コーパス | 森純一郎

5-3 テキスト分析 | 森純一郎

5-4 ベクトル空間モデル | 森純一郎

5-5 cos類似度 | 森純一郎

5-6 単語共起 | 森純一郎

5-7 テキスト分析と学習タスク | 森純一郎

5-8 Pythonと文字列 | 森純一郎

5-9 課題(1) | 森純一郎

5-10 課題(2) | 森純一郎

講義資料5 | 森純一郎

配付資料9_ex4.pdf | 森純一郎

course_list.csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

6. ネットワーク分析の基礎

6-1 ネットワーク分析の基礎 | 森純一郎

6-2 パス／経路 | 森純一郎

6-3 中心性 (1) | 森純一郎

6-4 中心性 (2) | 森純一郎

6-5 ネットワークの特徴 | 森純一郎

6-6 コミュニティ抽出 (1) | 森純一郎

6-7 コミュニティ抽出 (2) | 森純一郎

6-8 NetworkX | 森純一郎

6-9 課題 (1) | 森純一郎

6-10 課題 (2) | 森純一郎

講義資料6 | 森純一郎

配付資料10_ex5.pdf | 森純一郎

配付資料11_networkx.pdf | 森純一郎

7. クラスタリング

7-1 クラスタリング | 森純一郎

7-2 凝縮型階層的クラスタリング | 森純一郎

7-3 K-MEANS法 | 森純一郎

7-4 K-MEANS++ ／クラスタ数の決定 | 森純一郎

7-5 課題 | 森純一郎

7-6 課題 | 森純一郎

7-7 課題 | 森純一郎

7-8 課題 | 森純一郎

講義資料7 | 森純一郎

配付資料12_ex6.pdf | 森純一郎

course_list .csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

8. 主成分分析

8-1 主成分分析：概要 | 森純一郎

8-2 主成分分析：数式的解説 | 森純一郎

8-3 主成分分析：正規直交基底 | 森純一郎

8-4 主成分分析の手順 | 森純一郎

8-5 課題(1) | 森純一郎

8-6 課題(2) | 森純一郎

講義資料8 | 森純一郎

配付資料13_ex7.pdf | 森純一郎

9. 教師あり学習(1)：線形回帰

9-1 教師あり学習 | 森純一郎

9-2 線形回帰：概要, コスト関数 | 森純一郎

9-3 線形回帰：最急降下法(1) | 森純一郎

9-4 線形回帰：最急降下法(2) | 森純一郎

9-5 学習モデルの評価 | 森純一郎

9-6 正規方程式 | 森純一郎

9-7 最尤推定 | 森純一郎

9-8 課題(1) | 森純一郎

9-9 課題(2) | 森純一郎

9-10 課題(3) | 森純一郎

講義資料9 | 森純一郎

配付資料14_ex8.pdf | 森純一郎

iris.csv.pdf | 森純一郎

10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化

10-1 過学習 | 森純一郎

10-2 正則化 | 森純一郎

10-3 正則化の解釈 | 森純一郎

10-4 ロジスティック回帰：シグモイド関数 | 森純一郎

10-5 ロジスティック回帰：コスト関数 | 森純一郎

10-6 ロジスティック回帰：多変数の入力 | 森純一郎

10-7 ロジスティック回帰の過学習、精度検証 | 森純一郎

10-8 課題(1) | 森純一郎

10-9 課題(2) | 森純一郎

10-10 scikit-learnでのロジスティック回帰 | 森純一郎

講義資料10 | 森純一郎

配付資料15_ex9.pdf | 森純一郎

11. 機械学習の実践

11-1 特徴量選択 | 森純一郎

11-2 BIASとVARIANCE | 森純一郎

11-3 学習モデルの調整 | 森純一郎

11-4 機械学習の実践：データの観察 | 森純一郎

11-5 機械学習の実践：モデルの学習 | 森純一郎

11-6 機械学習の実践：モデル選択と評価 | 森純一郎

11-7 機械学習の実践：グリッドサーチ | 森純一郎

11-8 機械学習の実践：cross_val_score | 森純一郎

11-9 機械学習の実践：概観 | 森純一郎

11-10 課題 | 森純一郎

講義資料11 | 森純一郎

配付資料16_ex10.pdf | 森純一郎

配付資料17_practical_ds.pdf | 森純一郎

winequality-red.csv.pdf | 森純一郎

12. 全体のまとめ

12-1 データ分析のフレームワーク | 森純一郎

12-2 全体のまとめ(1)：概観 | 森純一郎

12-3 全体のまとめ(2)：データ分析 | 森純一郎

12-4 全体のまとめ(3)：機械学習 | 森純一郎

12-5 数学について | 森純一郎

12-6 参考書・ウェブサイト紹介 | 森純一郎

講義資料12 | 森純一郎

おすすめの講義

1-7　起動と終了

統計データ解析 II

1-7　起動と終了　

小池祐太

講義資料1

データ駆動科学の数理（数理手法Ⅷ）

講義資料1

島田尚

3-5　AICとTICの関係

時系列解析（数理手法Ⅶ）

3-5　AICとTICの関係

北川源四郎

3-7　4.2.1　ブラウン運動の定義

確率過程論（数理手法VI）

3-7　4.2.1　ブラウン運動の定義

楠岡成雄

§５　特異homology群の定義（つづき）

幾何学 II

第6回 §５　特異homology群の定義（つづき）

河澄響矢

非線形の世界

数理の世界－新世紀の数学を探る（学術俯瞰講義）

第3回非線形の世界

薩摩順吉

アンケートにご協力ください