データマイニング入門 | UTokyo OCW (OpenCourseWare)

おすすめキーワード

アクティブ・ラーニング朝日講座外国語の講義文化資源物理学方法論経済学予防手術

マイリストに追加

データマイニング入門

データマイニング入門

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

1. イントロダクション
2. Python基礎 (1)
3. Python基礎 (2)
4. データの記述統計・前処理
5. テキスト分析の基礎
6. ネットワーク分析の基礎
7. クラスタリング
8. 主成分分析
9. 教師あり学習(1)：線形回帰
10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化
11. 機械学習の実践
12. 全体のまとめ

講義一覧

1. イントロダクション

1-1　講義概要 | 森純一郎

1-2　Python | 森純一郎

1-3　データマイニング | 森純一郎

1-4　データサイエンス | 森純一郎

1-5　データソース | 森純一郎

講義資料1 | 森純一郎

配付資料1_python_for_data_analysis1.pdf | 森純一郎

配付資料2_data_mining.txt.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

2. Python基礎 (1)

2-1　Pythonの基礎(1) | 森純一郎

2-2　Pythonの基礎(2) | 森純一郎

2-3　Pythonの基礎(3) | 森純一郎

2-4　Pythonの基礎(4) | 森純一郎

2-5　Pythonの基礎(5) | 森純一郎

2-6　Pythonの基礎(6) | 森純一郎

2-7　Pythonの基礎(7) | 森純一郎

2-8　Pythonの基礎(8) | 森純一郎

2-9　課題 | 森純一郎

講義資料2 | 森純一郎

配付資料3_ex1.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

3. Python基礎 (2)

3-1　今回の流れ / デバッギング | 森純一郎

3-2　データ | 森純一郎

3-3　記述統計 | 森純一郎

3-4　標本と母集団 | 森純一郎

3-5　データの分布と可視化 | 森純一郎

3-6　Pandas(1) | 森純一郎

3-7　Pandas(2) | 森純一郎

3-8　Pandas(3) | 森純一郎

3-9　Pandas(4) | 森純一郎

3-10 課題(1) | 森純一郎

3-11 課題(2) | 森純一郎

講義資料3 | 森純一郎

配付資料4_ex2.pdf | 森純一郎

配付資料5_python_for_data_analysis2.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

user_class.csv.pdf | 森純一郎

user_score.csv.pdf | 森純一郎

4. データの記述統計・前処理

4-1　データの記述統計 | 森純一郎

4-2　統計的推測 | 森純一郎

4-3　データの相関 | 森純一郎

4-4　データマイニングのプロセス:データの前処理 (1) | 森純一郎

4-5　データマイニングのプロセス:データの前処理 (2) | 森純一郎

4-6　課題 (1) | 森純一郎

4-7　NumPy (1) | 森純一郎

4-8　NumPy (2) | 森純一郎

4-9　NumPy (3) | 森純一郎

4-10 matplotlib | 森純一郎

4-11 課題 (2) | 森純一郎

4-12 課題 (3) | 森純一郎

講義資料4 | 森純一郎

配付資料6_ex3.pdf | 森純一郎

配付資料7_python_for_data_analysis3.pdf | 森純一郎

配付資料8_python_for_data_analysis4.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

score_outlier.csv.pdf | 森純一郎

score_missing.csv.pdf | 森純一郎

5. テキスト分析の基礎

5-1 テキスト分析の基礎 | 森純一郎

5-2 コーパス | 森純一郎

5-3 テキスト分析 | 森純一郎

5-4 ベクトル空間モデル | 森純一郎

5-5 cos類似度 | 森純一郎

5-6 単語共起 | 森純一郎

5-7 テキスト分析と学習タスク | 森純一郎

5-8 Pythonと文字列 | 森純一郎

5-9 課題(1) | 森純一郎

5-10 課題(2) | 森純一郎

講義資料5 | 森純一郎

配付資料9_ex4.pdf | 森純一郎

course_list.csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

6. ネットワーク分析の基礎

6-1 ネットワーク分析の基礎 | 森純一郎

6-2 パス／経路 | 森純一郎

6-3 中心性 (1) | 森純一郎

6-4 中心性 (2) | 森純一郎

6-5 ネットワークの特徴 | 森純一郎

6-6 コミュニティ抽出 (1) | 森純一郎

6-7 コミュニティ抽出 (2) | 森純一郎

6-8 NetworkX | 森純一郎

6-9 課題 (1) | 森純一郎

6-10 課題 (2) | 森純一郎

講義資料6 | 森純一郎

配付資料10_ex5.pdf | 森純一郎

配付資料11_networkx.pdf | 森純一郎

7. クラスタリング

7-1 クラスタリング | 森純一郎

7-2 凝縮型階層的クラスタリング | 森純一郎

7-3 K-MEANS法 | 森純一郎

7-4 K-MEANS++ ／クラスタ数の決定 | 森純一郎

7-5 課題 | 森純一郎

7-6 課題 | 森純一郎

7-7 課題 | 森純一郎

7-8 課題 | 森純一郎

講義資料7 | 森純一郎

配付資料12_ex6.pdf | 森純一郎

course_list .csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

8. 主成分分析

8-1 主成分分析：概要 | 森純一郎

8-2 主成分分析：数式的解説 | 森純一郎

8-3 主成分分析：正規直交基底 | 森純一郎

8-4 主成分分析の手順 | 森純一郎

8-5 課題(1) | 森純一郎

8-6 課題(2) | 森純一郎

講義資料8 | 森純一郎

配付資料13_ex7.pdf | 森純一郎

9. 教師あり学習(1)：線形回帰

9-1 教師あり学習 | 森純一郎

9-2 線形回帰：概要, コスト関数 | 森純一郎

9-3 線形回帰：最急降下法(1) | 森純一郎

9-4 線形回帰：最急降下法(2) | 森純一郎

9-5 学習モデルの評価 | 森純一郎

9-6 正規方程式 | 森純一郎

9-7 最尤推定 | 森純一郎

9-8 課題(1) | 森純一郎

9-9 課題(2) | 森純一郎

9-10 課題(3) | 森純一郎

講義資料9 | 森純一郎

配付資料14_ex8.pdf | 森純一郎

iris.csv.pdf | 森純一郎

10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化

10-1 過学習 | 森純一郎

10-2 正則化 | 森純一郎

10-3 正則化の解釈 | 森純一郎

10-4 ロジスティック回帰：シグモイド関数 | 森純一郎

10-5 ロジスティック回帰：コスト関数 | 森純一郎

10-6 ロジスティック回帰：多変数の入力 | 森純一郎

10-7 ロジスティック回帰の過学習、精度検証 | 森純一郎

10-8 課題(1) | 森純一郎

10-9 課題(2) | 森純一郎

10-10 scikit-learnでのロジスティック回帰 | 森純一郎

講義資料10 | 森純一郎

配付資料15_ex9.pdf | 森純一郎

11. 機械学習の実践

11-1 特徴量選択 | 森純一郎

11-2 BIASとVARIANCE | 森純一郎

11-3 学習モデルの調整 | 森純一郎

11-4 機械学習の実践：データの観察 | 森純一郎

11-5 機械学習の実践：モデルの学習 | 森純一郎

11-6 機械学習の実践：モデル選択と評価 | 森純一郎

11-7 機械学習の実践：グリッドサーチ | 森純一郎

11-8 機械学習の実践：cross_val_score | 森純一郎

11-9 機械学習の実践：概観 | 森純一郎

11-10 課題 | 森純一郎

講義資料11 | 森純一郎

配付資料16_ex10.pdf | 森純一郎

配付資料17_practical_ds.pdf | 森純一郎

winequality-red.csv.pdf | 森純一郎

12. 全体のまとめ

12-1 データ分析のフレームワーク | 森純一郎

12-2 全体のまとめ(1)：概観 | 森純一郎

12-3 全体のまとめ(2)：データ分析 | 森純一郎

12-4 全体のまとめ(3)：機械学習 | 森純一郎

12-5 数学について | 森純一郎

12-6 参考書・ウェブサイト紹介 | 森純一郎

講義資料12 | 森純一郎

おすすめの講義

3-8　Pythonコード (3)

コンピュータシステム概論

3-8　Pythonコード (3)

小林克志

Rコード

時系列解析（数理手法Ⅶ）

Rコード

北川源四郎

講義資料12

確率過程論（数理手法VI）

講義資料12

荻原哲平

ガイダンス

30年後の世界へ ―「世界」と「人間」の未来を共に考える（学術フロンティア講義）

第1回ガイダンス

石井剛

カントの正義論

正義を問い直す（学術俯瞰講義）

第4回カントの正義論

森政稔

労働者の人権保障１―労働憲章、性差別

労働法（2008年度）

第14回労働者の人権保障１―労働憲章、性差別

水町勇一郎

アンケートにご協力ください