データマイニング入門 | UTokyo OCW (OpenCourseWare)

おすすめキーワード

芸術経済学外国語の講義空間認識学術俯瞰講義現代社会惑星時代の人間アクティブ・ラーニング

マイリストに追加

データマイニング入門

データマイニング入門

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

1. イントロダクション
2. Python基礎 (1)
3. Python基礎 (2)
4. データの記述統計・前処理
5. テキスト分析の基礎
6. ネットワーク分析の基礎
7. クラスタリング
8. 主成分分析
9. 教師あり学習(1)：線形回帰
10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化
11. 機械学習の実践
12. 全体のまとめ

講義一覧

1. イントロダクション

1-1　講義概要 | 森純一郎

1-2　Python | 森純一郎

1-3　データマイニング | 森純一郎

1-4　データサイエンス | 森純一郎

1-5　データソース | 森純一郎

講義資料1 | 森純一郎

配付資料1_python_for_data_analysis1.pdf | 森純一郎

配付資料2_data_mining.txt.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

2. Python基礎 (1)

2-1　Pythonの基礎(1) | 森純一郎

2-2　Pythonの基礎(2) | 森純一郎

2-3　Pythonの基礎(3) | 森純一郎

2-4　Pythonの基礎(4) | 森純一郎

2-5　Pythonの基礎(5) | 森純一郎

2-6　Pythonの基礎(6) | 森純一郎

2-7　Pythonの基礎(7) | 森純一郎

2-8　Pythonの基礎(8) | 森純一郎

2-9　課題 | 森純一郎

講義資料2 | 森純一郎

配付資料3_ex1.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

3. Python基礎 (2)

3-1　今回の流れ / デバッギング | 森純一郎

3-2　データ | 森純一郎

3-3　記述統計 | 森純一郎

3-4　標本と母集団 | 森純一郎

3-5　データの分布と可視化 | 森純一郎

3-6　Pandas(1) | 森純一郎

3-7　Pandas(2) | 森純一郎

3-8　Pandas(3) | 森純一郎

3-9　Pandas(4) | 森純一郎

3-10 課題(1) | 森純一郎

3-11 課題(2) | 森純一郎

講義資料3 | 森純一郎

配付資料4_ex2.pdf | 森純一郎

配付資料5_python_for_data_analysis2.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

user_class.csv.pdf | 森純一郎

user_score.csv.pdf | 森純一郎

4. データの記述統計・前処理

4-1　データの記述統計 | 森純一郎

4-2　統計的推測 | 森純一郎

4-3　データの相関 | 森純一郎

4-4　データマイニングのプロセス:データの前処理 (1) | 森純一郎

4-5　データマイニングのプロセス:データの前処理 (2) | 森純一郎

4-6　課題 (1) | 森純一郎

4-7　NumPy (1) | 森純一郎

4-8　NumPy (2) | 森純一郎

4-9　NumPy (3) | 森純一郎

4-10 matplotlib | 森純一郎

4-11 課題 (2) | 森純一郎

4-12 課題 (3) | 森純一郎

講義資料4 | 森純一郎

配付資料6_ex3.pdf | 森純一郎

配付資料7_python_for_data_analysis3.pdf | 森純一郎

配付資料8_python_for_data_analysis4.pdf | 森純一郎

exam_score.csv.pdf | 森純一郎

simple_score.csv.pdf | 森純一郎

score_outlier.csv.pdf | 森純一郎

score_missing.csv.pdf | 森純一郎

5. テキスト分析の基礎

5-1 テキスト分析の基礎 | 森純一郎

5-2 コーパス | 森純一郎

5-3 テキスト分析 | 森純一郎

5-4 ベクトル空間モデル | 森純一郎

5-5 cos類似度 | 森純一郎

5-6 単語共起 | 森純一郎

5-7 テキスト分析と学習タスク | 森純一郎

5-8 Pythonと文字列 | 森純一郎

5-9 課題(1) | 森純一郎

5-10 課題(2) | 森純一郎

講義資料5 | 森純一郎

配付資料9_ex4.pdf | 森純一郎

course_list.csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

6. ネットワーク分析の基礎

6-1 ネットワーク分析の基礎 | 森純一郎

6-2 パス／経路 | 森純一郎

6-3 中心性 (1) | 森純一郎

6-4 中心性 (2) | 森純一郎

6-5 ネットワークの特徴 | 森純一郎

6-6 コミュニティ抽出 (1) | 森純一郎

6-7 コミュニティ抽出 (2) | 森純一郎

6-8 NetworkX | 森純一郎

6-9 課題 (1) | 森純一郎

6-10 課題 (2) | 森純一郎

講義資料6 | 森純一郎

配付資料10_ex5.pdf | 森純一郎

配付資料11_networkx.pdf | 森純一郎

7. クラスタリング

7-1 クラスタリング | 森純一郎

7-2 凝縮型階層的クラスタリング | 森純一郎

7-3 K-MEANS法 | 森純一郎

7-4 K-MEANS++ ／クラスタ数の決定 | 森純一郎

7-5 課題 | 森純一郎

7-6 課題 | 森純一郎

7-7 課題 | 森純一郎

7-8 課題 | 森純一郎

講義資料7 | 森純一郎

配付資料12_ex6.pdf | 森純一郎

course_list .csv.pdf | 森純一郎

keyword_list.csv.pdf | 森純一郎

8. 主成分分析

8-1 主成分分析：概要 | 森純一郎

8-2 主成分分析：数式的解説 | 森純一郎

8-3 主成分分析：正規直交基底 | 森純一郎

8-4 主成分分析の手順 | 森純一郎

8-5 課題(1) | 森純一郎

8-6 課題(2) | 森純一郎

講義資料8 | 森純一郎

配付資料13_ex7.pdf | 森純一郎

9. 教師あり学習(1)：線形回帰

9-1 教師あり学習 | 森純一郎

9-2 線形回帰：概要, コスト関数 | 森純一郎

9-3 線形回帰：最急降下法(1) | 森純一郎

9-4 線形回帰：最急降下法(2) | 森純一郎

9-5 学習モデルの評価 | 森純一郎

9-6 正規方程式 | 森純一郎

9-7 最尤推定 | 森純一郎

9-8 課題(1) | 森純一郎

9-9 課題(2) | 森純一郎

9-10 課題(3) | 森純一郎

講義資料9 | 森純一郎

配付資料14_ex8.pdf | 森純一郎

iris.csv.pdf | 森純一郎

10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化

10-1 過学習 | 森純一郎

10-2 正則化 | 森純一郎

10-3 正則化の解釈 | 森純一郎

10-4 ロジスティック回帰：シグモイド関数 | 森純一郎

10-5 ロジスティック回帰：コスト関数 | 森純一郎

10-6 ロジスティック回帰：多変数の入力 | 森純一郎

10-7 ロジスティック回帰の過学習、精度検証 | 森純一郎

10-8 課題(1) | 森純一郎

10-9 課題(2) | 森純一郎

10-10 scikit-learnでのロジスティック回帰 | 森純一郎

講義資料10 | 森純一郎

配付資料15_ex9.pdf | 森純一郎

11. 機械学習の実践

11-1 特徴量選択 | 森純一郎

11-2 BIASとVARIANCE | 森純一郎

11-3 学習モデルの調整 | 森純一郎

11-4 機械学習の実践：データの観察 | 森純一郎

11-5 機械学習の実践：モデルの学習 | 森純一郎

11-6 機械学習の実践：モデル選択と評価 | 森純一郎

11-7 機械学習の実践：グリッドサーチ | 森純一郎

11-8 機械学習の実践：cross_val_score | 森純一郎

11-9 機械学習の実践：概観 | 森純一郎

11-10 課題 | 森純一郎

講義資料11 | 森純一郎

配付資料16_ex10.pdf | 森純一郎

配付資料17_practical_ds.pdf | 森純一郎

winequality-red.csv.pdf | 森純一郎

12. 全体のまとめ

12-1 データ分析のフレームワーク | 森純一郎

12-2 全体のまとめ(1)：概観 | 森純一郎

12-3 全体のまとめ(2)：データ分析 | 森純一郎

12-4 全体のまとめ(3)：機械学習 | 森純一郎

12-5 数学について | 森純一郎

12-6 参考書・ウェブサイト紹介 | 森純一郎

講義資料12 | 森純一郎

おすすめの講義

4-6 ニュートン法の例題

最適化手法（数理手法III）

4-6 ニュートン法の例題

寒野善博

時間をあたえあう―タンザニアの零細商人の贈与論

学術フロンティア講義「30年後の世界へ― 空気はいかに価値化されるべきか」

第4回時間をあたえあう―タンザニアの零細商人の贈与論

小川さやか

記号とパターンのはざまに

ビッグデータ時代の人工知能学と情報社会のあり方(学術俯瞰講義)

第10回記号とパターンのはざまに

松尾豊

生き物の設計図はつぎはぎだらけ

「かたち」と「はたらき」の生物進化－偶然か必然か（学術俯瞰講義）

第1回生き物の設計図はつぎはぎだらけ

塚谷裕一

合成関数の微分、高次導関数

数学ⅠB（微積分）

第16回合成関数の微分、高次導関数

斉藤毅

G: 確率モデルによる音声認識 [音声認識の理論と実際]

応用音響学

第7回 G: 確率モデルによる音声認識 [音声認識の理論と実際]

嵯峨山茂樹

アンケートにご協力ください