TASK : 講義資料

DATE 2019-04-27
TOPIC 講義・演習1 知能とは,不完全性定理,記号接地問題,フレーム問題
DEADLINE

第一回講義資料
第一回講義ビデオ

スケジュールと演習
補講と演習の準備
マシンの割り当て
演習用PDF
手書き数字 画像例

演習用PDF解答

最終課題について

NLP演習課題について

NLP演習資料

CV演習最終課題について

Manga109を使った課題に取り組んで頂きます.
漫画データの取扱いに関しては下記をご確認ください.

    • *非営利機関における学術研究に限定した使用目的とすること.
    • *商用目的の場合,support_comic@hal.t.u-tokyo.ac.jpあてに連絡し事前承認を得ること.
    • *第三者に本データセットを譲渡しないこと.
    • *利用した画像を論文,ビデオ等で使用するときは,当該漫画の著作権表示「作者名」を併記すること.

 

課題1: 漫画の登場人物の顔検出

漫画の登場人物の顔検出に取り組んで頂きたいと思います.こちらに相澤山崎研の発表したManga109とDetectionについての論文があります.これを参考に,顔検出をするdetectorをご自分で作ってみてください.性能を上げることを意識してみてください.

データ
/public/dl_exp_cv_add/manga/Manga109/books.txtに訓練画像とテスト画像との分け方が書いてあります.
訓練+テスト画像 /public/dl_exp_cv_add/manga/Manga109/images
アノテーション  /public/dl_exp_cv_add/manga/Manga109/annotations

コード
検出結果を表示する (手元のPCでしたらmanga.pyが使えます)
/public/dl_exp_cv_add/manga/manga.ipynb
訓練を行う(chainercvのgithubのSSDのコードそのままです,自分の学習用に適宜変更してください)
/public/dl_exp_cv_add/manga/train

参考資料
ChainerCVのドキュメント
ChainerCVのobject detectionのtutorial
SSDのコード

課題2: 漫画の作品や登場人物をあてる

下記の顔データとそのアノテーションを学習し,顔が登場する作品名をあてる,もしくは,そのキャラクター名をあてることに挑戦してみてください.annotation.csvに訓練用とテスト用画像のflagがついています.詳しくは該当フォルダのreadme.txtをご参照ください.

データ
/public/dl_exp_cv_add/manga/face_dataset