前回、状態価値関数を定式化し、決まった方策のもとベストな行動を学習することができました．おそらくこのベストな行動を次の方策としていけば、最適な方策が見つかりそうな気がします． ですが、実装してみると分かりますが、非常に計算時間が遅いです．誇…

今回は、前２回で整理した状態価値関数と同じ価値関数である行動価値関数（Action Value Function）について整理していきます． 以下を参考にしています．以下の記事はかなり丁寧に書かれていますが、だいぶはしょっていきます． qiita.com 行動価値関数と状…

前回、コチラの記事を参考のまま、状態価値関数の定式化を行いましたので、実際にプログラムに実装して状態価値関数の計算を行ってみます． 今回も前回と同様の記事を参考にしています． qiita.com この記事は私の学習用ノートです。上の記事をトレースして…

いきなりですが、状態価値関数・Bellman方程式について調べたくてこの記事にたどり着いた方は、何も考えずに以下の記事に飛んでください．時間を無駄にしなくてすみます． qiita.com 今回から、上のQiitaに投稿された記事をトレースしながら状態価値関数から…

はじめに 今回は、強化学習における最も重要な考え方の１つであるマルコフ決定過程について整理していきます． 目標 マルコフ決定過程の概要を理解する マルコフ決定過程（Markov Decision Processes） 強化学習の枠組み（再掲） マルコフ決定過程の説明に先…

今回の記事も、本テキストの主に2.6章、2.7章を整理したものになります．今回は、UCBアルゴリズムについて扱います． ε-greedy法と同じく行動選択のアルゴリズムになります． UCBアルゴリズム 早速ですがUCBアルゴリズムの説明をしていきます．UCBとはUpper …

今回の記事は、本テキストの主に2.5章からを整理したものになります．今回は、Non-stationary Problem（非定常問題）およびOptimistic Initial Values（楽観的初期値）について扱います． Tracking a Non-stationary Problem 前回は、行動の真の価値が変化し…

はじめに 今回は先日紹介した強化学習の本の２章に登場するMulti-armed Banditsをとりあげます． ２章で取り上げられているので問題としては非常に単純な問題なのですが、いまだに研究の題材としては度々扱われます．2018年12月に開かれた国際会議NeurIPS 20…

はじめに 今回は、唐突ですが強化学習について整理します． これまで（といってもたったの数回ですが）私が記事で扱ってきたのは、教師あり学習でした．前回クラスの勉強をしている際、ふと強化学習に興味を持ってしまいましたので、理解を深めるため記事に…

はじめに これまで、私が公開したいくつかのコードでは、写経部分ではたまに使っているかもしれませんが、自分のコーディング部分にはこれでもかというくらいにclassを使っていません． というのは、全然使い方が理解できていないからです．それに関数defが…

はじめに こんにちは、前々回に引き続きfine tuningを使ってまた別の識別問題に挑戦したいと思います．なお、前回は2クラスの識別問題として俳優の福士蒼汰さんと中川大志さんを識別するAIを作ってみました． shirakonotempura.hatenablog.com 今回やること…

今回は、少し教師あり学習におけるデータの扱いに考えたので整理します．訓練とか検証とかテストの話です． 私なりのかみくだいた解釈であり、言葉などは素人用語を多用しています．間違っていたら叱咤なりコメントなりください． データセットとは おそらく…

はじめに 前回、fine tuningで味を占めたので、ちょっと同じようなパターンで変わり種の識別をいくつかやっていきたいと思います． shirakonotempura.hatenablog.com 今回やること：『福士蒼汰』と『中川大志』の２クラス分類 早速ですが、今回は顔認識に挑…

はじめに ここ数日、画像識別に行き詰っていたのですがようやくネコ科の猛獣判別でいい精度が出せましたので、内容をまとめておきます． 画像識別で迷走した記録 - 他力本願で生き抜く（本気） いろいろと迷走してきたのですが、今回はタイトルにあるように…

はじめに 前回は、自分で作成したデータセットを水増しして4クラスの画像識別に挑戦しました．データを水増しすることで、汎化性能が上がりテストデータに対する精度が上がるかと思ったのですが、結果は惨敗．あらかじめ断っておきまさすが、今回の記事は迷…

はじめに 今回は、以前の記事で行ったネコ科の動物の画像識別に、前回覚えてデータの水増しを取り入れてみたいと思います． shirakonotempura.hatenablog.com おさらいしておきますと、前回行った8クラスの画像識別では、訓練データの精度は100%近く出るのに…

はじめに 今回は、前回の最後に言及した画像データの水増し（augmentation）というものを行っていきたいと思います． データの水増しとは まず、データの水増しとは何かというところから整理してみます．機械学習においては、何はともあれ学習データを用意す…

はじめに あけましておめでとうございます． 前回までに、Flickrを使ってPC上のフォルダに自分で画像データをダウンロードし、それを学習で使えるデータに変換することを行いました． 今回は、これら学習データを使った画像認識を行いたいと思います．前提と…