強化学習はモデルベースとモデルフリーに分類できて、前回はモデルベースの手法をまとめた。 今回はモデルフリーのメインの手法をまとめてく。モデルベースの手法はこちら。 trafalbad.hatenadiary.jp 目次 1.変数、関数、環境、エージェントの定義 2.モデル…
書籍「pythonで学ぶ強化学習」を読んだ。強化学習のアウトプットの機会がないので、とりあえず学んだ内容を備忘録も兼ねてまとめてみた。主に強化学習は「モデルベース」と「モデルフリー」に分類でき、今回はモデルベースの手法のまとめ。目次 1.モデルベー…
メルカリの画像分類で、end-to-endで学習した学習済みモデルを使って、特徴抽出してから、faissで類似画像検索する手法が使われてた。詳しくは語られてないけど、下の図の流れ。 手順でいうとこんな感じ→データセット画像(indexing dataset)とクエリ画像(que…
pythonのフレームワークでflaskが人気みたいだけど、せっかくDjango勉強したし、フレームワーク的に仕組みも同じなので、どうせならDjangoで作ったアプリをGKE上でデプロイしようと思い、やってみた。前回、ローカルで画像の予測ラベルを表示するDjangoのア…
2017〜2018年で頻繁に使ったコードのまとめで、個人的備忘録。 これからも追記はしてきます。pandasQ1.pandasで特定の列だけ演算をする場合下のようなDataFrame(df)で、特定の列('c')を-1する場合。 # df a, b, c, d, e 0 1 2 3 2 2 1 2 2 3 2 1 2 3 3 3 4 4…
プログラミングで仕事するようになってから、PCや勉強などで目をより使うことになった。過去の悪き呪いもあり、目が悪くなるのはやばいと思いかなりケアに徹してきた。その結果、個人的に目のケアで普段やってることをまとめておこうと思う。目を悪くしない…
機械学習運用環境(MLops)の一部を話題のkubernetes(k8s)で作成してみた。GCPのGKE上でk8sを利用できるので、今回はGKE上で途中まで構築。今回参考にするMLopsは下の図。どうもこのサイトによるとメルカリでマイクロサービスとして運用されてるらしい このMLo…
レコメンドは普通、評価値（レーティング）を使った手法がメインだが、今回は都合でレーティングがない環境下で、レコメンドアルゴリズムを作らなきゃならなかった。 そこで、アソシエーション分析を使ったレコメンドアルゴリズムを作ったので、その過程をま…
今回はクラスタリング手法で、画像の重要な色を検出するタスクをやった。ニューラルネットワークならより正確な検出が可能だけど、データセット作成もろもろコストがでかい。なので、昔からあるクラスタリング手法で手軽に、かつ精度よく色を検出してみた。…
今回はkerasを使って、AWSのGPU環境下で5百万枚の画像を訓練してみた。ラベル数は200ラベル。おそらくビックデータと呼ばれる規模だと思う。エラーとか、障壁が多々あったので、備忘録もかねて工程を一通りまとめてく目次 ・EC2にGPU適用&jupyter環境構築 ・…
今回はkaggleでよくある特徴量エンジニアリングのテクを使って、精度向上から重要な特徴選択までをやった。普通は精度高ければ終わり的な感じだけど、今回は精度検証からさらに掘り下げて、特徴量の選択までやったので、その過程を書いてく。目次 ・プロジェ…
kerasで作った画像分類器に画像を読み込ませ、予測したラベルのidを返すアプリ作った。以前、rubyで作ったことがあるけど、今回はpython専用のフレームワークDjangoを使って作成。画像分類器にはCNNを使ったので、GPUとか学習のところは割愛して、アプリ作成…
急上昇ワード(バースト検知)とえば、googleやyahoo!でも似たようのがある。今回はあれほど高性能じゃないけど、急上昇ワードと同じ仕組みのものを異常検知手法でやってみた。目次 ・訓練 ・閾値の設定 ・テスト ・実際に急上昇ワードをやってみる今回はBigQu…
今回はデータ加工に使えるpandasの機能を紹介する。kaggleを含め、機械学習のデータ加工はpandasでの加工が多い。理由は単純にpandasはデータ加工において、扱いやすいから。今回はxgboostの特徴量を加工する機会があった。そのときに使ったり、調査したkagg…
異常検知とは、機械学習の一手法で、普通の値のデータの中から極端に大きかったり、小さい値の「異常」なデータを見つけ出すものだ。 異常検知の用途で有名どころは巷では以下のようなものがメインらしい ・マーケティング ＝＞流行のブレイクの検出 ・コン…
大学編入というと最近では、ネット上でも具体的な情報が出回ってきた。しかし、口頭試験や専門的な科目の情報はまだ少ない。今回は質問をもらったので、編入試験に役立つ情報として口頭試験について、英語の勉強法等、編入あるあるの質問に回答していきたい…
川田まみさんの曲はアニメ界では有名で、アップテンポ系からバラードまで心が動かされる曲ばかり。川田まみは2001年から活動を開始し、音楽制作プロダクション「I’ve」のメンバーとして、アニメやゲーム関連の楽曲を多くリリース。2016年5月21日の「MAMI KAW…
以前からDCGANで生成した画像でデータセットを作ろうと思い、画像生成をしていたが、ようやくそれっぽい画像ができた。 今回はDCGANで作成した画像を「訓練画像」に、DCGANに食わせた元画像を「テスト画像」にして、CNNで分類してみることにした。CNNは以前…
マンション関連の画像をCNNで分類する試みをしてみた。普通のcifar-10のモデルだと正解率が低かったが、VGGNet(Visual Geometry Group Networks)と呼ばれる高性能のCNNを実装しているサイト(すぎゃーんメモ)があったので、試しに実装してみたところ正解率87.…
今回は機械学習（ディープラーニング）で画像データを収集し、それを増やす方法について書きます。最終的にはDCGANで何かしら作成することを考えており、今回はDCGANのデータセットとして「より少ない手間で、よりたくさんのデータを作成する」をモットーに…
最近は結婚する人たちを周りでかなり見かけるのに伴い、自分もしなければならないという強迫観念に襲われる。しかし、実際のところ最近では「結婚しなくてもいい」という考えの人も多いので、自分も縛られたくないため、なるべく無理して結婚はしたくない。…
この記事では医学翻訳に必要な医学の基礎知識を載せたサイトをまとめた。前の記事を含め、医学翻訳を学ぶ際の「医学の全体像＆その知識」として役に立つものを集めてある（参考：翻訳学校のテキスト内容）。「医学翻訳をやるので専門知識をお手軽に学びたい…
医学翻訳をするには、基本的な医学の専門知識が必要になる。これから2記事にわたって紹介するサイトは、医学翻訳で使う医学情報を掲載している（参考：翻訳学校のテキスト内容）。医学といっても翻訳で使う範囲は幅広いので、「医学の全体像＆その知識」を把…
大学編入試験に関する情報は思ったより少ないし、そんな中でいろいろ悩むこともあるはずだ。編入試験に関して質問をもらったので、この記事ではその質問に淡々と答えていこうと思う。内容がかなり個人的になってしまうが、前回書いた記事の内容についての質…
前回に引き続き、courseraのMachine Learning（機械学習）コースの講義概要を書きます。知識ゼロで見るとよくわからない内容ですが、機械学習が学ぼうとしてるなら何言ってるかおおまかにわかるはず。これから機械学習を学んでみようと思うのでcourseraのMac…
将来的にプログラミングを学ぶ必要がでてきた(主にディープラーニング）ので、courseraのMachine Learning（機械学習）コースを受講しました。 講義内容としては機械学習の基礎を広く理解するためのもので、機械学習でどのような手法が使われているかを紹介…
この記事はGoogle検索で「クリストッフェル記号」の計算方法を探してる人向けに書いています。 この記事は某国立大学の物理学の一般相対性理論の授業のレポート録です。＊この記事では「クリストッフェル記号」の計算方法が具体的にわかるように書いています…
漫画「浅尾さんと倉田くん」は結構前の漫画だ。とはいえ何回読んでも色あせない面白さがある。その面白さは高校生によくある人間関係を深すぎるくらいの心情描写とともに描いてる点だ。 だからかもしれないが、人間・友達関係で参考になることがかなりたくさ…
自分は数年前に大学編入試験を受けた。理系志望で難関国公立に受かっている。編入試験は一般に出回っている情報がメチャクチャ少なく、勉強法などは経験者や予備校などクローズドな人しか知らない(はず)。そこで今回は大学編入試験(または学士編入)の受験科…
翻訳に辞書は欠かせませんが、プロが扱う辞書は決まって、高価なものです。普通は翻訳やりたてのホヤホヤにはそんな投資資金はありません。 ところが最近では優秀な無料のオンライン辞書、格安でプロ並の機能を備えたツールが利用できるようになりました。今…
