アプリとサービスのすすめ

アプリやIT系のサービスを中心に書いていきます。たまに副業やビジネス関係の情報なども気ままにつづります

個人的なpythonのclassと継承、super、その他*argsとかのアウトプットまとめ

class、継承や*argsとか、pythonでまだまともに使ったことがないメソッドが多かったので、暇がある機会に学習した。なので淡々と書くアウトプットログ。早く身につけるコツはこの一年で大分学んだ。基礎を学んだら、問題設定でもなんでもして、さっさとアウ…

自然言語処理タスクでいろんなRNN系ニューラルネットでの精度を検証してみた【keras・機械学習】

深層学習を使った自然言語処理のタスクで、ネガポジの2値分類をやった。 その際、自然言語処理向けのいろんなRNN系のニューラルネットワーク(NN)を使ったので、各NNの精度を順にまとめてく。ちなみに、 ・不均衡データに対して損失関数でチューニングする…

ニューラルネット(RNN, LSTM)で使う自然言語処理の単語埋め込み(word embedding)のやり方まとめ【機械学習】

ニューラルネット(RNNとかLSTM)で自然言語処理をするときに、embbedingレイヤーを使い、単語を入力する。そのとき、単語をidベクトルに変換する「単語埋め込み(word embedding)」という手法を使う。簡単にいうと、従来の自然言語処理で使うone-hot表現とは…

CNNの訓練済みモデルで特徴抽出して、faissによる類似画像検索してみた【機械学習】

メルカリの画像分類で、end-to-endで学習した学習済みモデルを使って、特徴抽出してから、faissで類似画像検索する手法が使われてた。詳しくは語られてないけど、下の図の流れ。 手順でいうとこんな感じ→データセット画像(indexing dataset)とクエリ画像(que…

kubenetesでDjangoのアプリをデプロイする手順と作業ログ(on GKE)

pythonのフレームワークでflaskが人気みたいだけど、せっかくDjango勉強したし、フレームワーク的に仕組みも同じなので、どうせならDjangoで作ったアプリをGKE上でデプロイしようと思い、やってみた。前回、ローカルで画像の予測ラベルを表示するDjangoのア…

2017,18年で便利だったpython, sql,linuxとかのコマンド・コードまとめ

2017〜2018年で頻繁に使ったコードのまとめで、個人的備忘録。 これからも追記はしてきます。pandasQ1.pandasで特定の列だけ演算をする場合下のようなDataFrame(df)で、特定の列('c')を-1する場合。 # df a, b, c, d, e 0 1 2 3 2 2 1 2 2 3 2 1 2 3 3 3 4 4…

プログラマーの目の酷使・疲れを回復させるオススメの11の方法【視力ケア】

プログラミングで仕事するようになってから、PCや勉強などで目をより使うことになった。過去の悪き呪いもあり、目が悪くなるのはやばいと思いかなりケアに徹してきた。その結果、個人的に目のケアで普段やってることをまとめておこうと思う。目を悪くしない…

GKE上のkubernetesで機械学習運用環境(MLops)を作成手順・コマンド・知識メモ

機械学習運用環境(MLops)の一部を話題のkubernetes(k8s)で作成してみた。GCPのGKE上でk8sを利用できるので、今回はGKE上で途中まで構築。今回参考にするMLopsは下の図。どうもこのサイトによるとメルカリでマイクロサービスとして運用されてるらしい このMLo…

Amazon sagemakerで機械学習基盤(MLops)のベース環境構築手順・使い方まとめ

機械学習基盤(MLops)をkubernetesで構築してたけど、amazon sagemakerを使ったら、kubernetesよりかなり簡単に構築できた。今回は、外部で学習したモデルでエンドポイント作成までやってみた。だいたい、MLopsをAmazon sagemakerで構築する前段階くらい。そ…

アソシエーション分析を使ったレコメンドアルゴリズム作成-機械学習・python

レコメンドは普通、評価値(レーティング)を使った手法がメインだが、今回は都合でレーティングがない環境下で、レコメンドアルゴリズムを作らなきゃならなかった。 そこで、アソシエーション分析を使ったレコメンドアルゴリズムを作ったので、その過程をま…

クラスタリング(k-means)で画像から色の検出(機械学習、opencv)

今回はクラスタリング手法で、画像の重要な色を検出するタスクをやった。ニューラルネットワークならより正確な検出が可能だけど、データセット作成もろもろコストがでかい。なので、昔からあるクラスタリング手法で手軽に、かつ精度よく色を検出してみた。…

AWSのGPU環境下でkerasを使った百万単位(ビックデータ)の画像分類の訓練、テスト、予測までの過程まとめ

今回はkerasを使って、AWSのGPU環境下で5百万枚の画像を訓練してみた。ラベル数は200ラベル。おそらくビックデータと呼ばれる規模だと思う。エラーとか、障壁が多々あったので、備忘録もかねて工程を一通りまとめてく目次 ・EC2にGPU適用&jupyter環境構築 ・…

xgboostの回帰モデルで精度検証から重要な特徴量選択までやってみた全行程まとめ(機械学習)

今回はkaggleでよくある特徴量エンジニアリングのテクを使って、精度向上から重要な特徴選択までをやった。普通は精度高ければ終わり的な感じだけど、今回は精度検証からさらに掘り下げて、特徴量の選択までやったので、その過程を書いてく。目次 ・プロジェ…

Djangoでアップロードした画像をCNNで予測し、結果を返すアプリを作ってみた(画像認識、機械学習)

kerasで作った画像分類器に画像を読み込ませ、予測したラベルのidを返すアプリ作った。以前、rubyで作ったことがあるけど、今回はpython専用のフレームワークDjangoを使って作成。画像分類器にはCNNを使ったので、GPUとか学習のところは割愛して、アプリ作成…

kerasでLSTM(QRNN)を使って異常検知手法で急上昇ワードをやってみた(機械学習-変化点検知)

急上昇ワード(バースト検知)とえば、googleやyahoo!でも似たようのがある。今回はあれほど高性能じゃないけど、急上昇ワードと同じ仕組みのものを異常検知手法でやってみた。目次 ・訓練 ・閾値の設定 ・テスト ・実際に急上昇ワードをやってみる今回はBigQu…

列名とかデータ加工に使うpandasの便利な機能まとめ (python・機械学習)

今回はデータ加工に使えるpandasの機能を紹介する。kaggleを含め、機械学習のデータ加工はpandasでの加工が多い。理由は単純にpandasはデータ加工において、扱いやすいから。今回はxgboostの特徴量を加工する機会があった。そのときに使ったり、調査したkagg…

異常検知(変化検知)の詳細と特異変換スペクトルと動的時間伸縮法まとめ(機械学習)

異常検知とは、機械学習の一手法で、普通の値のデータの中から極端に大きかったり、小さい値の「異常」なデータを見つけ出すものだ。 異常検知の用途で有名どころは巷では以下のようなものがメインらしい ・マーケティング =>流行のブレイクの検出 ・コン…

大学編入試験の英語(英作文)、口頭試験の対策等、使える情報をまとめてみた

大学編入というと最近では、ネット上でも具体的な情報が出回ってきた。しかし、口頭試験や専門的な科目の情報はまだ少ない。今回は質問をもらったので、編入試験に役立つ情報として口頭試験について、英語の勉強法等、編入あるあるの質問に回答していきたい…

川田まみの全ベストシングル、アルバムを聴いた僕がオススメする良曲26選【シャナ系あり】

川田まみさんの曲はアニメ界では有名で、アップテンポ系からバラードまで心が動かされる曲ばかり。川田まみは2001年から活動を開始し、音楽制作プロダクション「I’ve」のメンバーとして、アニメやゲーム関連の楽曲を多くリリース。2016年5月21日の「MAMI KAW…

料理でインスタグラムのフォロワー1000人超えの人に聞いた-フォロワーを増やす方法、料理のコツ、基本、レシピ管理術etc.

インスタグラムで趣味の料理を投稿してる知り合いがいる。フォロワーは1000人以上いて、企業とのコラボレーションもしている。ノウハウとかいろいろ知っていたので、興味があったことを根ボリはぼり聞いてみた。今回はその質問と回答内容をまとめていこうと…

DCGANで生成した訓練画像を使ってCNNで画像分類してみた【Deep learning】

以前からDCGANで生成した画像でデータセットを作ろうと思い、画像生成をしていたが、ようやくそれっぽい画像ができた。 今回はDCGANで作成した画像を「訓練画像」に、DCGANに食わせた元画像を「テスト画像」にして、CNNで分類してみることにした。CNNは以前…

一人でできるバドミントン練習方法10こまとめ【体幹・フットワーク・基礎力トレーニング】

バドミントンの練習は相手がいるのが、一番いいかもしれない。しかし、個人的にはシャットの打ち方を直したり、どんな風に練習したら効率的なのかなどをじっくり調整するには、一人で練習するのが一番だと感じている。実際、バドミントンが上達するのは、大…

VGGNetを参考にしたCNN(tensorflow)でマンション関連の画像を分類してみる

マンション関連の画像をCNNで分類する試みをしてみた。普通のcifar-10のモデルだと正解率が低かったが、VGGNet(Visual Geometry Group Networks)と呼ばれる高性能のCNNを実装しているサイト(すぎゃーんメモ)があったので、試しに実装してみたところ正解率87.…

一週間7000円以内で安い食材を使った飽きがこない節約メニューまとめ【一人暮らし用食材】

今、将来のインフラスキルを身につけるため修行中で、結構収入が限られているため、節約生活をしています。そこで安くて、旨い、かつ飽きがこないという内容で、7000円以内で済む一週間のメニューをまとめておきます。 約1年半かけて思考錯誤したメニューな…

機械学習(ディープラーニング)画像認識・処理のための画像データ数値化&増やし方

今回は機械学習(ディープラーニング)で画像データを収集し、それを増やす方法について書きます。最終的にはDCGANで何かしら作成することを考えており、今回はDCGANのデータセットとして「より少ない手間で、よりたくさんのデータを作成する」をモットーに…

医薬翻訳で使える英文フレーズ18選-英訳・日英翻訳例文集

日英翻訳(英訳)は英借文とも呼ばれるように、どれだけ良質の英文を覚えてるかが重要になる。特に医薬翻訳のような定式的な文章には、借文の効果はかなり高い。 参考書の英文もいいが、今回は市販では出回ってない翻訳試験の”TQE”と、翻訳学校のテキストの…

ruby on railsで機械学習用の画像にラベル付けするアプリを作ってみた

普段は機械学習を学んでいてpythonを使っていますが、データ画像にラベル付けをする作業がめんどいのでラベル付け専用のアプリをruby on railsで作成しました。rails初心者ですが、Githubのオープンソースから自力でアプリを動かせるまでにしたこと、またそ…

バドミントン上達のためには基礎スキル(基礎打ち、フットワーク、体幹)のマスターが徹底的に大事な理由をまとめていく

バドミントンに限らず、すべてのスポーツの上達に基礎のマスターは欠かせない。今回はバドミントンの上達方法としてバドミントンの基礎スキル(基礎打ち、フットワーク、体幹)について、なぜこれらを身につけることが重要なのかをまとめておこうと思う。目…

無理して結婚しなくてもいい生き方-独身でも自由に生きる人生について考えてみる

最近は結婚する人たちを周りでかなり見かけるのに伴い、自分もしなければならないという強迫観念に襲われる。しかし、実際のところ最近では「結婚しなくてもいい」という考えの人も多いので、自分も縛られたくないため、なるべく無理して結婚はしたくない。…

医学翻訳を独学で勉強するために:医療・医薬の専門知識参考サイト(遺伝子治療、医薬品、新薬申請、医療機器)

この記事では医学翻訳に必要な医学の基礎知識を載せたサイトをまとめた。前の記事を含め、医学翻訳を学ぶ際の「医学の全体像&その知識」として役に立つものを集めてある(参考:翻訳学校のテキスト内容)。「医学翻訳をやるので専門知識をお手軽に学びたい…