アプリとサービスのすすめ

アプリやIT系のサービスを中心に書いていきます。たまに副業やビジネス関係の情報なども気ままにつづります

機械学習

xgboostの回帰モデルで精度検証から重要な特徴量選択までやってみた全行程まとめ(機械学習)

今回はkaggleでよくある特徴量エンジニアリングのテクを使って、精度向上から重要な特徴選択までをやった。普通は精度高ければ終わり的な感じだけど、今回は精度検証からさらに掘り下げて、特徴量の選択までやったので、その過程を書いてく。目次 ・プロジェ…

Djangoでアップロードした画像をCNNで予測し、結果を返すアプリを作ってみた(画像認識、機械学習)

kerasで作った画像分類器に画像を読み込ませ、予測したラベルのidを返すアプリ作った。以前、rubyで作ったことがあるけど、今回はpython専用のフレームワークDjangoを使って作成。画像分類器にはCNNを使ったので、GPUとか学習のところは割愛して、アプリ作成…

LSTMを使って異常検知手法で急上昇ワードをやってみた(機械学習-変化点検知)

急上昇ワード(バースト検知)とえば、googleやyahoo!でも似たようのがある。今回はあれほど高性能じゃないけど、急上昇ワードと同じ仕組みのものを異常検知手法でやってみた。目次 ・訓練 ・閾値の設定 ・テスト ・実際に急上昇ワードをやってみる今回はBigQu…

列名とかデータ加工に使うpandasの便利な機能まとめ (python・機械学習)

今回はデータ加工に使えるpandasの機能を紹介する。kaggleを含め、機械学習のデータ加工はpandasでの加工が多い。理由は単純にpandasはデータ加工において、扱いやすいから。今回はxgboostの特徴量を加工する機会があった。そのときに使ったり、調査したkagg…

異常検知(変化検知)の詳細と特異変換スペクトルと動的時間伸縮法まとめ(機械学習)

異常検知とは、機械学習の一手法で、普通の値のデータの中から極端に大きかったり、小さい値の「異常」なデータを見つけ出すものだ。 異常検知の用途で有名どころは巷では以下のようなものがメインらしい ・マーケティング =>流行のブレイクの検出 ・コン…

DCGANで生成した訓練画像を使ってCNNで画像分類してみた【Deep learning】

以前からDCGANで生成した画像でデータセットを作ろうと思い、画像生成をしていたが、ようやくそれっぽい画像ができた。 今回はDCGANで作成した画像を「訓練画像」に、DCGANに食わせた元画像を「テスト画像」にして、CNNで分類してみることにした。CNNは以前…

VGGNetを参考にしたCNN(tensorflow)でマンション関連の画像を分類してみる

マンション関連の画像をCNNで分類する試みをしてみた。普通のcifar-10のモデルだと正解率が低かったが、VGGNet(Visual Geometry Group Networks)と呼ばれる高性能のCNNを実装しているサイト(すぎゃーんメモ)があったので、試しに実装してみたところ正解率87.…

機械学習(ディープラーニング)画像認識・処理のための画像データ数値化&増やし方

今回は機械学習(ディープラーニング)で画像データを収集し、それを増やす方法について書きます。最終的にはDCGANで何かしら作成することを考えており、今回はDCGANのデータセットとして「より少ない手間で、よりたくさんのデータを作成する」をモットーに…

ruby on railsで機械学習用の画像にラベル付けするアプリを作ってみた

普段は機械学習を学んでいてpythonを使っていますが、データ画像にラベル付けをする作業がめんどいのでラベル付け専用のアプリをruby on railsで作成しました。rails初心者ですが、Githubのオープンソースから自力でアプリを動かせるまでにしたこと、またそ…

TensorflowのTensorboardをMac book air(Pro)で開く方法【機械学習】

anacondaで作成したファイルをTensorboardで開く方法をまとめます。現状、Tensorflowを使うのはほとんどanaconda。その際、Tensorboardを開くための方法について、いろんなサイトでバラバラの情報が飛び交っていてわかりにくかったので、Macで開く方法を一括…

anacondaのJupyterでmecabをインストールする方法【Mac】

Mecabとはmecabは形態素解析ツールで文章を単語に分けてくれるツールです。ナイーブベイズ分類器というメールのスパム判定などに用いる機械学習のシステムの学習によく使うと思います。 使用環境 ・Mac book air ・anacondaの使用環境で使ってインストールし…

書籍『Tensorflowで学ぶディープラーニング入門』の内容まとめ(2章〜5章)#多層ニューラルネットワーク(CNN)で何ができるようになるか

前記事の続きです。この記事では書籍『Tensorflowで学ぶディープラーニング入門』の2〜5章を学んで、Tensorflowで何ができるようになるかをまとめています。あくまで学習メモですが、この書籍を通してTensorflowがどこまで学べるかの参考にしてもらえればと…

書籍『Tensorflowで学ぶディープラーニング入門』まとめ(1章)#Tensorflowコードの基本的な使い方

この記事は前の記事の続きで書いてます。前記事はこちら trafalbad.hatenadiary.jp Tensorflowの基本的な使い方 ここでは機械学習の基本「最適化アルゴリズム」の3ステップをTensorflowで実際に実装していきます。(ディープラーニングは「最適化アルゴリズ…

書籍『Tensorflowで学ぶディープラーニング入門』の内容まとめ(1章)#Tensorflowコードの仕組みを理解する

ディープラーニングを学ぶ上で、Google が提供するTensorflowの学習は避けて通れません。2015年に発表されてからまだ十分な学習環境が整っていないので、一部の書籍やネット上の情報で学ぶしかないのが現状です。今回はTensorflowのチュートリアルの1〜4まで…

AnacondaのjupyterでTensorFlow環境を構築する方法【Mac版】

anacondaはディープラーニングを実装する上でかなり便利なツールだ。特にTensorflowなど特定のライブラリを使用するなら一番お手頃だろう。今回はディープラーニングのためにanaconda、その中に設置されているjupyterでTensorflowの使用環境を構築するやり方…

courseraのMachine Learning(機械学習)の講義内容まとめ(6〜11講義の概要)

前回に引き続き、courseraのMachine Learning(機械学習)コースの講義概要を書きます。知識ゼロで見るとよくわからない内容ですが、機械学習が学ぼうとしてるなら何言ってるかおおまかにわかるはず。これから機械学習を学んでみようと思うのでcourseraのMac…

courseraのMachine Learning(機械学習)の講義内容まとめ(1〜5講義の概要)

将来的にプログラミングを学ぶ必要がでてきた(主にディープラーニング)ので、courseraのMachine Learning(機械学習)コースを受講しました。 講義内容としては機械学習の基礎を広く理解するためのもので、機械学習でどのような手法が使われているかを紹介…