今回はTransformerを改造して、文章から音声を生成してみた。俗に言う、エンコーダ・デコーダ形式のモデル。 プロセスが長くなりそうなので、要点だけ備忘録もかねてまとめようと思う。 目次 1.Transformer-TextToSpeechとは？ 2.テキスト前処理 3.Transform…

「手押し井戸ポンプ」は、昔から田舎で使われてる「井戸から手動で水をくむポンプ」のこと（Amazonでも売ってる）。「手押し井戸ポンプ」の水をくむまでの大まかな動作は「押す(down)＝＞水をくむ(push pump)＝＞あげる(up)」の行動パターンを、シーソーのご…

今回はArduinoに機械学習(AI)を埋め込んで、webカメラから読み込んだストリーミング画像の画像分類結果からカギを解錠・施錠できるシステムを作ってみた。機械学習（AI）をハードウェアで実際に取り込んで作ったのはVitis AI以来、今回がはじめて。Arduino系…

ArduinoとPCとの情報のやりとりはシリアル通信でする。このサイトを参考にした。深層学習(DNN)にはシリアル通信は必須なので、やり方とデモもかねて動かしたコードをまとめていく。目次 1.Arduino Unoのシリアル通信の設定 2.Arduino UnoからPCへのデータ送…

ラズパイの一種、「Arduino UNO」の基本的な動作をさせる際のコード集（個人的メモ）。・Arduinoを動作させるまでの環境設定 ・MacにUSBを使ってUbuntuをインストールする方法も簡単に書いた。 目次 1.LEDを点滅させる 2.LEDをだんだん明るくさせる 3.Arduin…

flaskで機械学習の学習済みモデルを入れてkubenetes上で動かしてみた。curlで投げて、予測結果を受け取る形式だけど、envoyとかスケーラビリティも意識した構成になってる。kubenetes上での flask動作環境 目次 1.flaskアプリケーションの作成 2.Docker上でf…

前の記事「Vitis,Petalinuxのインストールから、Vivadoの起動まで【FPGA】-VitisPlatform作りpart2」でVivado, vitis, Petalinuxの環境構築をした。 PetaLinuxの環境構築をしておくことで、linux(PetaLinux)上から直接、ultra96ボードにアクセスできるらしい…

DeepMindが作った世界最強のゲームAIに使われているアルゴリズムが「AlphaZero」の仕組みを利用して、今回は「三目並べ」というゲーム版のAlphaZeroを作ってみた。今回は備忘録として「三目並べ版-AlphaZero」の仕組みを淡々とまとめていく。 目次 1.AlphaZe…

今回は・Vitisプラットフォーム(Vitis IDE)でultra96向けプラットフォームを作成・ultra96v2で実際に動作確認するところまでやってみたいと思う。本家サイトのラストの部分まで。 今回のpart4でこの部分ができる。 目次 1.ultra96向けプラットフォームの作成…

前回の続編のpart3。Vivadoでultra96のデザインブロックとかXSAファイルを作成した後、PetaLinuxでVitisプラットフォーム(vitis IDE)立ち上げまでやっていく。part3の作業で完了するのは「vitis IDE」構築のvitisの部分。 メインでにやること・ultra96の動作…

今回はVitisPlatfrom構築に必要な「Vitis、Petalinux、その他関連ツール」のインストール。 「Ultra96の開発環境(Vitis2019.2版)」をメインに参考にした。 Vitisプラットフォーム(vitis IDE)はVivado起動後に、「Ultra96用Vitisプラットフォームの作り方（BA…

・1.ultra96-v2動作に必要なもの 「はじめてのUltra96 必要なもの」によると、Ultra96-v2に必要なものは、買った付属品以外に、 ・「Vitisプラットフォーム(vitis IDE)」という開発環境の構築・環境構築用OS ubuntuが必要らしい。 ・2.まず自分がやること Ul…

AIをカメラとかのハードウェア上で動かすために、ラズパイと同じFPGA（Field Programmable Gate Array）のUltra96-v2を購入した。目的はハードでAIを使いたいから（≒ヒロアカのハイエンド脳無に惚れたから）。 FPGAでAIを動かすために必要な作業は下の図のよ…

今回はこの前の記事で書いた「signateの天気コンペ」の優勝者（天気の専門家ガチ勢）が実装したモデルを、既存のデータでも予測できる構成で個人的に作ってみた。 convLSTMを使わずにUnetにしたのは「予測」タスクではなく、「パターン認識」タスクにしたか…

エイリアスを設定して、長ったらしいlinuxコマンドのショートカットコマンドを、自分なりにカスタマイズして作成したのでその備忘録。これで面倒なコマンドはいちいちググらずに済む。 目次 1. .bashrcと.zshenv にエイリアスを記述する 2. .bash_profileで.…

オリジナルのデータセットにYOLOv3を使って物体検出した。 一から学習せずに、COCOデータセットの学習済みYOLOv3で転移学習してみたのでその備忘録 目次 1.オリジナルデータセットのclasses.txtと学習済みモデルの作成 2.訓練 3.学習結果 1.オリジナルデータ…

HOGとの組み合わせはSVMが有名だけど、今回はSVMじゃなく「HOG+AdaBoost」を使った。どっちも精度は同じくらいだけど、AdaBoostの方が2回目以降精度が増すし、汎用性が高いのが特徴。 目次 ・訓練データ・テストデータの収集 ・前処理 ・HOG＋AdaBoostで物体…

gitコマンドでbranchを作成してPR(Pull Request)を投げるなど、チームでコード管理したのでその備忘録。 git cloneしてPRを投げるまでの branchの流れ 目次 1. PRを投げるまで 2.PR作成作業 3.キレーなコードの書き方PRを投げるまで # コンソールのコマンド…

今回取り組んだプロジェクトは、・sagemakerの組み込みアルゴリズムのセグメンテーションを使って、物体の長さを求めるモデルの作成・CloudFrontで作ったフロント側から画像をPOST→lambda関数→sagemaker→推論→長さ測定→結果を表示する流れのMLops構築 の2つ…

SARという特殊な衛星画像から海氷領域を見つけるsignateのコンペで、その技術・やったこと等のログ。 コンペデータ構成画像 ・train画像：hh 80枚、hv80枚、アノテーション画像80枚 ・Test画像 hh 40枚、hv 40枚、アノテーションなし ラベル構成 ・Not sea i…

signateの雲画像予測コンペに初参加したので、そのログ。 個人の備忘録と技術メモのつもりで簡単にやったことつづってきます。まず結果は17位。1位との精度差は10%くらいだった。初参加にしては上々なできかな。レベル高くて驚いた。コンペのデータ構成デー…

九州の一人旅。福岡県市内から100kmは離れた添田町の大藪集落というところに行ってきた。googleで見ると大藪峠というのがあるらしいけど、どうやら下付近のダムの中に、昔は家が沢山あって今は林に埋れてしまった場所があるらしい。お目当の大藪集落の分校後…

今回は画像から異常を検知するタスクをやった。データセットはドイツの異常検知コンペのデータセット「DAGM 2007」。人が人為的に微細な傷をつけたかなりガチの異常検知用データセット。 精度出すのにやった過程とかを備忘録も兼ねてまとめてく。 目次 1.や…

画像と違って文章から感情を予測すること（emotion prediction from text）は未だ自然言語処理（NLP）界隈では、うまくいった事例が少ない。特に、単純なネガポジ判定ではなく、6感情（怒り、驚き、幸せ、嫌悪、恐れ、悲しみ）を分析する感情分析は、研究が…

Attentionといえば、すでに自然言語処理モデルではなくてはならない存在。 メカニズムは割愛。別名で注意機構とか呼ばれる。Attentionの仕組みは、（個人的に理解してる範囲では）簡単に言うと以下のポイントがある。・人間が特定のことに集中（注意）する仕…

googleの自然言語処理の高性能モデルBERTを使ってfine tuning(転移学習)をやった。BERT用のデータセットではなく、一般に公開されてるIMDBデータセット（映画レビュー）を使用。 2値分類用にBERTモデルを再構築して、ネガポジ判定したので、その過程をまてめ…

今回は論文で紹介されてたNVIDIAが開発したstyleGANを実装してみた。普通のGANとは生成過程も違うし、生成画像の出来の精度も比較にならないぐらい高くて、驚いた。 仕事で使う機会があったので、その生成過程をまとめてく。 目次 1.styleGANについて 2.styl…

よく元画像から別の画像を生成したりするのに使うautoencoderの亜種「Unet」を使ってみた。 今回やるのはadidasのスニーカーを入力して、ロゴを出力するように学習させるタスク。autoencoderを使うのは初めてなので、作業過程などをまとめてく。目次 1.概要 …

今回はgoogle colaboratory(colab)で訓練したCNNの訓練済みモデルとtensorflow.jsを使い、Node.jsのサーバ上で画像分類してみた。Node.jsを使ってjavascript用のサーバを立てたり、javascriptを使ったりと学ぶことが多かった。colab上で訓練→javascript上でm…

今回は音声認識のデータセット「ESC-50」をCNNで分類した。特にこだわったのが、GPUでも普通にやったらOOMエラーが出るくらいの大容量のデータセットを、kerasのfit_generatorメソッドを使ってCPU上でもできるようにしたこと。あとは音声認識は触れたことな…