開発日誌20200814_アプリネタ探しアプリのバッチ処理を作った(cron仕込みのバッチ処理〜機械学習を添えて〜)

  • 最近こんなことをやっていて、今までは収集済みの一部データのみを表示させていたけど、日々新しいデータが生まれ続けるので以下のバッチ処理を作った
    • 夜間バッチで前日分データを抽出
    • アプリネタとして使えそうなデータかどうかを機械学習で自動判別
      • ご協力頂いたテストユーザーの皆様、本当にありがとうございます
      • 機械学習モデルはパラメータ調整を繰り返すなどして今後も改善していきたい
    • 使えそうと判断されたデータをトピックモデルで自動分類して5つのカテゴリに分ける
      • 全データを一画面で出すより、それぞれのデータのカラーが出るように分類した方が面白そうだと思った
    • DB保存やファイルコピー等を行い、Django上で表示できるようにする
  • JOBフローみたいなのをnuboardに書いてみて、COBOLやってた頃を思い出して楽しかった
    • これは途中で落ちても翌日確認で良いし、夜間・休日呼び出しもないので幸せ
  • まだ認証周りや精度向上等、やることは盛りだくさんなので引き続き頑張る