MLOps

この記事は、私の作成した pxq というジョブ管理 CLI の紹介です。 この記事を読んでほしい人 クラウド GPU を使いたいけどイマイチ使えてない人 お家に GPU は買えないけど、Kaggle でゴリゴリ GPU 使いたい人 RunPod やクラウド GPU の仕組みに詳しくない人 多くの Kaggler が抱えている課題 Kaggle でクラウド GPU って便利そうだけど… 使い方がよくわからん できるだけ安く GPU を使い倒したい 実験のたびにポチポチ設定するのが面倒 複数の実験を並列に回したい そんな悩みを解決するのが、私が開発した pxq です。 pxq を使うのはどうでしょう？ pxq は、クラウド GPU を「もっと簡単に便利に」使うためのツールです。 GitHub リポジトリ: https://github.com/takeru1205/pxq PyPI プロジェクト: https://pypi.org/project/pxq pxq でできること シンプルな CLI でジョブを管理: pxq add "コマンド" だけで GPU ジョブを実行 自動 Pod 管理: ジョブ完了後、自動的に Pod を停止して課金を抑制（managed モード） Web ダッシュボード: 進捗をリアルタイムで監視 Network Volume 活用: 一度ダウンロードしたデータを複数 Pod で使い回せる SSH 接続: 実行中の Pod に簡単 SSH デバッグ RunPod とは？初心者向け解説 pxq を使う前に、RunPod の基本を知っておきましょう。...

お仕事でリアルタイムのMLエンドポイントを立てる事がなく、知見があまりない。 単純に、各フレームワークでの実行速度が気になったから雑に比較してみた。 実装したコードはこちらのGitHubリポジトリ 雑なまとめ Pythonを使う環境ならFastAPIを使えば問題ない。欲を言えば、onnxにモデルを変換しておくのが理想。 モデルをonnxに変換できる かつ Rustを利用できる環境 なら、Rustでエンドポイントを立てるとより高速な推論が期待できる。 比較する条件 フレームワーク Python FastAPI Flask Rust(axum, tokio) ort(onnx runtime) tract(onnx runtime) ※ RustのコードはClaudeCodeに書いてもらいました モデル PyTorch(2層のNN) LightGBM PyTorch ONNX(2層のNN) LightGBM ONNX タスク Titanicの生存予測(2値分類) 学習コードは notebooks/ にある。 特徴量 Pclass(Int) Sex(String) Age(Int) SibSp(Int) Parch(Int) Fare(Float) 前処理 Sex → Label Encoding Age → Fill Null(median) Age → Standard Scaler Fare → Standard Scaler 結果 各フレームワークで実装したエンドポイントに1000回のリクエストを送信して、計測した結果を集計した。 すべて、同じマシン上で実行・リクエストを行っている。 Framework 平均推論時間 (ms) FastAPI 約 1.75 ms Flask 約 2....