Machine Learning

この記事は、私の作成した pxq というジョブ管理 CLI の紹介です。 この記事を読んでほしい人 クラウド GPU を使いたいけどイマイチ使えてない人 お家に GPU は買えないけど、Kaggle でゴリゴリ GPU 使いたい人 RunPod やクラウド GPU の仕組みに詳しくない人 多くの Kaggler が抱えている課題 Kaggle でクラウド GPU って便利そうだけど… 使い方がよくわからん できるだけ安く GPU を使い倒したい 実験のたびにポチポチ設定するのが面倒 複数の実験を並列に回したい そんな悩みを解決するのが、私が開発した pxq です。 pxq を使うのはどうでしょう？ pxq は、クラウド GPU を「もっと簡単に便利に」使うためのツールです。 GitHub リポジトリ: https://github.com/takeru1205/pxq PyPI プロジェクト: https://pypi.org/project/pxq pxq でできること シンプルな CLI でジョブを管理: pxq add "コマンド" だけで GPU ジョブを実行 自動 Pod 管理: ジョブ完了後、自動的に Pod を停止して課金を抑制（managed モード） Web ダッシュボード: 進捗をリアルタイムで監視 Network Volume 活用: 一度ダウンロードしたデータを複数 Pod で使い回せる SSH 接続: 実行中の Pod に簡単 SSH デバッグ RunPod とは？初心者向け解説 pxq を使う前に、RunPod の基本を知っておきましょう。...

お仕事でリアルタイムのMLエンドポイントを立てる事がなく、知見があまりない。 単純に、各フレームワークでの実行速度が気になったから雑に比較してみた。 実装したコードはこちらのGitHubリポジトリ 雑なまとめ Pythonを使う環境ならFastAPIを使えば問題ない。欲を言えば、onnxにモデルを変換しておくのが理想。 モデルをonnxに変換できる かつ Rustを利用できる環境 なら、Rustでエンドポイントを立てるとより高速な推論が期待できる。 比較する条件 フレームワーク Python FastAPI Flask Rust(axum, tokio) ort(onnx runtime) tract(onnx runtime) ※ RustのコードはClaudeCodeに書いてもらいました モデル PyTorch(2層のNN) LightGBM PyTorch ONNX(2層のNN) LightGBM ONNX タスク Titanicの生存予測(2値分類) 学習コードは notebooks/ にある。 特徴量 Pclass(Int) Sex(String) Age(Int) SibSp(Int) Parch(Int) Fare(Float) 前処理 Sex → Label Encoding Age → Fill Null(median) Age → Standard Scaler Fare → Standard Scaler 結果 各フレームワークで実装したエンドポイントに1000回のリクエストを送信して、計測した結果を集計した。 すべて、同じマシン上で実行・リクエストを行っている。 Framework 平均推論時間 (ms) FastAPI 約 1.75 ms Flask 約 2....

自宅サーバーを立てた 勉強(遊ぶ)ためになんとなく自宅にサーバーを立てたくなった結果、気づいたら色々ポチっていた。 スペック CPU: AMD Ryzen9 7945HX(16Core/32Thread)(Amazonリンク) RAM: DDR5-5200 SODIMM 96GB(48GBx2)(Amazonリンク) GPU: NVIDIA RTX3060 12GBAmazonリンク クーラー: Corsair NAUTILUS 240 RSAmazonリンク ストレージ: NVMe 2TBAmazonリンク 電源: 玄人志向 80PLUS Bronze 650WAmazonリンク ケース: LianLi A3-mATX BlackAmazonリンク 組む時に考えていたこと PROXMOXを使ってVMを建てたいから、コア数(スレッド数)を多くしたい Ryzen CPUを使ったことがないから使ってみたい VRAMのコスパはAMDの方が良いけど、まだまだCUDAがデファクトスタンダードだから選択しづらい メインPCがあるからGPUにはそんなにお金をかけない。 ピカピカゲーミングで眩しくない サーバーで立っているもの サーバーはざっくり以下のイメージで構成されている。 現時点で、microk8sとDifyのVMが立っている。 リソースの配分はこんな感じ。 リソース microk8s Dify 余り vCPU 24 4 4 RAM 80 12 4 ストレージ 1TB 512GB 400GB その他 GPU - - microk8s microk8sでは、常時以下のものを動かしている mlflow tracking server MCPサーバー streamlitアプリ これらとは別に、必要な時に動かすものは以下のもの...