【東京】AIバリューエンジニア（生成AI・AIエージェントの品質・評価）/ 製造業AIの継続改善

職種

AI・データマイニング

勤務地

東京都千代田区九段南1丁目6番5号 九段会館テラス

年収

800万～1,300万円

仕事内容

■担当業務内容
1．顧客成果に基づくAI品質設計・評価基盤の構築（50%）
　　AIの回答・提案によって顧客の作業が前進したかを定義・検証し、リリース可否を判断できる評価の仕組みを作ります。

　　- テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定・見積もり・購買などの顧客成果を測る評価指標と評価データセットを設計
モデル、プロンプト、検索、ルーティングを対象にした自動テスト・人手評価・回帰テストの評価パイプラインを開発
　　- 実利用ログ、ユーザーフィードバック、A/Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施
　　- 精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業・開発チームと合意

2．AIプロダクトの価値検証・継続改善（30%）
　　AIが顧客の設計・選定・見積もり・購買をどこまで前進させたかを測定し、改善を主導します。
　　- ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成
　　- AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル・データ・検索・体験設計の改善施策へ変換
　　- PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進

3. モデル・評価手法の研究開発と標準化（20%）
　　- LLM、SLM、マルチモーダルAIの評価・最適化手法を調査・検証し、製造業のユースケースへ適用
　　- 評価結果、既知の制約、利用条件を文書化し、チームの品質基準・レビュー手法として定着
　　- 論文読解、社内勉強会、技術発信を通じたチームのAI品質向上

仕事のやりがい（面白さ）
　AIの回答品質を測る物差しから作り、改善の優先順位とリリース可否を自ら判断できます。
　あなたが設計した評価ループが、日本・韓国・台湾から欧州までの顧客の部品選定体験と事業KPIを直接変えます。

3～5年後の想定されるキャリアパス
　‐ AI品質・評価組織を率いる「AIバリューエンジニアリングマネージャー」
　- AIプロダクトの品質戦略を担う「AIプロダクトマネージャー」
　‐ モデル・データ・評価の専門性を深める「プリンシパルAIエンジニア」

業務上の課題
　- 正解が一つではないAIの回答・提案に対し、顧客価値と事業KPIから評価基準を定義する必要がある
　- モデルの精度だけでなく、根拠の信頼性、応答速度、利用コストを踏まえてリリース可否を判断する必要がある
　- 実利用で生じる新しい失敗パターンを継続的に収集し、データ・モデル・体験設計へ素早く反映する必要がある

使用ツール
　・ 使用アプリケーション： MS Teams GitHub Projects GitHub Issues
　・ 開発環境： Python SQL／GCP (Vertex AI Cloud Run GKE) AWS／Elasticsearch Vertex AI Search／Terraform GitHub Actions／VS Code Cursor GitHub Copilot ClaudeCode GeminiCli（利用自由）
　・ その他： AI/ML: PyTorch 等の深層学習フレームワーク Hugging Face Vertex AI (Pipelines Feature Store Model Registry)／事後学習・軽量化: QLoRA 等／生成AI: GPT Claude Google Gemini Amazon Bedrock Azure OpenAI Service

応募条件

【必須】
- Pythonを用いたAI/機械学習プロダクト、データ分析、またはモデル評価の実務経験（3年以上）
　- 関係者と品質目標や改善の優先順位を合意し、施策の実行を推進した経験
　- 以下のいずれかで、課題設定から検証・改善までを主導した経験
　　・評価指標や評価データセットを設計し、複数のモデル・アルゴリズム・施策を比較して改善した経験
　　・A/Bテスト、ユーザー調査、利用ログ分析のいずれかを用いて、顧客の行動・タスク完遂・事業成果を改善した経験

【歓迎】
　- LLM・生成AIプロダクトの評価基盤、品質監視、またはLLMOpsの構築・運用経験
　- SLM・ローカルLLMの開発・評価、事後学習（SFT／DPO）、蒸留のいずれかの経験
　- マルチモーダルAI、OCR、図面・CAD理解、意図分類・ルーティング、検索拡張生成のいずれかの開発・評価経験
　- 検索、推薦、広告配信、需要予測など、データを用いたプロダクトの評価・改善経験
　- 定性評価を定量指標へ落とし込み、開発チームや事業部と品質目標を合意した経験
　- MLOps／LLMOps（実験管理・評価・モデルデプロイ・監視）に関する知識
　- 統計的な実験設計、データ分析、可視化に関する知識
　- 英語力（論文・技術ドキュメント読解レベル）

【求める人物像】
　- AIの「精度が高い」を鵜呑みにせず、オフライン評価が良くても顧客が目的を達成できなければ改善対象と捉えられる方
　- モデル、データ、プロダクト、事業指標を横断して原因を考え、関係者と改善の優先順位を合意できる方
　- 不確実な新規領域で、実利用の観察から課題を見つけ、検証と実装を自ら前に進められる方

休日休暇

完全週休2日制(土日)／祝日／年末年始（12/29～1/4）※ただし、業務の都合で休日を他の日に振替えることがある　有給(初年度：即日付与。日数は入社日によって変動。次年度以降：4月に付与)　慶弔休暇　特別休暇

年間休日数

124日

就業時間

09:00～17:30

企業概要

※売上高、従業員数はグループ連結数字です。持株会社のミスミグループ本社は東証プライム上場企業です。＜グローバル26万社の製造業を、800垓（1兆の800億倍）通りの商品で支え、プライム上場企業の中でも有数の高成長・高収益を実現し続けるグローバル企業＞
◆メーカー事業：FA（ファクトリー・オートメーション）装置用部品、金型部品等の企画・開発・製造・販売
　※世界のあらゆる製造業（BtoB）に「商品標準化」によるカタログ販売と、商品を1個からでも2日で出荷する「確実短納期一個流し」によって高品質（Quality）、低コスト（Cost）、確実短納期（Time）の「QCTモデル」を実現
◆流通事業（VONA）：製造現場で使用する部品・道具等をミスミブランド以外の他社製品も含めたワンストップ提供サービス
　※取り扱い点数は2070万点、取扱メーカー数は3300社以上

従業員数

11,682人