【東京】データエンジニア / データ品質管理・パイプライン開発

職種

ネットワーク／データベース／サーバー

勤務地

東京都千代田区九段南1丁目6番5号 九段会館テラス

年収

650万～850万円

仕事内容

AI検索サービス向けデータ基盤において、データの品質保証（Data Quality）、およびETLパイプラインの実装・運用を担当します。

1．データ品質管理（Data Quality）の実装と監視：40%
AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装します。
データテストの実装: Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード（Assertion）の作成と実装。
モニタリング環境の整備: データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築。
データリネージの管理: データの発生源から利用箇所までの流れ（リネージ）を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保する。

2．データパイプライン（ETL/ELT）の開発・改善：40%
設計されたアーキテクチャに基づき、実際のデータ処理フローを開発します。
ETL処理の実装: PythonやSQLを用いて、ログデータや商品データを収集・加工する処理のコーディング。
ワークフローの移行・自動化: 手動で行われている既存のデータ処理を、Workflow Engine（Airflow/Vertex AI Pipelines）上での自動実行ジョブへと書き換える。
パフォーマンスチューニング: クエリの最適化を行い、データ処理時間の短縮やコスト削減（BigQueryのコスト管理等）を行う。

3．データサイエンティストとの連携・サポート：20%
データサイエンティストからの「こんな特徴量が欲しい」「データがおかしい」といった要望・問い合わせに対し、SQLを用いた調査やデータ抽出、マート作成を行う。

■仕事のやりがい（面白さ）
AIの精度向上に直結: 自身が整備・クレンジングしたデータによって、検索精度やレコメンドの質が向上する様子をダイレクトに感じられます。
モダンな技術スタックでの経験: GCP (BigQuery Vertex AI) や Dataform といったモダンなデータ基盤技術を使用し、大規模データ処理（Big Data）の実務スキルを高められます。
「データ品質」という専門性: 昨今注目されている「データ信頼性（Data Reliability）」や「データオブザーバビリティ」の領域で経験を積むことができます。

■3～5年後の想定されるキャリアパス
データ品質とETL開発のプロフェッショナルである「シニアデータエンジニア」
データ基盤全体の設計を担う「データアーキテクト」
機械学習の運用基盤構築へ幅を広げ「MLOpsエンジニア」

■業務上の課題
データの種類や量が増えるにつれ、「データの欠損」や「予期せぬフォーマット変更」によるエラーが散発しています。現在は手動での調査や修正対応に追われることも多く、システム的な自動検知（テスト）の網羅率を上げ、運用の安定化を図ることが急務です。

■使用ツール
クラウド・インフラ : Google Cloud Platform (GCP) 主体
データウェアハウス・加工 : BigQuery Dataform Redshift
ワークフロー・ML : Vertex AI Airflow
言語 : SQL Python
IaC・CI/CD : Terraform GitHub Actions
コミュニケーション : MS Teams GitHub Issues

■その他
リモートワークと出社のハイブリッド勤務、フリーアドレス制など、柔軟で働きやすい環境です。

応募条件

【必須】
SQLを用いたデータ抽出・集計・加工作業の実務経験（目安：1年以上 / 複雑なJOINやウィンドウ関数が書けるレベル）
Python等のスクリプト言語を用いた開発経験
何らかのDB（RDBまたはDWH）におけるテーブル設計やデータ管理の基礎知識
データの不整合やエラーに対し、根気強く原因を調査し解決した経験

【歓迎】
GCP (BigQuery) または AWS (Redshift Athena) でのデータ処理経験
Dataform dbt 等のELTツールを用いたデータモデリング・テスト実装経験
Airflow 等のワークフローエンジンを用いたジョブ管理の経験
Git / GitHub を用いたチーム開発経験
データ品質（Data Quality）に関する関心・知識
Webサービスのログ設計やデータ収集に関する知識

休日休暇

完全週休2日制(土日)／祝日／年末年始（12/29～1/4）※ただし、業務の都合で休日を他の日に振替えることがある　有給(初年度：即日付与。日数は入社日によって変動。次年度以降：4月に付与)　慶弔休暇　特別休暇

年間休日数

124日

就業時間

09:00～17:30

企業概要

※売上高、従業員数はグループ連結数字です。持株会社のミスミグループ本社は東証プライム上場企業です。＜グローバル26万社の製造業を、800垓（1兆の800億倍）通りの商品で支え、プライム上場企業の中でも有数の高成長・高収益を実現し続けるグローバル企業＞
◆メーカー事業：FA（ファクトリー・オートメーション）装置用部品、金型部品等の企画・開発・製造・販売
　※世界のあらゆる製造業（BtoB）に「商品標準化」によるカタログ販売と、商品を1個からでも2日で出荷する「確実短納期一個流し」によって高品質（Quality）、低コスト（Cost）、確実短納期（Time）の「QCTモデル」を実現
◆流通事業（VONA）：製造現場で使用する部品・道具等をミスミブランド以外の他社製品も含めたワンストップ提供サービス
　※取り扱い点数は2070万点、取扱メーカー数は3300社以上

従業員数

11,682人