データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。

データの分析基盤をGCPにて構築する案件です。
BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

データ利活用・DX支援事業において、
データ基盤構築やSaaS開発、生成AI関連開発などを担当いただきます。

Snowflake、dbt、Terraformなどを活用したデータ基盤開発や
ETLパイプライン設計、構築、運用など幅広い領域に関わります。

・週次定例会および常駐対応を通じて、AIデータ基盤および関連システムに関する技術支援を実施。
・現在検討中のデータプラットフォームを起点に、クラウドインフラ（Azure）やアプリケーション構築・運用の設計などを含むITアーキテクチャ全体を対象にレビュー及び助言を行う。
・定例・常駐で得た情報を整理し、技術的なレビュー・助言を行うとともに、その内容を反映した週次報告資料を成果物として作成する。
期待する役割
・データ基盤を中核としつつ、システム全体のアーキテクチャを俯瞰し技術方針をリードいただく。
・実装作業ではなく、設計レビューや技術方針の検討が主な役割。
・幅広い技術知見を活かし、ITアーキテクチャ全体を俯瞰的に支援いただく。
・AIに関する専門知識は必須ではないが、AI・非構造データを含むパイプラインを考慮した基盤設計ができること。

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。
データの分析基盤をGCPにて構築する案件です。
BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます。

美容系サービスを展開している企業にてデータを扱えて、
テンプレートを使って仕組みを作れる方を募集しています。
データ活用と実装の両面に強みを持ち、マーケティング施策を自ら構築・推進できる方。
サーバサイドのテンプレートエンジンを用いた開発経験を活かし、動的コンテンツや
パーソナライズ施策の実装ができる方が望ましいです。
また、MAツールやCRMにおけるデータ構造を理解し、ユーザー属性・行動データをもとに効果的な施策設計が可能な方や
DWHとMAツールを繋ぐデータパイプラインの構築経験を有し、SQLによるデータ抽出・加工や
ETLツールを用いた運用を実践的に行える方が理想です。

・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等）
・ETL/ELTパイプラインの改善・最適化
・データモデル設計／マルチテナント対応
・データガバナンス、セキュリティ設計・運用、コンプライアンス対応
・全社業務データ／IoTデータ／行動データの統合管理
・BIツール連携設計
・データ基盤運用・最適化、チーム技術育成・レビュー
【工程】
要件定義、設計、構築、運用、最適化、技術リード

【開発環境】
言語：Python／Go／Java
クラウド：AWS／GCP／Snowflake
IaC：Terraform／CloudFormation／CDK
DWH：BigQuery／RDBMS
その他：Kafka／Pub/Sub／Spark／dbt／Trocco

QlikView/QlikSenceで作成された帳票について現行調査を実施し、Databricksへの移行を実施いただきます。
・現行帳票の調査
・移行方針検討

【スケジュール】
2025年11-12月：現行調査
2026年1月：設計
2026年2-4月:移行

大規模グルメサービスにおける新設の検索基盤チームへのご参画となります。
業務の進め方としては、検索案件について要件定義段階から関わり、
企画や他の開発チームと連携しながら要件を実現していきます。
検索体験や検索施策の成否は検索基盤によって決まると言っても過言ではなく、
案件の初期段階から深く関わり、その実現のためにエンジニアの立場から積極的にアイデアを出していくことが重要となります。
【具体的な業務内容】
・検索関連プロジェクトにおける要件定義からリリース後の運用・保守までを包括した検索プラットフォームの開発
・Apache Solr の導入、運用管理、およびパフォーマンス最適化
・全文検索エンジンへのデータインデックス処理と、検索エンジンとのインターフェース設計・保守
・CI/CD やモニタリングなど、検索インフラの運用基盤の構築
・Elasticsearch や Vespa など、Apache Solr 以外の全文検索エンジンの調査・検証および導入対応
・技術的な課題の解決や、新しい価値の創出を目的としたソリューションの企画・提案
・高トラフィックおよび大規模データを前提としたシステム構成の設計
・システムの継続的な安定稼働を目的とした技術的負債の整理・解消

大手製造業のグループ会社にERPを導入しており、各社に五月雨で導入する長期プロジェクトになります。
2021年から対応開始し今後1-2年、半年くらいの単位で各社に導入、直近では年末リリースETLによるデータ連携機能の開発を主とするプロジェクトです。
ERPとのI/F部分（見積受注など）をEAIツール/DataSpiderなどを使用して開発していきます。
まずはETL開発スキルを習得頂きつつ、プロジェクトリーダ/開発リーダの補佐を通してお客様との折衝を覚えて頂きたいと考えております。
その後社員化された際は、リーダとしていくつかの案件をリードして頂きたいです。

【業務内容】
◇データパイプラインの構築：以下の機能を持つパイプラインを構築します。
-各種データをBigQueryに集約する
-BigQuery等のGoogle Cloud上のサービスから他システムへデータを配信する
◇データマートの作成
-BigQueryに集約したデータを基に、用途・目的に応じたデータマートの作成、及び作成の自動化を行います。
◇データの可視化
-Google Kubernetes Engine上に構築したRedashで、データの可視化を行います。
◇データの活用
-BigQueryに集約したデータを基に、レコメンド機能等の追加開発や運用改善を行います。

損害保険会社のシステムリニューアルにおいて、Pythonを用いたデータ移行ツールを開発します。
データマッピングを実施し、決まったフォーマット（フラットファイル）への移行を担当いただきます。
データエクスポート／ロード処理は別チーム対応のため、本案件のスコープ外です。

BigQueryを中心としたデータ基盤の設計・運用やリスト作成
SQLを用いたデータ集計・分析処理の実装を行っていただく予定です。

大手通信系企業の社内会計処理システムのリプレース案件です。
既存システムのリプレースにおいて、アーキテクチャから検討できる方を募集しています。
バッチ処理で、ApachFlinkやHadoopDBを使用することを検討しており、アーキテクチャ設計や検証(Poc)できる人材を探しております。
リプレースに先立ち、コアとなるバッチ処理の一部機能をApache Flink、Hadoopを適用して一部移行(実装)し、既存システム全体のFlink、Hadoopに置き換えた際の動作担保、性能検証を行います。
その後は、リプレースの規模感や、要件整理のためのPoCを行う予定です。

・既存機能の把握
・一部機能の実装(Flinkの適用)
・上記実装したものの動作するためのインフラ構築
・動作検証、性能検証

資金調達なども行なっている市場リサーチ・企業リスト作成・決裁者アプローチを一気通貫で実現する
営業データプラットフォームを提供している企業にて、Pythonデータスクレイピングエンジニアとして、
サービスのコア技術となるデータ収集・可視化を担当していただきます。
概要として、特定のウェブサイトからデータを効率的かつ正確に収集するスクレイピングプログラム、
収集したデータを可視化・管理するWebアプリケーションの開発とメンテナンスを担当していただきます。
またデータ基盤構築に伴いリアーキテクチャも検討中のため、アーキテクチャや保守/運用設計も担当して頂きます。

データ分析担当者をエンジニア面からサポートする仕事を担当いただきます。
バッチ環境の構築から日々の問い合わせへの回答まで、幅広いご対応をお任せします。

以下、具体的な業務の一例です。
・バッチ実行環境の運用
　└集計バッチ用サーバ 及び Jenkinsサーバの運用
　└新規バッチ実行基盤のアーキテクチャ設計・実装
　└GitHub ActionsなどのCI/CDツールの検証
・データ分析者向けのバッチ・ツールの開発
　└データ集計用SQLの作成
　└データ集計用バッチの実装
　└チーム内向けWebアプリの開発

・業務自動化や効率化
　└JiraやGoogle Workspaceを前提とした業務フローの自動化や効率化

・問い合わせ対応・トラブルシューティング
　└データ分析者からの相談に対するサポート
　└利用サービスのインシデント発生時の対応方針の策定
　└利用ライブラリの脆弱性発覚時の対応方針の策定
・チームで利用する技術の標準化
　└チーム単位で採用する技術の調査や意思決定サポート
　└アップデートや技術移行の手順の作成と実施
　└ドキュメント作成や勉強会の実施など

【開発環境】
言語：Python, Typescript
DWH：Snowflake
ソースコード管理：GitHub Enterprise, GitHub Enterprise Cloud
インフラ環境: AWS, Docker

・運用業務
　└セキュリティ点検（四半期ごとに利用実態の確認）
　└問い合わせ対応（データハブ利用に関する問い合わせへの対応）
・新規データ投入業務
　└データハブ（Snowflake）における新規データ拡充対応
　└データ投入方式の設計・検討・実装

金融機関向けデータ/AI基盤におけるデータ基盤部分の設計および実装を行なっていただきます。
・Data層、AI層(ChatGPT等)、Agent層の各層で目指すべきアーキテクチャを、顧客の現行のシステム状況を踏まえて更新
・AI/データ基盤における各機能の詳細定義
・今後のAI導入、インフラ導入に複数ベンダーが担当することを想定し、統一ルールのもと開発の標準化、効率化を行えることを目的としたガイドラインの作成
　└弊社で実施する他プロジェクトでは一部実際の構築を行うため、構築を行った部分については、その内容を踏まえガイドラインに反映するため、弊社の他エンジニアとコミュニケーションをとって頂きながら進めて頂く必要があります。
　└構築しない部分については、机上で検証しガイドラインに反映
・クライアントとの会議への出席、弊社内会議への出席

社内業務(人事・労務・経理など)の効率化・自動化のためのデータ連携・システム連携の開発業務をお任せいたします。
　具体的には、
・BigQueryに各種データを連携してデータ分析・集計環境を構築。
・BigQueryの分析・集計結果を各システムに配信。
・連携元/配信先のシステムは、Salesforce、AWS S3/RDS、Googleスプレッドシート、freeeプロダクトのWeb-APIなど。

データマート作成およびBIツールによる可視化の支援を主にご担当頂きます。

【工程】
要求分析・要件整理～結合試験、保守運用

某メーカーのDX案件における、マスタデータ管理・データ連携システム開発を行うPJです。
データ連携担当ポジションでは、基幹業務システムとデータ基盤とのデータ連携基盤の設計・開発を実施します。
RestAPIの設計開発にあたりMulesoftを利用、RAML形式でAPI定義を行う方針です。
9月から11月まで基本設計を行い、12月以降は詳細設計工程を予定しています。

基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。
〈具体的な業務内容〉
・現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・キャパシティプランニング
・CI/CDパイプラインの改善
・新規パイプラインの構築、旧パイプラインの閉鎖
※社内のデータ基盤ユーザーとのコミュニケーションが発生。
※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明が発生。
※会議におけるファシリテーションなどが発生。

基盤の運用改善および次世代データ基盤の要件定義、設計、構築を担当して頂きます。

■具体的な業務内容
・現行基盤の課題整理および改善方針の策定
・次世代データ基盤の要望・要件整理・設計
・技術・ツール選定、比較検討
・パフォーマンスチューニング
・キャパシティプランニング
・CI/CDパイプラインの改善
・新規パイプラインの構築、旧パイプラインの閉鎖
※社内のデータ基盤ユーザーとのコミュニケーション
※リーダー、メンバーおよび関係各所に対する実装方針・技術選定結果などの説明
※会議におけるファシリテーションなど

基盤の運用および改善業務を担当して頂きます。

■具体的な業務内容
・ユーザーからの依頼および問い合わせ対応
・テーブル・ビュー追加/改修作業
・データ閲覧権限管理作業
・データパイプライン運用/改修作業
・Google Cloud設定変更作業
・技術調査/検証作業
・その他運用改善に伴うツール開発/改修業務

※社内のデータ基盤ユーザーとのコミュニケーション

DX推進SaaSの開発に携わっていただき、主にデータ領域の業務を行っていただきます。
【業務詳細】
・データ分析基盤の最適なモデリングの設計/開発
・データ分析基盤の品質をモニタリングし、維持するための仕組みの構築
・社内向けのデータプロダクトの開発運用

【業務内容】
・ビジネスサイドからの要望に合わせたデータ抽出および、クエリの提供
・クエリを作成するのに必要な要件のヒアリングおよびデータ構成の提案
・Data Warehouseの設計および構築
・新規データの連携
・周辺処理の開発
・各種ドキュメント/カタログの作成
（詳細は面談時にお話しいたします。）

資金調達なども行なっている市場リサーチ・企業リスト作成・決裁者アプローチを一気通貫で実現する
営業データプラットフォームを提供している企業にて、
データアーキテクトとして、スケーラブルなデータ基盤の設計・構築から運用・改善までをリードし、事業の成長を直接的に推進していただきます。
特にこのポジションでは技術・構造・ユーザー価値の観点から再定義する姿勢を重視しています。

具体的な業務内容
・ビジネス要求に応じたデータアーキテクチャの設計・改善
・各種データの収集・統合・可視化・活用を実現するスケーラブルな基盤構築と運用
・現行システムの課題分析と、将来を見据えた改善提案
・新技術・新手法の調査・提案・PoC
・データガバナンス・セキュリティの方針検討と施策設計（ご経験に応じて）

【案件概要】
・自社プロダクトであるデータ統合SaaSおよび、
AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装

・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援

【ツール】
AWS(Redshift, QuickSightなど), trocco

【業務内容】
大手証券会社のデータ基盤における、Terraformを用いたIaC化およびCI/CDパイプラインの構築・運用をご担当いただきます。
実装対象はSnowflakeですが、Snowflakeの知見は不要です（※スペシャリストがチーム内に在籍）
Terraformのコード設計・運用に強みがある方を求めております。
Snowflakeに関してはキャッチアップ意欲がある方が前提となります。
（詳細は面談時にお話しいたします。）

AI×SaaSプロダクトの開発部門で、SQL、Pythonによるデータ変換処理の設計および開発をご担当いただきます。

【詳細】
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch
・ツール： GitHub、Jira、Slack