データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

業務内容は下記になります。
法人向けSaaSプロダクトにおけるデータパイプラインの設計・構築及び最適化を担当していただきます。
具体的には様々な外部データソース（例：Google Drive, Dropbox, Webpage, etc）とのデータ連携のための処理の実装を行なっていただきます。

国内大手素材メーカーで運用されているデータ基盤の保守をご担当いただきます。
データ基盤の保守を得意とされる方からのご応募をお待ちしております。

日本で最大規模の不動産会社向け業務用クラウドサービスの導入に携わっていただきます。

大手顧客は多くのITに関わる課題を持っています。
その中でサービスの利用を選択されますが利用するにあたり、
旧システムまたはExcel等で管理していたデータを、サービスに投入する必要があります。
また、システム連携においては、データを変換し、連携させる必要があります。
ETLを使い、システム連携部分の開発に携わっていただきます。

エンドユーザー様向けに、経営データ基盤の企画・構想フェーズを支援する案件です。
ビッグデータを活用し、戦略立案や分析モデル構築を行いながら、データ基盤のグランドデザイン策定を担います。
現場で分散している各種データを統合し、リアルタイムなデータ可視化や分析を実現するための基盤構築をリードいただきます。
・データ基盤の企画・構想フェーズ支援
・データ利活用に向けたグランドデザイン設計
・ビッグデータの加工・分析および戦略立案
・エンドユーザー様と直接コミュニケーションを取り、上流工程からリード

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3

下記2つの活動を通して、レガシーシステムからの脱却を行っているプロジェクトで、
構築されたシステムのデータの清流化及びデータ活用基盤の構築支援を想定しております。
1）共通データ化チーム支援：全社DBを活用したIFのハブアンドスポーク化の推進
2）全社データ活用基盤構築：全社データ活用基盤としてSnowflakeを導入し、基盤の標準化/活用を推進

大手テレコム事業者向けのデータ分析基盤の構築・運用業務になります。
サービス関連ログ、サービス関連データをSplunkクラスタへ集約し、コールセンタの運用改善を実施しております。
Splunk上でのダッシュボード開発はツール利用者様にて行われているため、基盤の構築・運用や、Splunkへのデータ連携の開発が主なスコープとなります。

【業務例】
・Splunkの設定(スクリプトデータ入力（ターゲットはJSONファイルの想定）
・データ仕様調整（お客様調整）

大手求人検索サービスを展開されている企業様にてデータエンジニアとしてご参画いただきます。
現在構築を進めている新しいデータ基盤への移行を推進するための開発作業をご担当いただきます。
【環境】
クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.)
データ基盤：Databricks, Redash, etc.
プロビジョニング：Terraform
開発ツール：GitHub, Slack, JIRA

エンタープライズSaaSプロダクトにおけるデータパイプラインの設計、構築、および最適化をお願いする想定です。
様々な外部データソース(例:GoogleDrive,Dropbox,Webpage,etc)とのデータ連携のための処理の実装
データの正確性、完全性、一貫性を保証するためのデータ品質 管理プロセスの設計と実装、
およびデータパイプラインの健全 性を監視するシステムの構築

データ基盤構築エンジニアを募集しております。
日々膨大な量のデータが収集される中で、よりクオリティの高いデータ基盤の構築を目指しており、
経験豊富な方がジョインしていただけると幸いです。
データアナリストチームの一員として以下の業務を想定しています。
・データ分析基盤の設計／構築／運用
データパイプライン(Data Ware House/Data Mart)の構築/運用
データ品質管理（運用まで）
・継続した運用を可能にするためのドキュメント作成
・コスト監視体制構築

▼案件概要
メディア事業を展開しているエンド企業様のデータ基盤の開発案件にて、
要件に対して DB の設計やアーキテクチャーの設計を行っていただきます。
・アーキテクチャー設計
・DB 設計
・コードレビュー
・SQL によるアドホックの調査
詳細の情報については面談の際にお話しさせていただきます！

【案件概要】
基幹システムの基盤運用保守を行っていただきます。
【業務内容】
・大手製造メーカー基幹システム・基盤運用保守
・基本的には定常業務主体
・障害対応、各種資料作成
※詳細は面談時にお話しいたします。
※面談2回の可能性あり

【案件概要】
通信キャリア向け基盤保守業務を行っていただきます。
OracleDBを使用しております。
※詳細は面談時にお話しいたします。

【案件概要】
製造向けデータ分析基盤構築をおこなっていただきます。
Snowflakeの設計・実装がメイン業務となります。
※詳細は面談時にお話しいたします。

経営管理課題を解決する管理会計SaaSの、データ基盤構築や運用フロー構築と言った上流から携わっていただく案件となっております。
ビジネスの現場で扱っている非財務データを用いた予実管理が必須となっており、CRM・SFA・経費・請求など各ツールとの連携を実現し、管理会計に必要なデータが簡単に収集できるような仕組みが必要となっています。
そこで、解像度の高い管理会計の実現に向けて、社内のあらゆるデータ（財務、および非財務の情報）を収集し、
一元管理できるデータ基盤の構築をお任せします。

印刷EC事業におけるコーポレート・データエンジニアを募集しております。
各事業および全社のデータ分析基盤（DWHとデータパープライン）の設計・構築・運用を行っていただきます。

業務内容は下記になります。
・各種システムからのBigQueryへのデータパイプラインの構築・運用
・関連部署や関連チームとのコミュニケーションが必要になります
・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用
・現行システムから新システムへのデータ移行

求人システムやそれに関連するシステムに関するデータを連携する基盤構築作業をご担当していただきます。
データ基盤に関する深い知見がある方で且つ開発の経験がある方にはマッチする案件となります。

今回はデータサイエンティストとして参画していただきます。
【業務内容】
データ基盤の構築やデータ加工、抽出、ETL部分に携わっていただきます。

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、
分析結果からの将来予測などをお願いします。

【開発環境】
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

エンタメ系企業にて、データ分析基盤構築に携わっていただきます。
最新のデータ基盤の設計・開発、データ品質の向上、データセキュリティの確保など
データ関連の幅広い業務に携わることができます。

アパレル企業内で下記の作業を行います

プレシーズンの販売計画モデルをシステム実装し、
基幹系のシステムに連携する

技術はPython，shellscript，GCP

＜チーム体制＞
元請けプロパーマネージャー1名、
リーダ1名
＋本案件募集枠1名　3名体制

某通信系企業にてデータ基盤で行われているデータ処理の方式を移行するPJへ携わって頂きます。
現行のApache上で行われている処理をAWS Glueなどのクラウドサービスへシフトするなど移行計画、方式の検討段階からご対応頂きます。
■担当工程：
　要件定義～テスト

データ分析基盤の構築業務支援をお願いします。
業務内容につきましては、機密情報が多いため、実際にお会いした面談の際に詳細をお伝えいたします。

■業務内容
　 自社サービスを中心としたO2O/OMOプラットフォームサービスのデータエンジニア
　　・GCP/AWS上で運用しているマイクロサービス群の保守業務
　　　→　使用しているミドルウェアのアップデート対応
　　　→　使用しているライブラリ群のアップデート対応

　　・GCP/AWS上で運用しているマイクロサービス群の運用業務
　　　→　お客様からの問い合わせに対する調査
　　　→　発生した障害や不具合の調査、修正対応
　　　→　システム負荷軽減やコスト削減などの調査、修正対応

・新規データマートの要件定義
　　　・ユーザの要望を聞いて、新しいデータマートを作成したり
　　　　既存の集計フローを自動化することで効率化を図ります
　　　・データマート作成
　　　　既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・
　　　　システム開発運用改善業務
　　　　　- AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、
　　　　　　S3にデータレイク、データマートを構築
　　　　　- 既存の基盤改修・改善
　　　・データマート日次運用保守業務

・新規データマートの要件定義
・ユーザの要望を聞いて、新しいデータマートを作成したり
既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・
システム開発運用改善業務
- AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、
S3にデータレイク、データマートを構築
- 既存の基盤改修・改善
・データマート日次運用保守業務

荷主と運送会社をつなぐマッチングプラットフォーム事業と、荷主向けのオペレーションDXを支援するSaaS事業を運営しており、
14兆円を超える物流業界において、自社ブランド・全国の営業ネットワークと、プロダクトの仕組み・プロダクトを融合し、日本の物流を変革を行なっております。

このプラットフォームが立ち上がってから6年が経過し、SaaSのプロダクト立ち上げを2020年から行なっておりますが、
ただ単に「システム化」するだけではなく、これまでのオペレーションをさらに最適化するため様々な取り組みを行なっております。

この事業を横断したデータ基盤を担当するデータエンジニア職となります。

各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運用を行っていただきます。
別チームが運用している基盤の運用を引き継ぎから開始し、その後の運用と信頼性・利便性の向上にコミットいただける方を募集しています！
- 既存のDWH（BigQuery）とデータパイプラインの拡充
- 利用可能なデータの拡充
- データのリアルタイム性の向上
- 将来のデータ基盤戦略の策定とその推進
- 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
- データ分析によるビジネス課題の発見の推進
- データによる課題の可視化
- BIなどを通したモニタリング環境の構築

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ、不具合調査
・DWH層開発環境の設計、開発、保守、運用

商品情報の特性（危険品）の分析や、在庫情報の最適化を目的としたデータ分析ならびに、分析に必要なデータの収集/加工用のツール開発を実施していただきます。
数億件のデータを扱う大規模なデータ分析業務となります。

【案件概要】
「あらゆるデータを、ビジネスの力に変える」をビジョンに掲げる、データテクノロジーカンパニーでの案件です
以下2つの事業を運営しております。
①データ分析基盤の総合支援サービスSaaS
②データテクノロジーに関するコンサルティングを行うソリューションサービス「ソリューションサービス」
【今回お願いしたいこと】
インフラ系のクライアント案件にて、BigQuery, trocco, その他Googleのデータ系サービスを活用したデータ基盤における、
データパイプラインの設計・開発作業を実施するデータエンジニアのポジションを期待しています。