データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3

AI×SaaSプロダクトの開発部門で、SQL、Pythonによるデータ変換処理の設計および開発をご担当いただきます。

【詳細】
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch
・ツール： GitHub、Jira、Slack

社内データ分析基盤全般の開発・保守・運用

■Python/Shell/Rubyで開発されているバッチ系システムが主
・データレイクへの取り込み
・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応
・社内ユーザコミュニケーションや要件定義も含む
・インフラからコードデプロイまでを担当
　 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

■開発案件例
・中間テーブル生成ロジックの実装・メンテナンス
　 - 売上集計テーブル、税理士向け事業中間集計テーブル等
・データレイクへ取り込むテーブル/カラムの追加
　 - プロダクトDBやSalesforce等のデータ
・Redshift依存処理のリプレイス

プロダクトや分析業務を支える基盤の機能拡充ならびに運用自動化に関わる開発を担当いただきます。

・データウェアハウスへのデータ連携を含む、データ基盤で動作するETL処理の開発
・データパイプラインを管理・運用・監視する仕組みづくり
・取り扱うデータのセキュリティやガバナンス対応
・各種運用業務の自動化とドキュメント整備

【業務内容】
在庫管理システムを支えるデータ基盤の構築案件となります。
主に、機能改善及び機能追加をご担当頂き、
大量データの加工をSQLやPythonを用いて作成し、
集計後、データストアに投入する機構の構築に携わっていただきます。

求人検索エンジンサービスのデータエンジニアとして、
ビッグデータ解析/分散処理基盤開発をお任せします。今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。
【業務詳細】
・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計
・実装、運⽤フロー⾃動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

中古携帯販売データの分析基盤としてのデータプラットフォーム構築を行なっていただきます。
現状想定されるユースケースとしては、中古端末の販売価格を決定するためにデータを収集し、分析し易いように加工をするところを実施
【業務詳細】
・データプラットフォーム基盤の構築
・データモデル設計
・アーキテクチャ設計
・技術調査
・ETL / ELT処理の実装

日本で最大規模の不動産会社向け業務用クラウドサービスの導入に携わっていただきます。

大手顧客は多くのITに関わる課題を持っています。
その中でサービスの利用を選択されますが利用するにあたり、
旧システムまたはExcel等で管理していたデータを、サービスに投入する必要があります。
また、システム連携においては、データを変換し、連携させる必要があります。
ETLを使い、システム連携部分の開発に携わっていただきます。

カーライフテックサービスの顧客データを的確に分析するためのデータ基盤の構築をお願いいたします。
ビジネスサイトと開発チームで必要なデータをすり合わせし、構築いただきます。

不動産のサービスやマーケティングサービスを提供している企業にて各種マーケティングデータの活用によりクライアントのマーケティング戦略実現をご支援する新規事業で、決済のトランザクションデータや顧客データを活用した予測モデルの構築に携わっていただきます。
【業務詳細】
クライアントの戦略理解に基づいた要求整理・要件定義
データフロー構築
分析・予測モデル構築
スケジュール・タスク管理
社内外MTGへの参加・ファシリテート