データ基盤エンジニアの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

データマーケティングを行っている企業にて開発エンジニアを募集しております。
今回の募集部署では基盤を構築するためのインフラの仕事だけではなく、
データをためる仕組みを開発したり、集計したデータをBIツールなどを使って可視化する開発の仕事もしております。
スキル、要望に応じてポジションをご提案させていただきます。

エンタメ系企業にて、データ分析基盤構築に携わっていただきます。
最新のデータ基盤の設計・開発、データ品質の向上、データセキュリティの確保など、データ関連の幅広い業務に携わることができます。

某ITメガベンチャーグループにて、運営基盤となる情報を効率的に管理するため、サービスの規模や収益モデル、会社の状態に合わせて各種基幹システムの設計・構築・運用を行っている部署での募集となります。
本案件では、全事業に関わるワークフローシステムのローコード開発および運用保守担当を募集しています。
対象システムで現時点では主に契約管理、購買管理、債務管理、債権管理のWFを扱っておりますが、将来的にはその他の業務管理やMDMとしての活用などの拡張を見据えています。
・ユーザ（事業担当者、法務部、経理部、総務部等）からの要求に基づく改修、設定変更への対応、定型のメンテナンス作業、問い合わせ対応
上記のみでなく、業務のあるべき姿を検討、理解したうえで提案し、要件定義や設計、設定、ベンダコントロールも実施頂く想定です。
・事業部門と経理部門の両組織を繋ぐ仕組みづくりを担うため、システムに関する知見だけでなく事業内容や経理業務・会計についても理解を深めていくことが求められます。
※配置は希望や適性を鑑みて決定します。

P.A.I.の研究から生まれた高度なAI要素技術群を活用し、現在6000社以上の企業に導入が進んでいる会議自動文字起こしツールを中心に、
24時間365日無人対応が可能なサービス、チャットオペレーターAIサポートシステム、オンライン会議での多言語コミュニケーションを可能にするサービスなど
あらゆるビジネスに活用可能なAIソリューションを展開し、ローンチから約2年で国内トップシェアまで成長しております。

複数の自社プロダクトの各種サービスをひとつのIDで使用できる統合管理システムを運用しておりますが
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。
データエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

【具体的な業務内容】
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

＜技術環境＞
①プロダクト開発部
・言語：TypeScript, Python, Flutter
・フレームワーク：Vue.js, Nuxt.js,Node.js
・DB：Cloud Firestore
・インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
・ソースコード管理：Bitbucket
・プロジェクト管理ツール：Notion, JIRA
・コミュニケーションツール：Zoom, Slack, Google Workspace

②R&D部門（今回Joinしていただく部署）
・開発言語：Python
・フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn
・※DB以降はプロダクト開発部と同様

荷主と運送会社をつなぐマッチングプラットフォーム事業と、荷主向けのオペレーションDXを支援するSaaS事業を運営しており、
14兆円を超える物流業界において、自社ブランド・全国の営業ネットワークと、プロダクトの仕組み・プロダクトを融合し、日本の物流を変革を行なっております。

このプラットフォームが立ち上がってから6年が経過し、SaaSのプロダクト立ち上げを2020年から行なっておりますが、
ただ単に「システム化」するだけではなく、これまでのオペレーションをさらに最適化するため様々な取り組みを行なっております。

この事業を横断したデータ基盤を担当するデータエンジニア職となります。

各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運用を行っていただきます。
別チームが運用している基盤の運用を引き継ぎから開始し、その後の運用と信頼性・利便性の向上にコミットいただける方を募集しています！
- 既存のDWH（BigQuery）とデータパイプラインの拡充
- 利用可能なデータの拡充
- データのリアルタイム性の向上
- 将来のデータ基盤戦略の策定とその推進
- 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
- データ分析によるビジネス課題の発見の推進
- データによる課題の可視化
- BIなどを通したモニタリング環境の構築

商品情報の特性（危険品）の分析や、在庫情報の最適化を目的としたデータ分析ならびに、分析に必要なデータの収集/加工用のツール開発を実施していただきます。
数億件のデータを扱う大規模なデータ分析業務となります。

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ、不具合調査
・DWH層開発環境の設計、開発、保守、運用

営業データDWH基盤構築をお願いします。
【業務内容】
・DWHの運用設計
・運用設計書の作成
・DWHの実運用作業、エンハンス対応
・テーブル定義の見直し、改修対応
・プロシージャ開発
・顧客折衝

【業務概要】
・エンタープライズ様向けにAISaasサービスを展開されている会社様になります。
・具体的には新規事業としてAIを活用した越境ECサイトの立ち上げとして要件定義から携わって頂きます。

BIチーム（様々な技術要素、クラウドサービスを試行しては利用を促進しているチーム）に参画いただき、
データ収集、データ加工、データ活用、ユーザー提供等を行い、営業情報、経営情報の可視化を行っていただきます。
直近ではユニバース開発（BIツールのデータ定義）/転送処理開発/レポート切り替えに伴うユーザ支援、開発支援ツール開発（Python）等。
ユーザーの要望に対し、適宜チームを組んで対応していただきます。

【案件概要】
アグリテックに取り組むベンチャー企業にて、Webアプリ（自社プロダクト）開発PJや
官公庁からの受託PJ（ビッグデータ分析/画像解析等）で利用するインフラ基盤、データ基盤の構築をお任せいたします。
詳細は面談時にお話しいたします。
【開発環境】
Typescript / Python
redux / atomic design
React.js / Next.js / Django REST framework
PostgreSQL ( PostGIS )
インフラ：AWS（ EC2 / EKS / S3 / RDS等 ）
Git/GitHub/Slack / Zoom / Discord

【業務概要】
・エンタープライズ様向けにAISaasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。
【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。
【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。
【備 考】
現場チームについては、
様々な分野での経験を持つ少数精鋭のメンバーが集まっております。

クライアント(HR系)のデータマネージメント部署にてデータ基盤開発実務を担当いただきます。
データマート開発がメインの業務にはなりますが、並行してデータ基盤の移管プロジェクトも進行しておりインフラの設計・実装もご担当いただきます。
・分析用データ基盤の開発・保守運用（AWS・GCP・Azure）
・データマートの開発・保守運用
・開発環境の整備（AWSCodePipeline、AzureDevOps）

某大手不動産会社様のデータ可視化環境の構築を行う為、プロジェクトリーダーとしてご支援して頂きます。
下記サービスを用いて構築予定
Looker Studio（旧Googleデータポータル）/Dataflow/BigQuery/BigQuery Data Transfer Service
・ダッシュボード構築の作業管理
・報告/相談等の顧客折衝
・レポートチームメンバーへの伝達/レビュー

【案件概要】
自社プロダクトの開発において、外部プラットフォームからのデータ取得の自動化やデータ基盤の設計をお願いいたします。
スキルに応じて対応できるところをお任せいたします。

【案件概要】
・データ基盤の開発/改修/保守運用
・データ基盤の物理/論理データモデル設計/開発/保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計/開発/保守運用

【業務内容】
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。

大手製薬企業向けに、患者データを活用したデジタル治療アプリ(DTx)の開発を支援しております。
患者データを扱うため、強固なセキュリティのデータ基盤開発をお願いします。
医療機器、医療情報システム、個人情報の取扱いに関するガイドラインに準拠したドキュメント作成が求められている中、
セキュリティ領域のリーダーが不足しているため、リーダーとしてご活躍いただける方を募集しています。

【業務内容】
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。

【業務内容】
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、
データストアに投入する機構の構築に携わっていただきます。

【案件概要】
・自社プロダクトであるデータ統合SaaSおよび、
AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装

・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援

【ツール】
AWS(Redshift, QuickSightなど), trocco

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。
・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3

AI×SaaSプロダクトの開発部門で、SQL、Pythonによるデータ変換処理の設計および開発をご担当いただきます。

【詳細】
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch
・ツール： GitHub、Jira、Slack

社内データ分析基盤全般の開発・保守・運用

■Python/Shell/Rubyで開発されているバッチ系システムが主
・データレイクへの取り込み
・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応
・社内ユーザコミュニケーションや要件定義も含む
・インフラからコードデプロイまでを担当
　 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

■開発案件例
・中間テーブル生成ロジックの実装・メンテナンス
　 - 売上集計テーブル、税理士向け事業中間集計テーブル等
・データレイクへ取り込むテーブル/カラムの追加
　 - プロダクトDBやSalesforce等のデータ
・Redshift依存処理のリプレイス

プロダクトや分析業務を支える基盤の機能拡充ならびに運用自動化に関わる開発を担当いただきます。

・データウェアハウスへのデータ連携を含む、データ基盤で動作するETL処理の開発
・データパイプラインを管理・運用・監視する仕組みづくり
・取り扱うデータのセキュリティやガバナンス対応
・各種運用業務の自動化とドキュメント整備

【業務内容】
在庫管理システムを支えるデータ基盤の構築案件となります。
主に、機能改善及び機能追加をご担当頂き、
大量データの加工をSQLやPythonを用いて作成し、
集計後、データストアに投入する機構の構築に携わっていただきます。

求人検索エンジンサービスのデータエンジニアとして、
ビッグデータ解析/分散処理基盤開発をお任せします。今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。
【業務詳細】
・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計
・実装、運⽤フロー⾃動化の提案、実装
・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成
・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持

中古携帯販売データの分析基盤としてのデータプラットフォーム構築を行なっていただきます。
現状想定されるユースケースとしては、中古端末の販売価格を決定するためにデータを収集し、分析し易いように加工をするところを実施
【業務詳細】
・データプラットフォーム基盤の構築
・データモデル設計
・アーキテクチャ設計
・技術調査
・ETL / ELT処理の実装

日本で最大規模の不動産会社向け業務用クラウドサービスの導入に携わっていただきます。

大手顧客は多くのITに関わる課題を持っています。
その中でサービスの利用を選択されますが利用するにあたり、
旧システムまたはExcel等で管理していたデータを、サービスに投入する必要があります。
また、システム連携においては、データを変換し、連携させる必要があります。
ETLを使い、システム連携部分の開発に携わっていただきます。