Apache Sparkの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター：1
データエンジニア：3