Apache Sparkの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

大手SNSプラットフォームの開発〜運用保守までご担当いただきます。
フルリモート可能ですが、初日、PCの受け取りの際に六本木へ後出社いただきます
【開発環境】
言語：PHP、JavaScript、DB、MySQL、FW、独自FW
ソース管理：Git、その他管理ツール、JIRA、Confluence

・PHP を使用したサーバーサイド/バックエンドの設計/構築経験
・一般的なミドルウェアの基礎知識
・Apache/MySQL/各種KVSを利用した開発経験
・中規模以上のWeb設計開発経験
・プラットフォーム開発経験ありターミナル作業出来る方

薬局のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、
ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。

【業務内容の詳細】
・Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
・Apache Sparkを利用したETL処理の開発
・各サービス開発チームのデータエンジニアリングの支援

【募集背景】
「薬局DX」をトータルサポートするために複数のプロダクトが存在しており、希少価値の高い様々なデータを取得できています。
より「薬局DX」をサポートするためにも、データ連携や基盤構築をしてデータ事業を展開する必要があります。
また、プロダクトの改善やカスタマーサクセスの品質向上などのためにも、社内でのデータ利活用を推進することは必須となります。
本ポジションでは、データエンジニアリングで薬局と社内のDX化を推進することに興味のある方を募集します！

【今後の進展】
2022年7月にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

【開発環境】
開発言語…Python、Apache Spark、SQL
DB・データウェアハウス・データフォーマット…Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、Delta Lake、Apache Parquet
インフラ…AWS、GCP
開発手法…スクラム
構成管理…Terraform
バージョン管理、コラボレーションツール…GitHub、Slack、esa、JIRA、Trelloなど

【チーム】
開発ディレクター:1
データエンジニア:3

・サーバーサイドのアプリケーション開発経験（Python）
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験

【案件詳細】
①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。

・AWSやGCP、Azureなどクラウドを利用した開発経験
・下記の項目から 1つ以上の経験を有する方
・リレーショナルDBを使ったデータ処理の開発経験
・データ処理パイプラインの開発経験

・自社開発サービスおよび社内システムを対象とした下記作業
・Scala でのアプリケーション開発
・（広告配信システム運用者向け管理画面の Web API サーバー・広告入札および配信サーバー、pdf生成機能その他）

・Scala による開発経験（業務での使用経験の有無は不問）
・Git, Subversionなどのバージョン管理システムの知識・経験

・AWS上で稼働している製造メーカーの集計システムの改修をお願いします。
・詳細設計、製造、テストの工程をお願いします。

・Python開発経験2年以上
・SQL開発経験2年以上

Python、R、SQLを中心としたデータ分析やデータ集計業務に携わっていただきます。
BIツール（Looker、Tableau、Redash等）を用いた経験があると尚可です！

・SQLを用いたデータ分析やデータ集計の経験
・PythonやRなどを利用したデータ分析業務の経験
・他部署やゲーム企画者との円滑なコミュニケーション、柔軟性
・データ分析経験3年以上

小売業向けの基盤システム開発

Pythonによる開発経験（3年以上）※一人称で作業可能レベル
コミュニケーション能力
SQLの経験