Sparkの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

AI×SaaSの自社プロダクト開発部門で、インフラ環境の構築と運用、パフォーマンスやコスト改善などの業務をご担当いただきます。

▽募集背景
これまでは在籍しているエンジニアがSREを担当していましたが、事業拡大に伴い、
専任のSREエンジニアを募集し、より安定したサービスの提供を目指したいと考えています。

▽業務内容
・セキュリティ対策：アカウントセキュリティ、マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど
・マルチアカウント対応：アカウントの組織管理、サービスコントロールポリシーとガードレールの設定など
・システムのスケーラビリティの確保：サービスレベルの策定、モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など
・自動化の推進：リソース構成のIaC化、監視ツールの導入、セキュリティ検知の自動通知など
・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成

WebAPI及び周辺システムの開発・運用をして頂きます。

リモートでの就業が可能となります。
※ミーティング時に出社してもらいます。
学生向け学習アプリのデータ分析基盤構築・運用担当として下 記 ような業務に携わっていただきます。
①関係各所から依頼されるレポーティン グ・分析要件に応じたデータ分析基盤 開発・運用業務
②データと機械学習を活用したレコメン ドや動画内 情報検索機能など 新規機 能開発業務

・転職サービスにおけるレコメンドエンジンの改善、新規開発を担当して頂きます。（データ加工、バッチ開発、WebAPI開発、新規技術検証、分析基盤開発）
・施策内容、本人のスキルセット及び希望によっては、機械学習モデルのチューニングやデータ分析もアサイン予定です。

主な業務は、ビッグデータ技術を駆使した、社内向け業務基盤システムの開発です。
＜具体的な業務内容＞
・社内における業務基盤システムの開発および運用（Webベース）
そのほか、業務効率化を目的としたシステム開発、お客さま向け（インターネットにおける広告関連）のシステム開発の実績も多数。
開発はチーム体制（プロパーとグループ会社）で行っていただきます。
【仕事の特色】
システムインフラは、全て自社で構築、管理している同社。
独自の仮想インフラを有しており、新技術の検討や検証のために活用されています。
システム開発だけでなく、ネットワークやサーバの構築、システム運用監視の経験ができる機会もあるのが特徴的。
社内向けシステムの開発は、利用者との距離が近いため、企画・開発、新技術に積極的にチャレンジしやすい環境です。
主にHadoopやImpala、Sparkなどのビックデータの技術、ElasticSearchなどを採用。
さらにインタラクティブなUIにするため、BootstrapやAngularJS、JQueryを取り入れています。
また、クラウドも積極的に活用していく方針です。
＜社内＞
社内では20代、30代の比較的若いメンバーが揃っています。
制作チームにおける女性の就業率も高く、男女ともに働きやすい職場環境です。

・インターネット広告配信システムにおけるログ収集/集計システムの開発/運用
・レポーティングツールの開発/運用
・大規模データ解析を効率よく行うためのデータ処理基盤、ツールの開発/運用
・Hive、Spark、 AWS Athena、Google Bigquery等 オープンソース、クラウド上問わずデータ処理基盤の調査、活用
・配信最適化ロジック設計/開発、及びデータ分析

内製広告配信システムの配信データ分析業務をメインに携わって頂きます。
その他にも下記業務にも携わって頂きます。
・数値に基づいた意思決定をするためのデータ分析
・新規配信手法のプロトタイプ作成・提案
・データ可視化システムを用いたレポーティング・プレゼンテーション　等

WebAPI及び周辺システムの開発・運用をして頂きます。

社内データ分析基盤全般の開発・保守・運用

■Python/Shell/Rubyで開発されているバッチ系システムが主
・データレイクへの取り込み
・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応
・社内ユーザコミュニケーションや要件定義も含む
・インフラからコードデプロイまでを担当
　 - ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

■開発案件例
・中間テーブル生成ロジックの実装・メンテナンス
　 - 売上集計テーブル、税理士向け事業中間集計テーブル等
・データレイクへ取り込むテーブル/カラムの追加
　 - プロダクトDBやSalesforce等のデータ
・Redshift依存処理のリプレイス

【案件詳細】
スタートアップ企業でのフロントエンドエンジニア業務全般をお願いします。
※データ分析案件に携わっていたことがある方は親和性が御座います。

データ集積システムの開発・運用に関連するエンジニアリング業務
チームの役割： 各種システムに分散しているデータを収集・整形し、分析可能な形で社内のユーザー（社員）に届ける。
【主な担当業務】
データ集積システムの構築に関わる連携バッチの開発やデータマートの作成業務が中心です。
各部署の利用者から上がってくる要望や作業依頼を実現するための要件ヒアリングや開発、運用作業を行います。
また利用者からの要望に先んじてシステム改善を行うための開発も行います。

仕事内容データアーキテクチャ、クラウド、分散プラットフォームなどデータエンジニアリングの技術を駆使して、利用者の用途や活用目的に応じたDWH・CDP環境を構築します。
【業務内容】
- 新規アプリの開発
- リリース後アプリ内での既存機能の改善・保守
- リリース後アプリ内での新規機能の設計・開発・テスト・リリースの実施
- クラウドを利用したDWH・CDPの構築
- ETLの実施・Workflowの作成
- BIツールを利用したダッシュボード構築
-API経由でのデータ接続
-BIツールによるダッシュボード構築
【案件詳細】
・小売店舗内のサイネージ（STB/タブレット端末など）にコンテンツや広告の配信を行うシステムの開発
・小売店舗内のIoT・エッジソリューションのシステム開発
・サイネージの端末管理と遠隔メンテナンスを行うシステムの開発

某住宅・不動産ポータルサイトを運営している企業で、データ集積システムの構築・運用に関連する業務をお任せいたします。
チームのミッションは各種システムに分散しているデータを収集・整形し、分析可能な形で社内のユーザーに届けることです。
主な担当業務は、 データマートの作成（利用者の要件を元に分析用データテーブルを作成する）とその周辺業務となります。
・データマートの設計・作成
・データ利用者への要件ヒアリング
・データ収集バッチの運用開発
・BIツールの設定
・既存システム・データの調査