Apache Hadoopの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

・インターネット広告配信システムにおけるログ収集/集計システムの開発/運用
・レポーティングツールの開発/運用
・大規模データ解析を効率よく行うためのデータ処理基盤、ツールの開発/運用
・Hive、Spark、 AWS Athena、Google Bigquery等 オープンソース、クラウド上問わずデータ処理基盤の調査、活用
・配信最適化ロジック設計/開発、及びデータ分析

組織拡大に伴い社内横断データの抽出・分析及び、担当媒体アクセスログの分析業務をご担当頂ける方を募集します。
・横断データの抽出・分析及び、担当媒体アクセスログの分析業務
- グループの横断データとMA（マーケティングオートメーション）を連携
- データベース（Hadoop）からカスタマーデータを抽出・分析
- サイトアクセスログの分析
- 分析結果をもとに改善
- MA（マーケティングオートメーション）の実装　
・CRM（MAツール）としては、Saleforce Marketing Cloudを導入しております。

自社開発サービスおよび社内システムを対象とした下記作業
・Scala でのアプリケーション開発
（広告配信システム運用者向け管理画面の Web API サーバー、広告入札サーバーその他）

自社開発サービスおよび社内システムを対象とした下記作業
・ Linuxサーバーの構築/運用
・ミドルウェアの設定/チューニング/運用
・アプリケーションのデプロイと運用/監視

・ビッグデータ関連部署において、Hadoopを利用したサービスのアプリ開発を行います。
・企画者/分析者/開発リーダーが作成した要件を理解し、
　バッチ処理及びAPIの設計、実装（Shellスクリプト/Java）、テスト、リリースまでを行います。
・Hadoopなどに格納されている大規模データの加工、変数作成処理プログラムの実装も行います。
※その他演算処理の自動化するための計画、実装業務も含む

・自社がもつ採用媒体のログデータを利用し、カスタマー向け、クライアント向けのレコメンドシステムを開発する業務にご参画いただきます。
・企画者/分析者が作成した要件を理解し、Hadoop上にShell/SQL/Pythonで実装していただきます。
・設計、実装、テストは企画者/分析者/開発リーダーとコミュニケーションしながら進める形になります。

・共通分析用データ基盤の運用、構築業務にご参画いただきます。
・ビックデータを保持、分析するための基盤（TreasureDate, Redshift, Netezza）の運用、構築業務をオンプレ環境、クラウド（AWS）双方を用いて行っていただきます。
・具体的な作業の例としては、次のようなものになります。
－データ基盤ではDWHにデータ投入するフレームワークを構築しています。
－そのフレームワークを使用して各種WEBサービスのデータベースからデータの投入
－DWHにあるデータを使用してのデータマート作成（SQL作成含む）
－DWHに接続するためのアカウント発行
－DWHに知見のある方は、DWH自体の構築運用も行っていただけます。

・共通分析用データ基盤の運用、構築業務にご参画いただきます。
・ビックデータを保持、分析するための基盤（TreasureDate, Redshift, Netezza）の運用、構築業務をオンプレ環境、クラウド（AWS）双方を用いて行っていただきます。
・具体的な作業の例としては、次のようなものになります。
－データ基盤ではDWHにデータ投入するフレームワークを構築しています
－そのフレームワークを使用して各種WEBサービスのデータベースからデータの投入
－DWHにあるデータを使用してのデータマート作成（SQL作成含む）
－DWHに接続するためのアカウント発行
－DWHに知見のある方は、DWH自体の構築運用も行っていただけます。

・社内の各サービスにおいて、ユーザーIDを入力すると、その人にお薦めのアイテムが返ってくるAPIを作成して頂きます。　
・レコメンドのロジックはすでにありますので、それにインプットするデータの抽出と、アウトプットのレコメンド結果をAPIで提供するレコメンドエンジンをAWS上で構築して頂きます。
・HadoopやOracleからデータを取得して、S3にデータを転送するSQLとシェルを作成して頂きます。
・レコメンド結果をDynamoDBに格納して、LambdaやAPI Gatewayを利用して、APIを作成して頂きます。

・顧客が蓄積しているユーザー属性、行動履歴などを利用し、
WebUIでユーザーリストを作成、管理するシステムの構築を行っていただきます。

【案件詳細】
①某大手通信会社販促システム開発
②某大手小売・流通のシステム開発
③広告や社内プロダクトの開発
上記いずれかにおいてデータエンジニア業務に従事いただきます。

・ポイントシステム管轄でのデータ分析・データ抽出業務に関わる案件になります
・ポイントシステム自体のデータは莫大で、そのデータからの分析が重要なキーワードとなってきます。
その重要なデータをBIツール活用をし、分析・抽出して今後のビジネスを左右することを想定しており、
非常にやりがいのある現場です。
・他サービスとの連携も多く、広範囲のシステム理解が必要になります。
・コミュニケーションを英会話で行われることもありますが、最初は日常会話レベルで大丈夫です。
・業務比率 BI対応/50％、DBからの抽出(オペレーター)/50％を想定

【案件詳細】
スタートアップ企業でのフロントエンドエンジニア業務全般をお願いします。
※データ分析案件に携わっていたことがある方は親和性が御座います。

IT基盤戦略担当様のデータマネジメントシステム更改案件における構築支援
　・DaaS環境構築支援
　　運用改善、課題検討など
・インフラ構成検討支援
　・顧客との問合せ対応

・ITインフラ部の共通インフラ基盤において、クラウドGの監視・運用設計（AWS運用設計・監視構築）対応
・DataDog、PagerDuty、JIRA（ServiceNowとの連携）を使用し運用設計、構築で運用プロセスの設計業務
・AWSの運用設計、監視設計で運用プロセスの設計

システム開発における基盤チームの担当作業
・システム基盤／非機能要件定義／基本設計
・システムアーキテクチャ概要設計
・AWS基盤設計・構築～基盤試験
AWS各種サービス
・PrivateLink
・APIGateway
・EFS
・ECS/EKS
・Redis
・Aurora(PostgreSQL)
・fluentd-firehose-ES/Kibana
など
その他
・Squid
・Hinemos
・SVF
・Jenkins
・DeepSecurity

仕事内容データアーキテクチャ、クラウド、分散プラットフォームなどデータエンジニアリングの技術を駆使して、利用者の用途や活用目的に応じたDWH・CDP環境を構築します。
【業務内容】
- 新規アプリの開発
- リリース後アプリ内での既存機能の改善・保守
- リリース後アプリ内での新規機能の設計・開発・テスト・リリースの実施
- クラウドを利用したDWH・CDPの構築
- ETLの実施・Workflowの作成
- BIツールを利用したダッシュボード構築
-API経由でのデータ接続
-BIツールによるダッシュボード構築
【案件詳細】
・小売店舗内のサイネージ（STB/タブレット端末など）にコンテンツや広告の配信を行うシステムの開発
・小売店舗内のIoT・エッジソリューションのシステム開発
・サイネージの端末管理と遠隔メンテナンスを行うシステムの開発

店内・店外で利用可能な小売企業の
アプリ開発・保守・運用（グロース）をお任せいたします。
オンラインとオフラインを繋ぐような新規機能開発を、
提案から開発まで行うようなチームです。
【業務内容】
- 新規アプリの開発
- リリース後アプリ内での既存機能の改善・保守
- リリース後アプリ内での新規機能の設計・開発・テスト・リリースの実施

大手企業の各部門向けに提供しているプラットフォームを構築する
　現在要件定義中で、今後基本設計～詳細設計へと移っていく
・基本設計書/詳細設計書の執筆
・環境定義書の作成
・テスト仕様書の作成とテスト実施

Python、R、SQLを中心としたデータ分析やデータ集計業務に携わっていただきます。
BIツール（Looker、Tableau、Redash等）を用いた経験があると尚可です！

某通信会社のシステム更改案件における構築支援業務にご参画いただきます。
【具体的な業務内容】
・IT基盤戦略担当様のDMシステム更改案件における構築支援業務
・データマネジメントインフラ支援業務
・DaaS環境構築支援
・インフラ構成検討支援
・問合せ対応