ETLの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

製造業向けDWHシステムにて、DWHの性能問題および
ETL由来の課題（連携性能の問題、保守性等）が発生しています。
それらを解決するために、DWHの二重化対応（負荷分散）および
ETL刷新（ASTERIAからDataFactory）対応をお任せできる方を募集しております。

PJ全体としては通信関連設備(基地局)から様々なデータを収集・加工・蓄積し、
データの利用者へ配信するサービスを行う基盤の載せ替えして頂きます。
それに伴うInfomaticaフロー作成、収集配信スクリプトなどを開発する。

大手企業にて賃貸メディアサイトを運営しております。
現在は事業拡大に伴いシステムのリプレイスを進行中です。
システムのリプレイスを行う中で、技術的課題を解消する技術顧問（テクニカルアドバイザー）を募集しております。

【働き方】
平日フルタイムではなく、副業を前提として月20〜40時間稼働し、専門的な技術力を提供するポジションです。
【仕事内容】
自社プロダクトである賃貸メディアサイトの開発に伴う技術顧問として設計等の技術的な意思決定に携わります。
更新する中で、以下に列挙する技術的観点のいずれか1つをお願いします。（複数担当しても構いません）
①Elastic等の検索エンジン技術
②1,000万レコード規模を高速に処理するETL技術
③大規模メディアサイトのバックエンドアーキテクチャ
④大規模メディアサイトのBFFアーキテクチャ化

【具体的な業務内容】
・アーキテクチャの設計、草案作成
・技術的な意思決定、技術資料作成
・技術課題の発見、改善案作成
・開発品質の向上に関わる活動
【開発環境】
・コラボレーションツール：Google workspace
・コニュニケーションツール：Slack
・プロジェクト管理：GitHub、jira、Confluence
・開発言語：JavaScript、TypeScript、Ruby
・フレームワーク：Ruby on Rails, Next.js
・クラウド：GCP

・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL（Datastage）ジョブ他を改修（一部は新規開発、廃止も含む）
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
＜規模感＞
　・移行対象テーブル数：約1500本
　・移行ETLジョブ数：約1000本
　・インターフェース数：約1000本

【業務詳細】
AppSheetで作られた現行アプリケーションをGCP環境へ移行します。
GCP移行に伴い、Google Apps Script（GAS）での改修が見込まれます。

【工程】
詳細設計、開発、テスト

販売管理システム（汎用製品用）の老朽化に伴うインフラVersionUP対応を行っていただきます。
VersionUP時、現行の仕様/機能を担保できない場合は、業務APの改修を実施していただきます。
・WindowsServerのVerUP
・OSVerUPに伴う複数のMWのVerUP

どのように活用すべきか具体的な構想が決まって無い中で、
お客様の要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築するまでをお願いします。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

【概要・業務内容】は下記になります。
・データ基盤の現行調査（バッチ数やテーブル数、データサイズなど＋現行の課題把握）
※既存のバッチ仕様書がないため、ソース解析が必要
・アーキテクチャ選定（SybaseIQ、Treasure Dataから分析に最適なDB選定および検証）
※詳細は面談時にお話しできればと存じます。

某通信系企業にてデータ基盤で行われているデータ処理の方式を移行するPJへ携わって頂きます。
現行のApache上で行われている処理をAWS Glueなどのクラウドサービスへシフトするなど移行計画、方式の検討段階からご対応頂きます。
■担当工程：
　要件定義～テスト

大手製造業データ統合基盤開発
基本設計書から詳細設計の作成（バッチ・ETL設計）
ETLツールを用いた実装
テスト計画書作成とテスト実施
（単体テスト、結合テスト、システムテスト）

データ分析基盤の構築業務支援をお願いします。
業務内容につきましては、機密情報が多いため、実際にお会いした面談の際に詳細をお伝えいたします。

大手製造業のデータ統合基盤の開発を行っていただきます。
1．詳細設計書作成（バッチ(ETL)設計）
　　基本設計から詳細設計書を作成する
2．Informatica Intelligent Data Management Cloud(CIH)(以降、IDMC)ツールによる実装
　　IDMCにて詳細設計書から実装を行う
3．単体・結合テスト計画書作成とテスト実施（単体テスト、結合テスト、システムテスト）

大手WEBシステムのデータ基盤インフラエンジニアとしてご参画いただきます。
【業務内容】
・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ (顧客のエンジニアおよび弊社メンバーと一緒に開発いただきます)

AI技術を活かしたEC事業におけるPM業務をお任せする予定です。
P.A.I.（パーソナル人工知能）の技術を活用したプロダクトを開発している企業にて
新規事業として越境EC事業に取り組んでいます。
最新のAI技術を活かした越境EC事業のプロジェクトマネジメント業務を担当いただける方を
募集しており、以下業務を担当いただきます。
・プロジェクトの進捗管理
・システム開発の要件定義策定
・ベンダーコントロール
・エンジニアチームとの連携

データ分析プラットフォームの新規構築をお願いします。（ETL/DWHチーム）
【対応業務】
・データ要件定義
・ETL処理開発標準作成
・ETL処理設計開発・テスト
・結合・総合テスト実施
・受入テスト実施

ETLの開発（データ関係）、JavaでのDataSpiderやEBXの開発を担当して頂きます。
EBXのアドオン、カスタマイズにJavaを使用するため、Javaが必須となります。
システムは、汎用機系のシステム含むデータを集めたものを統合する基幹システムです。
全員がすべてのツールを使えるように、得意なものを教えあっていこうという方針の現場です。
【工程】
基本設計から下流まで。
要件定義から対応できると尚可。

【環境】
DataSpider、Tibco EBX、A-AUTO、Deciplined Agile
【人数】
10名程

エネルギー業界の顧客向け業務システムでAWSを利用したETL開発を行っていただきます。
ペアプロ/モブプロを採用しており、他のエンジニアへの技術指導も開発と並行してお願いします。
具体的には面談の際にお話ししますが、キャンペーン等の申込情報や契約情報の一元管理ができておらず、随時開発を行っています。
業務担当者が画面から条件指定して、検索することでキャンペーンの対象者の情報を活用できるようにするなどの効率化を図るためのデータ基盤を構築作業になります。

データ分析基盤(データクリーンルーム)の設計/開発対応を行っていただきます。
・現行案件をベースに、Data Engineeringチームの設立 (データベースやデータウェアハウスに関する案件対応)
・広義的なエンジニアチームの一員として、様々な案件への対応可能性（他既存案件、新規案件、アドホック対応、PoC対応等）
・必要に応じて、ヘルプや検証チームとしての活動

【案件概要】
・データ基盤の開発/改修/保守運用
・データ基盤の物理/論理データモデル設計/開発/保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計/開発/保守運用

大手自動車メーカーにて、横断的なDWH環境の構築を実施する。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行っていただく。