ETLの案件・求人情報 | フリーランスエンジニアの案件・求人なら【テクフリ】

業務内容は下記になります。
現行会計システムをERPにリプレースする中でマスタデータをETLを用いて収集、加工、転送するシステムの要件定義を担当していただきます。

下記の業務をお任せする想定です。
データプラットフォームの企画およびアーキテクチャ設計
データパイプラインの設計・構築
データ分析のためのBIの開発・運用
継続的なモニタリングプロセスの構築・運用
データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
顧客データ活用の実態やドメイン知識の理解
CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定等
【プロダクト開発部】
言語：TypeScript, Python, Flutter
フレームワーク：Vue.js, Nuxt.js,Node.js
データベース：Cloud Firestore
インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理：Bitbucket
プロジェクト管理ツール：Notion, JIRA
コミュニケーションツール：Zoom, Slack, Google Workspace
【R&D部門】
開発言語：Python
フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn
データベース以降はプロダクト開発部と同様

顧客にストレスなくオンライン・オフラインのシームレスな体験を提供するため新規コンテンツの開発に携わっていただきます。
スクラムチームの一員として上記新規プロダクトを担うプロダクトチームの一員として、
チーム開発を重視しつつチームメンバーとコミュニケーションをとりながらより良いプロダクト開発を目指していただきます。
バックエンドの領域に関わらずフロント開発もチームメンバーとともに携わっていただきます。

大手企業にて運営している賃貸メディアサイトがあり、
事業拡大に伴いシステムのリプレイスを現在進行中です。
システムのリプレイスを行う中で、技術的課題を解消する技術顧問（テクニカルアドバイザー）を募集しております。
【仕事内容】
自社プロダクトである賃貸メディアサイトの開発に伴う技術顧問として、設計等の技術的な意思決定に携わります。以下に列挙する技術的観点のいずれか1つをお願いします。（複数担当しても構いません）
①Elastic等の検索エンジン技術
②1,000万レコード規模を高速に処理するETL技術
③大規模メディアサイトのバックエンドアーキテクチャ
④大規模メディアサイトのBFFアーキテクチャ化

【具体的な業務内容】
・アーキテクチャの設計、草案作成
・技術的な意思決定、技術資料作成
・技術課題の発見、改善案作成
・開発品質の向上に関わる活動
【開発環境】
・コラボレーションツール：Google workspace
・コニュニケーションツール：Slack
・プロジェクト管理：GitHub、jira、Confluence
・開発言語：JavaScript、TypeScript、Ruby
・フレームワーク：Ruby on Rails, Next.js
・クラウド：GCP
・開発手法：アジャイル（スクラム）

S/4導入において、シナリオに基づいたテスト実施をお任せいたします。
※2-3ヵ月のスポットでの業務を想定しております

OerackeEBS⇒SAPの置き換えに伴い、
データ分析基盤をInformaticaIICS、ストアドで再構築をしております。
現在開発フェーズ中で設計の手戻りや
結合テストに向けたJOB開発など業務内容は多岐にわたります。

期間：12月～3月

経営管理課題を解決する管理会計SaaSの、データ基盤構築や運用フロー構築と言った上流から携わっていただく案件となっております。
ビジネスの現場で扱っている非財務データを用いた予実管理が必須となっており、CRM・SFA・経費・請求など各ツールとの連携を実現し、管理会計に必要なデータが簡単に収集できるような仕組みが必要となっています。
そこで、解像度の高い管理会計の実現に向けて、社内のあらゆるデータ（財務、および非財務の情報）を収集し、
一元管理できるデータ基盤の構築をお任せします。

大手企業にて賃貸メディアサイトを運営しております。
現在は事業拡大に伴いシステムのリプレイスを進行中です。
システムのリプレイスを行う中で、技術的課題を解消する技術顧問（テクニカルアドバイザー）を募集しております。

【働き方】
平日フルタイムではなく、副業を前提として月20〜40時間稼働し、専門的な技術力を提供するポジションです。
【仕事内容】
自社プロダクトである賃貸メディアサイトの開発に伴う技術顧問として設計等の技術的な意思決定に携わります。
更新する中で、以下に列挙する技術的観点のいずれか1つをお願いします。（複数担当しても構いません）
①Elastic等の検索エンジン技術
②1,000万レコード規模を高速に処理するETL技術
③大規模メディアサイトのバックエンドアーキテクチャ
④大規模メディアサイトのBFFアーキテクチャ化

【具体的な業務内容】
・アーキテクチャの設計、草案作成
・技術的な意思決定、技術資料作成
・技術課題の発見、改善案作成
・開発品質の向上に関わる活動
【開発環境】
・コラボレーションツール：Google workspace
・コニュニケーションツール：Slack
・プロジェクト管理：GitHub、jira、Confluence
・開発言語：JavaScript、TypeScript、Ruby
・フレームワーク：Ruby on Rails, Next.js
・クラウド：GCP

どのように活用すべきか具体的な構想が決まって無い中で、
お客様の要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築するまでをお願いします。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

大手自動車販売会社にてフルスタックエンジニアとして、システム開発をご担当いただきます。
常に最新のテクノロジーに対応することを心がけ、従業員のアイデアや意見を取り入れながら、先進的な開発を行っています。
能力や経験を活かしながらチームメンバーと協力して、最新の開発ツールやフレームワークを活用したシステム開発を行っています。
今回のチーム開発では、アジャイル型開発をスクラムフレームワークで実践しております。

製造業向けDWHシステムにて、DWHの性能問題および
ETL由来の課題（連携性能の問題、保守性等）が発生しています。
それらを解決するために、DWHの二重化対応（負荷分散）および
ETL刷新（ASTERIAからDataFactory）対応をお任せできる方を募集しております。

・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL（Datastage）ジョブ他を改修（一部は新規開発、廃止も含む）
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
＜規模感＞
　・移行対象テーブル数：約1500本
　・移行ETLジョブ数：約1000本
　・インターフェース数：約1000本

PJ全体としては通信関連設備(基地局)から様々なデータを収集・加工・蓄積し、
データの利用者へ配信するサービスを行う基盤の載せ替えして頂きます。
それに伴うInfomaticaフロー作成、収集配信スクリプトなどを開発する。

【業務詳細】
AppSheetで作られた現行アプリケーションをGCP環境へ移行します。
GCP移行に伴い、Google Apps Script（GAS）での改修が見込まれます。

【工程】
詳細設計、開発、テスト

販売管理システム（汎用製品用）の老朽化に伴うインフラVersionUP対応を行っていただきます。
VersionUP時、現行の仕様/機能を担保できない場合は、業務APの改修を実施していただきます。
・WindowsServerのVerUP
・OSVerUPに伴う複数のMWのVerUP

【概要・業務内容】は下記になります。
・データ基盤の現行調査（バッチ数やテーブル数、データサイズなど＋現行の課題把握）
※既存のバッチ仕様書がないため、ソース解析が必要
・アーキテクチャ選定（SybaseIQ、Treasure Dataから分析に最適なDB選定および検証）
※詳細は面談時にお話しできればと存じます。

某通信系企業にてデータ基盤で行われているデータ処理の方式を移行するPJへ携わって頂きます。
現行のApache上で行われている処理をAWS Glueなどのクラウドサービスへシフトするなど移行計画、方式の検討段階からご対応頂きます。
■担当工程：
　要件定義～テスト

大手製造業データ統合基盤開発
基本設計書から詳細設計の作成（バッチ・ETL設計）
ETLツールを用いた実装
テスト計画書作成とテスト実施
（単体テスト、結合テスト、システムテスト）

データ分析基盤の構築業務支援をお願いします。
業務内容につきましては、機密情報が多いため、実際にお会いした面談の際に詳細をお伝えいたします。

大手製造業のデータ統合基盤の開発を行っていただきます。
1．詳細設計書作成（バッチ(ETL)設計）
　　基本設計から詳細設計書を作成する
2．Informatica Intelligent Data Management Cloud(CIH)(以降、IDMC)ツールによる実装
　　IDMCにて詳細設計書から実装を行う
3．単体・結合テスト計画書作成とテスト実施（単体テスト、結合テスト、システムテスト）

大手WEBシステムのデータ基盤インフラエンジニアとしてご参画いただきます。
【業務内容】
・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ (顧客のエンジニアおよび弊社メンバーと一緒に開発いただきます)

AI技術を活かしたEC事業におけるPM業務をお任せする予定です。
P.A.I.（パーソナル人工知能）の技術を活用したプロダクトを開発している企業にて
新規事業として越境EC事業に取り組んでいます。
最新のAI技術を活かした越境EC事業のプロジェクトマネジメント業務を担当いただける方を
募集しており、以下業務を担当いただきます。
・プロジェクトの進捗管理
・システム開発の要件定義策定
・ベンダーコントロール
・エンジニアチームとの連携

データ分析プラットフォームの新規構築をお願いします。（ETL/DWHチーム）
【対応業務】
・データ要件定義
・ETL処理開発標準作成
・ETL処理設計開発・テスト
・結合・総合テスト実施
・受入テスト実施

ETLの開発（データ関係）、JavaでのDataSpiderやEBXの開発を担当して頂きます。
EBXのアドオン、カスタマイズにJavaを使用するため、Javaが必須となります。
システムは、汎用機系のシステム含むデータを集めたものを統合する基幹システムです。
全員がすべてのツールを使えるように、得意なものを教えあっていこうという方針の現場です。
【工程】
基本設計から下流まで。
要件定義から対応できると尚可。

【環境】
DataSpider、Tibco EBX、A-AUTO、Deciplined Agile
【人数】
10名程

エネルギー業界の顧客向け業務システムでAWSを利用したETL開発を行っていただきます。
ペアプロ/モブプロを採用しており、他のエンジニアへの技術指導も開発と並行してお願いします。
具体的には面談の際にお話ししますが、キャンペーン等の申込情報や契約情報の一元管理ができておらず、随時開発を行っています。
業務担当者が画面から条件指定して、検索することでキャンペーンの対象者の情報を活用できるようにするなどの効率化を図るためのデータ基盤を構築作業になります。

データ分析基盤(データクリーンルーム)の設計/開発対応を行っていただきます。
・現行案件をベースに、Data Engineeringチームの設立 (データベースやデータウェアハウスに関する案件対応)
・広義的なエンジニアチームの一員として、様々な案件への対応可能性（他既存案件、新規案件、アドホック対応、PoC対応等）
・必要に応じて、ヘルプや検証チームとしての活動

【案件概要】
・データ基盤の開発/改修/保守運用
・データ基盤の物理/論理データモデル設計/開発/保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計/開発/保守運用

大手自動車メーカーにて、横断的なDWH環境の構築を実施する。
使用ツールはクライアント標準のETLツール(Talend)を使用し、クライアントの既存メンバーの方と協力しながら標準に則った実装を行っていただく。