구인구직 타겟 설정(데이터 엔지니어) ver. 로켓펀치

2 minute read

(로켓펀치 ) 데이터 엔지니어

담당업무

데이터 통합 관리 EDW 구축
KPI를 위한 다양한 데이터 가공
풀고자하는 문제를 데이터셋으로 정의하고 설계
데이터 어노테이션을 위한 평가 기준 설정 및 외부 레이블링 에이전시 협업 관리
대용량 웹사이트 크롤링(스크래핑) 엔진 개발
정책(자연어)데이터 도메인에 맞는 데이터 전처리
데이터 수집 및 분석엔진 개발
데이터 검증 및 개선 업무
대용량 트래픽 처리를 위한 인프라 구축
REST API 개발
데이터&SaaS 서비스 개발 경험
flask, pandas를 활용한 개발 경험
정규표현식을 활용한 데이터 처리 경험 • 데이터 웨어하우스 설계 및 최적화
• 대용량 로그 수집 및 ETL 파이프라인 개발 및 운영
• 데이터 시각화 환경 개발 및 운영
• 다양한 어플리케이션에서 데이터 웨어하우스로의 파이프라인 구축
타입캐스트 서비스에서 발생하는 대용량 로그 파이프라인 설계
데이터와 관련한 인프라 및 기반 시스템 운영 관리, 모니터링 경험
데이터웨어하우스 전반에 대한 지식 보유
데이터 레이크
빅데이터 처리 및 서빙 시스템 설계
Airflow, AWS EMR, Glue, RDS, EKS, Kinesis 등 사용
데이터 레이크 개발 및 데이터 엔지니어링 시스템 구축
전사 데이터 파이프라인 운영
3rd Party API를 통한 데이터 통합

자격요건

우대사항

GCP를 사용한 대용량 데이터 분산처리 환경 운영 경험
RDBMS 및 NoSQL 등 다양한 데이터베이스 활용 경험
오픈소스 dataflow 또는 workflow 엔진 구축 경험
Python, javasript 개발 경험
BI 툴을 활용한 시각화 개발 경험
B2B SaaS 제품을 만드는 곳에서 일한 경험이 있는 분
자연어 처리나 챗봇/대화 관련 연구 혹은 프로젝트 경험이 있는 분
구조화된 데이터 구축을 위한 가이드라인 작성 경험이 있는 분 • 머신러닝, 딥러닝, 개인화 추천등의 머신러닝 플랫폼 구축 및 프로덕트 운영 경험 • 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험이 있으신 분
• ETL 파이프라인을 통해 BI 시각화를 위한 툴(QuickSight, Looker, Tableau 등)에 리포팅해본 경험이 있으신 분
Public/Private Cloud 내 대용량 데이터 분산처리 환경 운영 경험
복잡한 구조의 실시간 데이터 병렬 처리 경험
데이터 분석, 딥러닝, 머신러닝 알고리즘에 대한 이해
분산 처리 기술
클라우드 환경에서의 데이터 엔지니어링 경험이 있으신 분
VC, Growth hacking에 대한 경험
오픈소스 프로젝트 활동 경험
OLAP 분석 경험
Kafka 등 데이터 스트리밍 구현 경험
InfluxDB 등 시계열 DB 관련 경험

You may also enjoy