📜 Course Description

objectives

데이터 엔지니어링은 대용량 데이터를 사용자의 기대 시간내에 효율적으로 처리하기 위해 데이터를 저장, 관리, 색인, 추출 등을 지원하는 기술을 의미한다. 데이터 엔지니어링은 현재 가장 빠르게 성장하고 있는 기술 분야 중 하나로, 숙련된 데이터 엔지니어에 대한 수요가 공급을 훨씬 능가하고 있습니다. 데이터 엔지니어링의 목표는 양질의 데이터를 데이터 중심 의사결정에 사용할 수 있도록 하는 것입니다. 본 수업에서는 데이터 엔지니어링 생태계 및 라이프사이클, 파이썬, SQL, 관계형 데이터베이스 등 데이터 엔지니어링에 필요한 기술을 배우게 됩니다. 본 수업을 성공적으로 마치면 데이터 엔지니어링에 대해 의미있게 이해하고, 고급 데이터 엔지니어링 프로젝트를 수행할 수 있는 실무 지식과 경험을 얻게 됩니다.

contents

• 대용량 데이터를 처리하기 위한 기본 개념 및 파이썬 프로그램 기법을 학습한다.
• 대용량 데이터를 처리하기 위한 다양한 데이터 처리 도구에 대해 학습한다.
• 대용량 데이처 처리 환경인 클라우드 환경에 대해 학습한다.

수업진행 방법

• Flipped Learning : 학습 내용에 대해서는 영상으로 제공하며, 수업시간에는 Hands-on 강의와 Task-oriented problem solving 을 진행한다.

Communication channerl with MS TEAMS

• 수강생 께서는 office 365 가입후 아래 설문조사를 작성해주시기 바랍니다.

  Microsoft Forms

• 가입방법 안내

  오피스365가입_및_다운로드_방법.pdf

Keywords

• numba
• cuda
• htop
• timeit
• subprocess