Attention for Deep Learning

Attention for Deep Learning Certificate

Class Introduction

강의 소개 및 개요입니다.

성명	윤성의	소속기관	KAIST
과목명	Attention for Deep Learning	강의시간	2
학습목표	1. RNN 구조에서 attention 역할을 이해한다. 2. attetion layer를 이해하고, 이를 transformer로 확장한다.

Course Introduction

Attention for Deep Learning 강의 과정입니다.

[Attention 소개]

RNN 구조에서 attention 모듈을 이해한다

-RNN 및 이를 활용한 sequence-to-sequence를 파악한다.
-RNN 구조에서 attention 모듈을 확장한다

[Self-attention layer]

Self-attention layer와 transformer에 대해 학습한다.

-RNN 구조에서 attention을 self-attention layer로 확장한다.

-Transformer로 확장한다.

Classification

Professor