728x90 반응형 Add,/LG Aimers20 [LG Aimers] 시계열데이터 및 AI 모델 성능 최적화 LG Aimers 학습 내용을 정리한 글입니다 1. 순환신경망 기반의 다변량 시계열 데이터 회귀모형 Non-Sequential Data : 시간 정보를 포함하지 않고 생성되는 데이터(N by D행렬(N:관측치 수, D:변수 수)) Sequential Data : 시간 정보를 포함하여 순차적으로 생성되는 데이터((N) by T by Tensor(T:측정시점 수)) RNN Hidden Unit1. LSTM : Gradient exploding/vanishing 문제를 해결하여 lont-term dependency 학습 가능 → LSTM의 구조가 복잡하여 다양한 diagram들이 존재한다. vanilia RNN은 주기억장치만 존재한다면, LSTM은 주기억장치와 보조기억장치 또한 존재한다. cell state .. 2023. 7. 31. [LG Aimers]Deep Neural Networks 딥러닝5 - Transformer/Self-supervised Learning/Large-Scale Pre-Trained mode LG Aimers 학습 내용을 정리한 글입니다 1. Transformer 모델의 동작 원리 : attention module can work as both a sequence encoder, and a decoder in seq1seq with attention. 더보기 Long-term Dependency lssue of RNN models → Long-term dependency 문제를 해결한다. Scaled Dot-product Attention Multi-head Attention Masked self-attention 2. 자가지도학습 및 언어 모델을 통한 대규모 사전 학습 모델 self-supervised learning : given unlabeld data, hide part of the .. 2023. 7. 30. [LG Aimers]Deep Neural Networks 딥러닝4 - Seq2Seq/자연어 LG Aimers 학습 내용을 정리한 글입니다 seq2seq with attention 모델 및 이를 통한 자연어 이해 및 생성 Recureent Neural Networks(RNNs) : 시퀀스 모델에 특화된 특성 one to one : vanilla neural networks one to many : Image Captioning (image → sequence of words) many to one : sentiment classification (sequence of words → sentiment) many to many : Machine Translation (sequence of words → sequence of words) many to many(맨오른쪽) : e.g. video cla.. 2023. 7. 30. [LG Aimers]Deep Neural Networks 딥러닝3 - CNN LG Aimers 학습 내용을 정리한 글입니다 Neural Network (NN) ConvNets : 특정 class에 존재할 수 있는 작은 특정 패턴들을 정의하고 패턴들이 주어진 이미지 상에 있는지를 판단한다. *활성화 지도 : 특정한 convolution filter를 주어진 입력 이미지에 모든 위치에 오버랩을 시켜 매칭되는 정도 과정 1. 특정 convolution filter를 이미지 상의 각각의 특정 위치에 위치시킨다. 과정 2. 그에 해당하는 이미지 패치와 align을 시켰을 때 pixel 값들을 곱한다. 과정 3, 다 더한다. 과정 4. total pixel 개수들로 나누어준다. (생략가능) Channel input image가 color인 경우, RGB가 각각의 input channel로 .. 2023. 7. 30. 이전 1 2 3 4 5 다음 728x90 반응형
