딥러닝 정리

딥러닝 모델에는 여러 종류가 있습니다. 몇 가지 예를 들면:

1. 다층 퍼셉트론 (Multilayer Perceptron, MLP): 전통적인 인공 신경망 모델로, 하나 이상의 은닉층(hidden layer)을 가진 MLP는 입력층(input layer)과 출력층(output layer) 사이에서 입력값을 처리하고 분류 또는 회귀 등의 문제를 해결합니다.
2. 합성곱 신경망 (Convolutional Neural Network, CNN): 주로 이미지, 음성, 자연어 처리 분야에서 사용되는 딥러닝 모델입니다. 입력 데이터의 공간 구조 정보를 보존하여 분류, 객체 인식, 분할 등의 문제를 해결합니다.
3. 순환 신경망 (Recurrent Neural Network, RNN): 순차적인 데이터(예: 시계열 데이터, 문장 등)를 처리하는 데 적합한 딥러닝 모델입니다. 이전 스텝의 출력값이 다음 스텝의 입력값으로 사용되는 구조를 가지고 있습니다.
4. 변환 학습(Transfer Learning): 미리 학습된 대규모 모델에서 파라미터를 가져와 새로운 모델을 학습시키는 방법입니다. 이미지 분류, 객체 검출, 자연어 처리 등의 분야에서 많이 사용됩니다.
5. 생성 모델 (Generative Model): 새로운 데이터를 생성하는 모델로, Variational Autoencoder (VAE), Generative Adversarial Network (GAN), Autoregressive Model 등이 있습니다.
6.  

 

가장 널리 사용되는 activation 함수들은 다음과 같습니다.

• Sigmoid
• ReLU (Rectified Linear Unit)
• Tanh (Hyperbolic tangent)
• Softmax
• LeakyReLU
• ELU (Exponential Linear Unit)
• Swish 등
• 1. 컨볼루션 레이어(Convolutional layer): 이미지 분류와 같은 컴퓨터 비전 작업에서 주로 사용됩니다. 입력 이미지에서 특징(feature)을 추출하는 역할을 합니다.
  2. 맥스 풀링 레이어(Max pooling layer): 컨볼루션 레이어와 함께 사용되며, 출력 이미지의 크기를 줄이고 특징을 강조하는 역할을 합니다.
  3. LSTM 레이어(Long Short-Term Memory layer): 시계열 데이터와 같은 순차적인 데이터를 처리하는 데 사용됩니다. 이전 시점의 상태를 기억하고, 현재 입력에 대한 출력을 계산합니다.
  4. 배치 정규화 레이어(Batch normalization layer): 모델의 학습을 안정화하는 데 사용됩니다. 입력 데이터를 정규화하고, 학습 과정에서 각 레이어의 가중치와 편향을 조정합니다.
  5. 드롭아웃 레이어(Dropout layer): 과적합을 방지하기 위해 레이어 사이에 추가되는 레이어입니다. 학습 과정에서 임의로 일부 노드를 비활성화합니다.
  6. ReLU(Rectified Linear Unit) 활성화 함수: 입력이 0보다 크면 입력을 그대로 출력하고, 0 이하면 0을 출력합니다. 이 함수는 계산이 간단하고, 학습 속도가 빠르기 때문에 널리 사용됩니다.
  7. sigmoid 활성화 함수: 입력이 커지면 1에 수렴하고, 작아지면 0에 수렴하는 함수입니다. 이 함수는 출력값이 0과 1 사이에 있기 때문에 이진 분류 문제에서 사용됩니다.
  8. tanh 활성화 함수: sigmoid 함수와 비슷하지만, 출력값이 -1과 1 사이에 있기 때문에 활성화 함수로 널리 사용됩니다.
  9. softmax 활성화 함수: 다중 클래스 분류 문제에서 사용됩니다. 출력값을 모두 더하면 1이 되도록 정규화하고, 각 클래스에 대한 확률값을 계산합니다.
  10. 1. LeakyReLU(Leaky Rectified Linear Unit): ReLU 함수의 변형으로, 입력이 0 이하일 경우에도 0이 아닌 작은 값을 출력합니다. 이를 통해 ReLU의 단점인 "죽은 뉴런(dead neuron)" 문제를 완화시킵니다. LeakyReLU는 하이퍼파라미터인 leaky factor라고 불리는 알파 값을 조정하여 음수 입력에 대한 출력 값을 조절할 수 있습니다.
      2. ELU(Exponential Linear Unit): 입력이 0 이하일 경우에도 ReLU와 달리 0이 아닌 작은 음수 값을 출력하고, 입력이 양수일 경우에는 그대로 출력합니다. 또한, ELU는 입력이 크게 작거나 큰 경우에도 더 많은 표현력을 갖게 되어, ReLU의 단점인 "죽은 뉴런" 문제와 "폭주하는 활성화 함수" 문제를 완화시킵니다.
      3. Swish: Swish는 ReLU와 비슷한 형태를 가지지만, 입력에 시그모이드 함수를 적용하여 더 부드러운 곡선을 가지게 됩니다. Swish는 ReLU와 비슷한 빠른 학습 속도를 가지면서도, 더 좋은 일반화 성능을 갖는 것이 실험적으로 보고되어 많이 사용되고 있습니다.
      4. 딥러닝 모델의 성능을 평가하기 위해 사용되는 대표적인 메트릭스로는 정확도(Accuracy), 손실 함수(Loss Function), 정밀도(Precision), 재현율(Recall), F1 Score 등이 있습니다. 이러한 메트릭스를 사용하여 모델의 성능을 평가하고, 최적의 모델을 선택하는 것은 모델 구축에서 매우 중요합니다.