[Deep Learning (딥러닝)] Loss Function (손실 함수)

오늘은 Deep Learning (딥러닝) 모델에서 많이 사용되는 Loss Function (손실 함수)에 대해서 알아보겠습니다.

 

Cross-Entropy Loss 함수와의 합성 연산을 통해 합성 함수를 만들어서 주로 사용하는 Loss Function들은 다음과 같습니다.

 

• Binary Cross-Entropy Loss
• Categorical Cross-Entropy Loss
• Sparse Categorical Cross-Entropy Loss

3가지 Loss Function에 대해서 알아보기 전에 Cross-Entropy Function에 대해서 알아보도록 하겠습니다.

---

※ Cross-Entropy (CE) Function :  $CE = - \sum_{i}^{C}t_i\text{log}(s_i)$

   (여기서, $t_i$는 Groundtruth 벡터의 i 번째 값을 의미하며, $s_i$는 Score 벡터의 i 번째 값을 의미합니다.)

 

---

1 . Binary Cross-Entropy (BCE) Loss : Binary Classification 모델에서 주로 사용되며, 해당 함수는 다음과 같습니다.

$$BCE = - \sum_{i=1}^{C=2}y_{i}\text{log}(h(x_{i};\theta))+(1-y_{i})\text{log}(1-h(x_{i};\theta))$$

(Binary Cross-Entropy Loss는 Sigmoid 함수와 Cross-Entropy Loss 함수의 합성 함수라고 생각하시면 됩니다.)

 

---

2. Categorical Cross-Entropy (CCE) Loss : Multi-class Classification 모델에서 주로 사용되며, 해당 함수는 다음과 같습니다.

$$f(s)_{i}  =  \frac{e^{s_i}}{\sum_h^{C}e^{s_j}}, \quad CE = - \sum_i^{C}t_{i}\text{log}(f(s_i))$$

(Categorical Cross-Entropy Loss는 Softmax 함수와 Cross-Entropy Loss 함수의 합성 함수라고 생각하시면 됩니다.)

 

---

3. Sparse Categorical Cross-Entropy (SCCE) Loss :  Multi-class Classification 모델에서 사용되는 Sparse Categorical Cross-Entropy Loss는 Label이 Categorical Cross-Entropy Loss 함수와 같이 Groundtruth가 벡터의 형태가 아닌, 스칼라(정수) 형태인 상황에서 사용하는 Loss Function 입니다.

 

---

 

추가적으로, 위의 함수들은 현재 Data Point 수가 1개인 경우에 대해서 작성되었으며, Data Point 수가 N개인 경우에 대해서는 모든 N개의 데이터에 대해서 Loss Function 값을 계산해서 평균값을 구해주시면 됩니다.

 

지금까지, Deep Learning (딥러닝)에서 주로 사용되는 Loss Function (손실 함수)에 대해 알아보았습니다.

 

 

Reference

• https://www.tensorflow.org/api_docs/python/tf/keras/losses