How does data sparsity affect your models?

기계 학습에서 희소 데이터 세트 처리 - (analyticsvidhya.com)

 

what is saprse datasets?

missing value : null값을 포함하는 데이터 유형
sparse value : feature의 실제 값을 포함하지 않는 데이터 유형. 0과 null값을 많이 포함하는 데이터셋

문제점
머신러닝 문제에 좋지 않기 때문에 반드시 적절한 처리과정이 필요하다.
하지만, 모바일 장치에 맞게 일반 네트워크의 메모리 공간을 줄이고, 딥러닝에서 계속 증가하는 네트워크의 훈련 시간을 단축 하기 때문에 경우에 따라 좋다.

1. Overfitting (과적합)

2. Avoiding Important Data (중요한 데이터 회피)

3. Space Complexity (공간 복잡성)

4. Time Complexity (시간 복잡성)

5. Change in Behavior of the algorithms (알고리즘의 행동 변경)