마인즈앤컴퍼니 블로그

안녕하세요. 1편에 이어 Kaggle Petfinder 대회 수상후기와 인사이트를 정리해드리려고 합니다! 저번 편에서 Transformer 모델에 대해서 소개해 드렸는데요, 이번 편에서는 Multi-head 모델과 BCE Loss 를 활용하여 학습했던 이야기를 해보려고 합니다. Insight 2 - Multi-head model is powerful! 그리스 신화에 나오는 케르베로스처럼, 하나의 몸에 여러 개의 머리가 달린 모델을 만들면 더 강력하지 않을까요? 실제로 이번 대회에서는 하나의 backbone (feature extractor)에 5개의 Head (predictor)를 붙여 사용했습니다. 이와 같은 Multi-head 모델을 4개 사용해서, 총 20개의 Head의 예측 결과를 앙상블 했습니다..

안녕하세요. 마인즈앤컴퍼니에서는 2021년 9월부터 2022년 1월까지 개최된 Kaggle PetFinder Pawpularity Competition에 참여해 3,537팀 중 97등 (Top 3%)로 은메달을 따냈습니다! 이번 레포트에서는 PetFinder Competition에 참여하면서 얻을 수 있었던 몇 가지 흥미로운 인사이트들을 공유하려고 합니다. 캐글 대회에 참여하고자 하는 국내 많은 데이터 사이언티스트들에게 도움이 되었으면 합니다. 그럼 시작하겠습니다! 대회 소개 A picture is worth a thousand words. But did you know a picture can save a thousand lives? 이번 대회는 보호소와 구조 단체에서 보호되고 있는 애완 동물을 입양할..

이번 글에서 다룰 주제는 지금까지 공부했던 방법론들과는 조금 다른 목적을 가진 방법론을 다루고자 합니다. 그 주인공은 바로 "차원 축소(Dimesionality Reduction)"입니다. 차원 축소란 쉽게 이야기하면 중요한 변수들을 취하여 우리가 다루는 변수의 수를 줄이는 프로세스입니다. [ML101-#1. Machine Learning?] 을 통해 차원 축소에 대해서 개괄적으로 소개를 해드렸는데요, 조금 더 자세히 살펴보도록 하겠습니다. 차원이란 무엇일까요? 이미 앞선 글들을 통해 계속 공부해오셨다면 쉽게 받아들이시고 있으실 거라고 생각됩니다. 차원이란 변수, 피처(feature), 열(column)과 같은 의미로 이해하시면 됩니다. 그렇다면 이 차원을 왜 축소시켜야 하는 것일까요? 반대로, 차원이 ..

지난글에서는 대표적인 Unsupervised learning 모델의 하나인 clustering의 개요, 유형에 대해 알아봤습니다. 이번 글에서는 clustering의 대표적인 모델인 K-means clustering / Mean-shift clustering / DBSCAN (Density-based spatial clustering of applications with noise) / EM clustering using Gaussian mixture 에 대해서 좀 더 자세히 알아보고자 합니다. 1. K-means clustering K-means clustering은 대표적인 분할 군집 기법입니다. 군집 별로 centroid (중심)을 가지고 있으며, centroid에 가까운 data들 끼리 묶어 군집..

최근 인공지능에 대한 뜨거운 관심을 뒷받침하듯 기업, 나라에서 앞다투어 인공지능 해커톤, 경진대회, AI Challenge를 주체하고 있습니다. 대회에선 우수한 문제 해결 알고리즘을 개발한 팀에게 상금/보상을 부여하죠. 그렇다면 "우수한 알고리즘" 은 어떻게 선정되는 걸까요? 보통 인공지능 경진대회에선 문제별 평가지표를 함께 공개하며, 평가지표에 따라 높은 예측도를 가진 모델을 우수한 알고리즘으로 선정합니다. 인공지능을 활용하여 해결할 수 있는 문제가 무궁무진하듯 성능 역시 다양한 척도로 평가되어야 합니다. 그렇다면 평가 척도는 어떤 유형이 있으며, 어떻게 계산되는 걸까요? 모델을 평가하기 위한 평가 척도 (Evaluation Metric)에는 크게 분류(Classification) 척도와 예측(Regr..

[ML101] 시리즈의 세 번째 주제는 경사 하강법(gradient descent)입니다. 지난 시리즈에서 손실 함수(loss function)를 통해 모델의 예측값이 실제값과 차이가 나는 정도, 즉 오차값을 측정하는 방법들을 알아보았습니다. 우리가 가지고 있는 데이터들을 잘 설명할 수 있도록 손실 함수, 비용 함수(loss function, cost function), 또는 목적 함수(objective function)를 이용하여 가장 최적의 모델을 만듭니다. 이 과정은 최적화(optimization)라고도 하는데, 여기에서 사용되는 방법이 경사 하강법입니다. 경사 하강법은 손실함수의 결과값(오차값, 그림의 y축)이 최소값이 되는 최적인 모델의 파라미터 θ(x축)를 찾는 과정입니다. 그림에서 볼 수 있..

Machine Learning, Deep Learning 등 최신 AI 기술을 이해하기 위해서는 기본적인 이론 학습이 필요합니다. [ML101] 시리즈에서는 입문자를 위해 AI와 관련된 주요 이론을 챕터별로 소개합니다. 본 내용은 AI의 거장 Andrew Ng 교수의 강의 syllabus를 참고하여 주요 개념들을 정리한 내용입니다. 세부 이론을 살펴보기에 앞서 Machine Learning 프로젝트를 설계하는 일반적인 방법을 생각해 보겠습니다. 다소 진부한 내용이긴 합니다만 프로젝트를 실행할 때 결과 도출까지의 전체 과정을 머릿속으로 그려보고 시작하는 것은 효율과 성과를 높이는 중요한 방법이라고 생각됩니다. 자, 그럼 Machine Learning 프로젝트는 어디서부터 어떻게 시작해야 할까요? 1. 문제..