멘토링 핵심: 전처리부터 고정
가장 먼저 나온 지적은 데이터 전처리 방식을 팀 전체가 합의해서 고정해야 한다는 것이었다. WavLM에 넣을 오디오를 얼마나 잘라 쓸지부터 팀원 간 합의가 필요하고, 미션2·3도 전처리 방식을 먼저 확정한 뒤 실험을 시작해야 한다.
실험 변수는 크게 세 가지로 나뉜다.
- -전처리 (raw wav 자르기 등)
- -가공 (푸리에 변환, mel-spectrogram 등)
- -모델 (WavLM, 기타 HuggingFace 모델 등)
멘토님 조언은 이 중 두 가지를 고정하고 나머지 하나만 바꿔가며 실험하라는 것이었다. 예를 들어 전처리(A)와 가공(C)을 고정한 채 모델(B)만 바꿔보는 식이다. 지금은 WavLM으로 진행 중이지만, HuggingFace에 다양한 모델이 있으니 이후 여기서 모델만 교체하며 비교할 계획이다.
bottom-up이 아니라 top-down으로
연구 관점에서는 bottom-up 접근(다양한 방법을 하나씩 밑바닥부터 검증)이 정석이지만, 대회처럼 시간이 제한된 상황에서는 효율이 떨어진다는 지적을 받았다. 대신 후보 모델들을 먼저 나열해두고 그중 가장 성능이 좋은 걸 찾은 뒤, 그 모델이 왜 잘 나왔는지를 역으로 분석하는 top-down 방식이 낫다. 이렇게 정리해야 나중에 발표 자료(PPT)도 스토리라인으로 구성하기 쉽다. 모델 선택에 대한 근거를 남겨두는 것 자체가 대회에서 중요한 평가 요소이기도 하다.
작업 환경: Colab 개별 작업 → 공용 Notion
각자 Colab 노트북에서 따로 작업하면 나중에 통합하는 게 힘들다는 문제가 있어서, 전처리 폴더 / 가공 폴더 / 모델 폴더로 구조를 나눈 공용 작업 공간을 쓰기로 했다. GitHub보다는 Notion이 낫다고 판단해 팀 공유 Notion 페이지를 새로 만들었다.
기능 추가나 성능 수치(예: 00 모델 성능 00.00%) 같은 업데이트가 생기면 바로 이 Notion에 최신화하기로 합의했다.
역할 재분담
멘토링 내용을 반영해서 역할을 다시 나눴다.
- -동한님: 기존 모델을 새 폴더 구조에 맞게 재정리, 미션2·3 전처리 진행
- -진성 (나): 전처리 이후 푸리에 변환·mel-spectrogram 가공, 미션2·3 진행, 미션1 재검증
- -주호님·다연님: 전처리·가공 이후 미션2·3 모델링(여러 모델로 정확도 개선), 미션1 WavLM 모델 검증 및 추가 개선 여부 확인
문서상으로는 내 역할이 "가공"으로만 적혀 있지만, 실제로는 동한님과 함께 미션2·3 전처리 과정부터 같이 맡기로 했다. 역할 간 경계가 뚜렷하게 나뉘기보다는 전처리~가공 파이프라인을 이어서 보는 쪽에 가깝다.
공통 원칙으로는 다른 역할군에게 필요한 의견을 적극적으로 전달하기로 했다. "CNN 써보면 좋을 것 같다", "이 가공은 어떻게 진행했나, 데이터 구조가 궁금하다" 같은 식의 소통을 각자 진행 상황을 Notion에 최신화한 뒤 카카오톡으로 공유하면서 이어가기로 했다.
다음 목표
다다음 멘토링 전까지 미션2·3을 끝까지 한 번 진행해보고, 전처리 과정에서 무엇을 왜 썼는지 정리해서 공유하는 게 목표다.