SK네트웍스 Family AI 캠프 25기 | 11주차 회고

 

리눅스 1급 신청하고 대후회한 한 주였다...

자소서 준비부터 자격증, 복습까지 할 일이 산더미 같아서 스트레스를 많이 받았다.

주말 일정을 좀 널널하게 잡아둬야겠다. 혼자 공부 정리할 시간이 없어서 슬프다..

 

쉬어가는 겸 회고는 러프하게.

 

---

46일차

날짜 : 2025-03-09 

Four F’s of Active Reviewing

Facts : BERT 구조(토크나이저, 어텐션 마스크, Masked LM)를 실습하고, 한국어 BERT(klue)와 감성분석 모델을 디스코드 봇에 연동했다.

Feelings : 실습 위주라 흥미로웠으나, 개념 이해보다 코드 따라가기에 급급한 느낌이 들었다. 특히 self-attention과 attention의 차이처럼 답할 수 있어야 한다고 강조된 개념이 아직 명확하게 정리되지 않아 아쉬웠다.

Findings : 사전학습된 모델을 가져오면 단어사전을 직접 만들 필요 없이 토크나이저와 토큰 ID를 그대로 사용할 수 있다. 같은 단어도 어떤 corpus로 학습했느냐에 따라 토큰 ID가 달라진다.

Future : self-attention과 attention의 차이에 대해 정리하기

 

 

47일차

날짜 : 2025-03-10

Four F’s of Active Reviewing

Facts : GPT와 BERT 구조 차이를 이론으로 정리했다. klue/bert-base로 고객 발화문 카테고리 분류 모델을 학습시켜 디스코드 고객센터 채널에 연동했다. 이후 삼성 주가 데이터를 크롤링해서 이평선, RSI, MACD 등 기술 지표를 추가해 내일 주가 등락 예측용 데이터셋을 준비함.

Feelings : 직접 학습시킨 모델이 "병원 예약하고 싶어요"를 병원으로 정확히 분류하는 걸 보니 뿌듯했다. 다만 어제 모델이랑 오늘 모델을 한 파일에 합치면서 코드가 지저분해져서 신경 쓰였다.
Findings : 같은 BERT 계열이라도 학습 목적(분류 혹은 마스크 예측)에 따라 BertForSequenceClassification, BertForMaskedLM 등 헤드를 다르게 붙여야 한다. 또, 여러 모델을 한 파일에서 운용할 때 변수명 충돌을 방지하려면 처음부터 함수나 클래스로 분리해두는 것이 낫다는 걸 배웠다.
Future : 디스코드 봇 코드를 모델별로 함수로 분리해 정리

 

 

48일차

날짜 : 2025-03-11 

Four F’s of Active Reviewing

Facts : 삼성전자 주가 데이터에 기술지표를 추가해 LSTM과 Transformer 인코더로 등락 분류 모델을 학습시켰다. 오후엔 면접 데이터셋으로 KoGPT2를 파인튜닝해 면접 답변 생성 모델을 만들어봤다.

Feelings : LSTM으로 만든 주가 예측 모델이 동전던지기 확률보다 조금 나은 수준이었다. Transformer 인코더는 Val Acc가 40%대에 머물러서 실망했다. KoGPT2가 면접 질문에 그럴듯한 답변을 생성하는 건 좀 흥미로웠음.

Findings : 인코더는 분류에, 디코더는 생성에 적합하다는 것을 직접 실험으로 확인했다. AutoTokenizer가 특정 모델에서 학습을 망치는 케이스가 있었고, PreTrainedTokenizerFast로 명시적으로 지정하니 해결됐다. 범용적이라고 항상 좋은 게 아니라 모델에 맞는 토크나이저를 확인하고 써야 한다는 걸 배웠다.

Future : AutoTokenizer vs PreTrainedTokenizerFast 차이 정리

 

49일차

날짜 : 2025-03-12

병가로 쉬었다.
30대 이슈로 어깨가 아프다 ㅠㅠ...
공부할 때마다 거슬려서 이날 쉰 것치곤 자격증 대비에 시간을 못 썼다.

 

50일차

날짜 : 2025-03-13 

Four F’s of Active Reviewing

Facts : BERT 구조(토크나이저, 어텐션 마스크, Masked LM)를 실습하고, 한국어 BERT(klue)와 감성분석 모델을 디스코드 봇에 연동했다.

Feelings : 실습 위주라 흥미로웠으나, 개념 이해보다 코드 따라가기에 급급한 느낌이 들었다. 특히 self-attention과 attention의 차이처럼 답할 수 있어야 한다고 강조된 개념이 아직 명확하게 정리되지 않아 아쉬웠다.

Findings : 사전학습된 모델을 가져오면 단어사전을 직접 만들 필요 없이 토크나이저와 토큰 ID를 그대로 사용할 수 있다. 같은 단어도 어떤 corpus로 학습했느냐에 따라 토큰 ID가 달라진다.

Future : self-attention과 attention의 차이에 대해 정리하기

 

 

📖 주말 복습

- 리눅스 시험보고 에너지 고갈
- 자소서 2개 제출하고 에너지 고갈

다음 주엔 밀린 복습을 해치워 볼 예정!! 🔥
밀도있게 살자