April 2025 Retrospection

너무나도 낯설었던 LLM finetuning

지난달 중순부터 Rajat이랑 한결(A.K.A. Han)과 프로젝트를 하고 있다. MLCAD를 향하여…
처음엔 Rajat과 그저 안부를 묻다가 자기 하는 프로젝트 같이 하는 거 어떠냐고 물어보길래 고민을 조금 했다. 얘기를 약간 들어보니 LLM 파인튜닝하는 거였고, 나는 파인튜닝은 정말로 한 번도 해본 적이 없었기에 자신이 없다고 했다. (computer vision만 거의 해왔었으니까)
Rajat이 그냥 engineering work만 하면 된다고, 다 괜찮다고, 하는 말에 홀라당 넘어갔다. 뭐 크게 어렵진 않겠지~ 싶었고…
(안그래도 남는 시간 동안 kaggle 대회를 나가볼까 고민하던 때라서 일단 알겠다고 했다.)

근데 이럴 수가… 나는 몰라도 너무나도 몰랐고, 무엇보다 단순히 파인튜닝만 문제는 아니었다. Verilog code를 생성하도록 파인튜닝하는 거였는데, Verilog와 verilog code를 평가할 때 돌리는 시뮬레이션(Icarus Verilog)도 약간 알아야 했다. 당연히 LLM 파인튜닝을 위해 하이퍼파라미터, 프롬프트 유형, lora/dora 등등도 공부해야 했고…
덕분에 지금은 얕고 많은 지식을 터득했고, 자세하게 물어보면 모른다..ㅎㅋㅎㅋㅜㅜㅜㅠ 빠른 실험을 위해 이론 공부를 하거나 논문 읽을 시간이 많지 않았다. 알았다면 조금이라도 더 수월하긴 했을 텐데, 돌이켜보면 자원/시간 낭비를 너무 많이 한듯하다.
이제 논문 마감까지 일주일도 안 남았고, 조금이라도 완성도를 높이기 위해 결과들을 분석하고 있다.

비싼 GPU가 갖고 싶다…

예전 연구실에서 남는 GPU를 빌려서 쓰고 있는데, vram 용량이 너무 적어서 rajat이 빌려 다 준 GPU도 쓰고 있다.
얼릉 돈을 많이 벌어서 GPU도 사고, 고생 많이 한 죽어가는 맥북도 바꿔주고, 데탑도 다시 맞추고 싶다~~~~~
나는 언제 부자가 되려나
부자가 되면 빌게이츠처럼 The Gospel of Wealth를 실천할 거다. 내 꿈이 완성되는 그날까지… 달려………..깨꼬닥