네이버 부스트캠프 AI Tech (14) 썸네일형 리스트형 끄적끄적 궁금증 self-attention은 order-invariant하다. 왜 그럴까? 일단 생각해보자. Q, K, V weight를 학습 시켰다. 단어를 one-hot vector나 아무튼 다른 representation으로 표현한다. 그렇다면 Q, K, V는 문장의 순서가 아닌, 단어에 따라서 값들이 나오게 되고, 결국 문장 구조와 관계없이 동일한 단어가 사용된다면 동일한 값이 나오게 되는 것일까? ---------------------------- RuntimeError: "topk_cpu" not implemented for 'Half' --> torch를 gpu에 올려놓은 상태인데, similarity.softmax(dim=-1).cpu().flatten() 와 같이 cpu에 올려둔 결과를 torch.top.. cGAN Generator는 loss가 1~6으로 계속 뛰었고, Discriminator는 loss가 0.02~0.1 이하로 유지되었다 →Generator가 학습이 잘 안됨! 아래는 해당 경우의 생성된 이미지다... 실눈뜨고 여유로운 마음으로 너그럽게 바라보면 3이 보이기는 한다.. 12.01 주간 회고록 이번에는 일 단위 기록을 하지 않았기 때문에, 일 단위로 작성하지는 못할것 같다. 하지만 이번주는 필기를 우선순위로 했고, 필기 내용을 올리는 것은 저작권상 문제가 있을 수 있을 것 같아 올리지는 못한다. 따라서 이번주 회고록은 느낀점을 기반으로 작성해 보고자 한다. 우선적으로 아침에 일어나는것이 지난주보다 더욱 힘들어 졌다.. 하지만 10시까지 세션에 접속하는것은 한번도 빠짐없이 참여했다. 모든 강의는 필기를 진행하면서 수강했고, 기억에 더 남게 하기 위해 노력했다. 이번 과제는 ResNet34 모델을 (거의)다 만들어 보는것이 과제였는데, torch로 모델을 구성한다는것은 TensorFlow와 많이 달랐고, 오히려 더 편리하다는 생각이 들었다. 점심식사 시간도 10~20분씩 넘어갔고, 10분씩 쉬던 .. 11.24 주간 회고록 이번주는 notion에 뭔가를 남겼다기 보다는 필기를 주로 진행했다. 따라서...뭘 남겨야 할지 잘 모르겠다! 11.20 Cross Entropy에 대해서 다시한번 명확하게 정리하는 시간을 가졌다. 정보량과 엔트로피의 관계, 왜 loss로 cross entropy를 사용하는지에 대해 알아봤다. KL-Divergence를 최소화 한다 == Cross Entropy를 최소화 한다! 가 되어버리기 때문이다!! https://sugar-acoustic-4ae.notion.site/DLBasic-11-20-b760a08c7058482ca1eed830ed406ffb?pvs=4 [DLBasic] 11.20 Cross Entropy 정리했다. sugar-acoustic-4ae.notion.site 11.21 MLE, .. 11.17 주간 회고록 11.13~ 11.17 이번주는 나름대로 매일 기록하고자 했다. 그에 따라서, 일별로 정리해보고자 한다. [11.13] PyTorch를 시작하며, PyTorch Template로 어떻게 프로젝트를 관리하는지에 대해 배웠다. 물론 기존에 Tensorflow를 사용해본 경험이 아주 도움이 많이 되었다고 생각한다. https://sugar-acoustic-4ae.notion.site/PyTorch-Template-d92e249f479f4c31b7c6bb6489e0aa92?pvs=4 PyTorch Template How this project works? sugar-acoustic-4ae.notion.site 여기서 PyTorch Template에 대한 간단한 고찰을 진행했다. Template를 기반으로, 주먹.. 11.10 주간 학습 정리 느낀점 Python 기본에 대해 복습할 수 있어서 좋았다. 기본 AI 수학들에 대해서 다시한번 복습하는 시간이 된것 같고, 기존의 기억을 하나씩 끄집어 내는 재미가 있었다. 복습할 내용 우선 4-1강의 decorator에 대해 용도 및 실제 적용되는 것들에 대해서 파악해보고자 한다. 또한, 5-2강의 pandas 에서 CSV연습 부분을 눈으로만 참여했기 때문에, 직접 해보고자 한다. 전체적인 AI 수학은 했던것을 반복하는 느낌이여서 다시한번 기본을 탄탄히 다질 수 있었다 피어세션 정리 뭔가 우리팀 분위기는 굉장히 화기애애하다고 생각한다 나는 좀 두서없이 말하고, 말하다 보면 길을 잃어버리는 타입인데, 길잡이 역할을 해주시는 캠퍼분도 있어서 좋다! 처음 만나는 사람끼리 친해져 보는것이 근 2~3년만인것 같.. 이전 1 2 다음
