전체 글 (52) 썸네일형 리스트형 CNN Visualization, grad_CAM 관련 끄적끄적 이미지는 캠프에서 제공된 이미지를 사용할 수 없으니, 내 사진을 쓰기로 했다 (｡•̀ᴗ-)✧ grad_CAM을 얻기 위해서, output중 가장 높은 값을 갖는 값에 대해서 back-propagation을 진행한다. 1. 먼저 마지막 conv를 통과한 feature map을 얻기 위해, 마지막 conv 이후 batch_norm을 통과한 값을 얻기 위해 hook을 걸어 저장한다. 2. hook을 걸었으니, model을 추론한다. 추론하며 (1)에서 hook을 걸었기 때문에, 마지막 feature map이 저장된다! 3. 저장된 feature map의 gradient를 구하기 위해, "Tensor"에 hook을 건다. (아마 저장된 Tensor가 model안의 tensor와 동일한 것 같다. 그러니 back.. 12.08 주간 회고록 cGAN을 하는데 정말 애먹었다. 설명을 짱 잘하는 우리 팀원분이 없었다면 끝없는 터널에 빠질뻔 했다. 아직도 나는 maxout layer에 꽂혀서 계속 시도중인데, 조금 화가날지도. 수요일에 오프라인 미팅이 있었고, 너무 많은 일들이 지나갔다. 너무 바쁘게 움직였고, 나는 느렸다. 내가 택한 느림이니, 어쩔수 없다고 생각했지만 그래도 level1 팀원들이 하나, 둘 떠나가는걸 보니 뭔가 아쉬웠다. 잠깐 반짝이고 말 인연이라면 여기까지 오지도 않았겠지. 그래도 좋은 인연을 잘 만들어 가는것 같다. 이렇게 말하니 바로 이별하는것 같은데, 그건 아니다. 아직 3주나 시간이 더 남았다. 그냥 느낌이 바삐 움직이는 인파속에 나 혼자 덩그러니 서있는 느낌이라 그런지도 모르겠다. 열정적인 세 팀원과 일을 해보신 두.. 끄적끄적 궁금증 self-attention은 order-invariant하다. 왜 그럴까? 일단 생각해보자. Q, K, V weight를 학습 시켰다. 단어를 one-hot vector나 아무튼 다른 representation으로 표현한다. 그렇다면 Q, K, V는 문장의 순서가 아닌, 단어에 따라서 값들이 나오게 되고, 결국 문장 구조와 관계없이 동일한 단어가 사용된다면 동일한 값이 나오게 되는 것일까? ---------------------------- RuntimeError: "topk_cpu" not implemented for 'Half' --> torch를 gpu에 올려놓은 상태인데, similarity.softmax(dim=-1).cpu().flatten() 와 같이 cpu에 올려둔 결과를 torch.top.. cGAN Generator는 loss가 1~6으로 계속 뛰었고, Discriminator는 loss가 0.02~0.1 이하로 유지되었다 →Generator가 학습이 잘 안됨! 아래는 해당 경우의 생성된 이미지다... 실눈뜨고 여유로운 마음으로 너그럽게 바라보면 3이 보이기는 한다.. 12.01 주간 회고록 이번에는 일 단위 기록을 하지 않았기 때문에, 일 단위로 작성하지는 못할것 같다. 하지만 이번주는 필기를 우선순위로 했고, 필기 내용을 올리는 것은 저작권상 문제가 있을 수 있을 것 같아 올리지는 못한다. 따라서 이번주 회고록은 느낀점을 기반으로 작성해 보고자 한다. 우선적으로 아침에 일어나는것이 지난주보다 더욱 힘들어 졌다.. 하지만 10시까지 세션에 접속하는것은 한번도 빠짐없이 참여했다. 모든 강의는 필기를 진행하면서 수강했고, 기억에 더 남게 하기 위해 노력했다. 이번 과제는 ResNet34 모델을 (거의)다 만들어 보는것이 과제였는데, torch로 모델을 구성한다는것은 TensorFlow와 많이 달랐고, 오히려 더 편리하다는 생각이 들었다. 점심식사 시간도 10~20분씩 넘어갔고, 10분씩 쉬던 .. 11.24 주간 회고록 이번주는 notion에 뭔가를 남겼다기 보다는 필기를 주로 진행했다. 따라서...뭘 남겨야 할지 잘 모르겠다! 11.20 Cross Entropy에 대해서 다시한번 명확하게 정리하는 시간을 가졌다. 정보량과 엔트로피의 관계, 왜 loss로 cross entropy를 사용하는지에 대해 알아봤다. KL-Divergence를 최소화 한다 == Cross Entropy를 최소화 한다! 가 되어버리기 때문이다!! https://sugar-acoustic-4ae.notion.site/DLBasic-11-20-b760a08c7058482ca1eed830ed406ffb?pvs=4 [DLBasic] 11.20 Cross Entropy 정리했다. sugar-acoustic-4ae.notion.site 11.21 MLE, .. 11.17 주간 회고록 11.13~ 11.17 이번주는 나름대로 매일 기록하고자 했다. 그에 따라서, 일별로 정리해보고자 한다. [11.13] PyTorch를 시작하며, PyTorch Template로 어떻게 프로젝트를 관리하는지에 대해 배웠다. 물론 기존에 Tensorflow를 사용해본 경험이 아주 도움이 많이 되었다고 생각한다. https://sugar-acoustic-4ae.notion.site/PyTorch-Template-d92e249f479f4c31b7c6bb6489e0aa92?pvs=4 PyTorch Template How this project works? sugar-acoustic-4ae.notion.site 여기서 PyTorch Template에 대한 간단한 고찰을 진행했다. Template를 기반으로, 주먹.. 11.10 주간 학습 정리 느낀점 Python 기본에 대해 복습할 수 있어서 좋았다. 기본 AI 수학들에 대해서 다시한번 복습하는 시간이 된것 같고, 기존의 기억을 하나씩 끄집어 내는 재미가 있었다. 복습할 내용 우선 4-1강의 decorator에 대해 용도 및 실제 적용되는 것들에 대해서 파악해보고자 한다. 또한, 5-2강의 pandas 에서 CSV연습 부분을 눈으로만 참여했기 때문에, 직접 해보고자 한다. 전체적인 AI 수학은 했던것을 반복하는 느낌이여서 다시한번 기본을 탄탄히 다질 수 있었다 피어세션 정리 뭔가 우리팀 분위기는 굉장히 화기애애하다고 생각한다 나는 좀 두서없이 말하고, 말하다 보면 길을 잃어버리는 타입인데, 길잡이 역할을 해주시는 캠퍼분도 있어서 좋다! 처음 만나는 사람끼리 친해져 보는것이 근 2~3년만인것 같.. 이전 1 2 3 4 5 6 7 다음
