MuZero 코드

기존 졸업논문에서 사용한 가상환경에서 gym-atari를 시도해보기 위해

https://ishuca.tistory.com/390

를 참고하여 설치를 진행했으나, make를 하지 못하여

https://ndb796.tistory.com/381

를 참고해서 make 명령어를 가능하게 하고 시도하였으나 되지 않았다.

https://stackoverflow.com/questions/42605769/openai-gym-atari-on-windows

에서 제안하는 방법을 이용하여 gym-atari를 설치 하였으나, 테스트 코드를 돌려볼 경우

import gym 
env = gym.make('SpaceInvaders-v0') 
env.reset() 
for _ in range(1000): 
	env.step(env.action_space.sample()) 
    env.render('human') 
    env.close() # https://github.com/openai/gym/issues/893

\OSError: [WinError 126] 지정된 모듈을 찾을 수 없습니다

라는 오류가 지속적으로 떴다.

 

그래도 사용하던 가상환경을 이용하려고 노력했으나, 이유를 쉽게 찾을 수 없어 새로이 가상 환경을 만들어 

https://github.com/kaesve/muzero

에서 사용하는 파이썬과 tensorflow 등을 맞추어 설치를 하고,

두번째 링크에서 제안하는 방법을 이용하여 설치를 하니 잘 작동되었다.

 

그러나 muzero 논문에서 제공되는 Main.py를 이용하고자 하였지만

file을 'w'로 열어서 json으로 dump하는 라인에서 에러가 발생했다.

 

FileNotFoundError: [Errno 2] No such file or directory: './out/MuZeroOut//CartPole_Base_Gym_gym_CartPole-v1_20210817-193112.json'

 

따라서 out 디렉토리와 내부에 MuZeroOut 디렉토리를 만들어주니, 1번의 self play와 backpropagation은 잘 되었지만

 

AttributeError: 'str' object has no attribute 'decode'

가 나오며 중단되었다