model parallelism 썸네일형 리스트형 [논문] About Model Parallelism 드디어 종강했다. 중간고사 이후, 수업 과제로 논문(EFFICIENT AND ROBUST PARALLEL DNN TRAINING THROUGH MODEL PARALLELISM ON MULTI-GPU PLATFORM) 발표를 진행했었다. 그때 느낀 바로는 굉장히 간단한 아이디어라고 생각했다. 하지만 코로나 때문에 기말고사가 사라지고 논문에 나온 실험을 진행해서 보고서로 제출하게 되었다. 이게 불행의 시작이었다. 이 논문은 저자가 공개한 코드가 없다... 그래서 어쩔 수 없이 여러 시행착오 끝에 타협을 하게 되었다. 구현하고자 하는 내용은 다음과 같다. Model Parallelism에서 일어나는 weight staleness 구현 weight staleness를 저자들이 제안한 SpecTrain: weig.. 더보기 이전 1 다음
