Polyp-ddpm 컨셉 리뷰

https://github.com/mobaidoctor/polyp-ddpm

GitHub - mobaidoctor/polyp-ddpm: Polyp dataset generation

 

최근에 마스크 기반 이미지 생성모델이 있을까 찾아보다가 diffusion을 활용한 분야가 GAN보다 좋은 것으로 

보여지는 추세라서 medical 이미지에서도 사용한 논문들이 있을까 검색하다가 찾게된 polyp-ddpm 모델이다.

paper는 짧은데, 기본 컨셉은 병변 마스크 기반으로 원본 이미지 분포 내에서 다양하게 생성하는 것이 결국 목적이다.

 

 

 

 

나는 이를 활용해서 마스크 기반으로 원하는 이미지 생성이 가능한지를 활용하기 위해 사용했으며, 

결과적으로 그 기대효과는 얻을 수 있었던 모델이었음.

하지만 단일 클래스의 이미지를 사용하는 것이 좋으며, 멀티 클래스는 내가 데이터 수가 적어서 그런지는  모르겠지만, 

잘 학습이 안 되는 것을 확인함.

 

코드 사용도 용이하고 학습도 상대적으로 빨라서 나름 활용 가능할만한 모델로 보인다.