Members

• @안대웅
• @정규헌
• @서용득

Subject

• Prompt와 Output Prediction과의 관계성 확인
  • Prompt가 높은 퀄리티를 가질수록 생성 이미지의 퀄리티도 높아지는가?
  • 다양한 prompt 사용해보기
• 우리가 원하는 이미지를 잘 생성해내는 Fine Tuning 기법 모색
  • ControlNet(text+image to image) vs Stable Diffusion with Lora(text to image)
• 다양한 형식의 Input-Output Pair 시도
  • fire masked-unmasked pair

Setting

Dataset

• AI hub 화재 발생 예측 영상
• Kaggle 화재 데이터 이미지

Issue

• Dataset
  • 기존에 사용한 AIhub 데이터 6600장의 이미지만 사용할 것인지? 아니면 추가로 더 늘려서 사용할것인지?
    • 데이터 예시
  • 각기 다른 task에 사용하는 Dataset을 다같이 통일할 것인지?
  • AI hub 데이터를 자세히 살펴보니, 연기, 화재 각각 박스태깅되어 있는 데이터들이 따로 존재 함.
  • 실험할때 데이터셋을 통일해야 할지?

Experiment

• 실험 1
  • 1-1 : ControlNet + non BLIP
  • 1-2 : ControlNet + BLIP
  • 1-3 : ControlNet + BLIP + (BLIP best 5 → ChatGPT generating 1 prompt)
• 실험 2
  • 2-1 : LoRA + BLIP best 1
  • 2-2 : LoRA + BLIP best 5
  • 2-3 : LoRA + (BLIP best 5 → ChatGPT generating 1 prompt)
  • 2-4 : LoRA + (BLIP best 5 → ChatGPT generating 1 prompt) + (연기 혹은 불의 크기, 위치에 대한 정보가 포함된 prompt)
• and more..
  • outpainting
  • image editing
    • InstructPix2Pix
    • prompt2prompt