hi_dream, ltxv_text_to_video, ltxv_image_to_video 추가

 

ComfyUI를 통해 몇 가지 작업플로우 추가.

HiDream은 text_to_image 툴로써

현재 (25/05/23) 기준 가장 점수가 높은 오픈소스 이미지 생성 모델이라하여 선택함.

LTXV 또한 가장 앞서가는 오픈소스 video gen model 이라 하여 선택함.

comfyUI GUI에 먼저 테스트해보았고,

잘 나오는걸 확인하고는 파이썬 코드 상으로 옮김.

내 데스크탑 상의 특정 폴더를 외부에서 접근할 수 있게 열어놓았고

여기에다가 output된 이미지/비디오를 올려놓아 서드파티에서 작업할 수 있게 함.

 

처음에 LTXV를 먼저 작업했었는데 비디오 생성기치고는 상당히 가볍단 인상을 받았고,

그 후 작업한 HiDream은 이미지 생성기치고 상당히 무겁다는 인상을 받음.

내 그래픽카드는 3060ti에 8GB VRAM밖에 되지 않아 퀄리티 협상을 꽤 봐야만 했다.

HiDream의 경우 fast 모델을 사용함.

 

이제 이미지와 비디오 생성 모델을 각각 구현했으니,

원클릭으로 전체 파이프라인을 연결하는 작업에 들어갈 듯 하다.

 

HiDream을 통해 생성한 이미지.