DALL-E

DALL-E는 오픈AI가 2021년 1월 블로그 게시물에서 공개했다. 이 소프트웨어의 이름은 픽사의 애니메이션 로봇 캐릭터 월-E와 스페인의 현실주의 화가 살바도르 달리의 이름이 합쳐진 것이다.

최초의 GPT 모델은 2018년 OpenAI에서 변환기 아키텍처를 사용하여 개발되었으며, 2019년에 GPT-2, 2020년에 GPT-3으로 확장되었다. DALL-E는 120억 개의 매개변수를 갖춘 GPT-3의 다중 모드 구현이다.

DALL-E는 자연어 서술을 기반으로 독창적인 이미지를 생성하는 기계 학습 모델로, 텍스트를 시각적 결과물로 전환하는 능력이 특징이다. 이 모델은 예술가와 로봇 이름의 혼성어에서 그 이름을 가져왔다.

DALL-E 모델은 텍스트 캡션을 입력받아 토큰화된 이미지 패치의 시퀀스로 변환하여 이미지를 생성한다. DALL-E 2는 콘셉트, 속성, 스타일을 합칠 수 있는 더 높은 해상도의 사실적인 이미지를 생성하는 후속작이다.

이 모델들은 CLIP(Contrastive Language-Image Pre-training)과 연계하여 개발되었다. CLIP은 DALL-E의 출력물을 이해하고 순위를 지정하며, 가장 적절한 이미지를 선택하기 위해 생성된 이미지 목록을 필터링하는 데 사용된다.

2022년 7월 기준으로 DALL-E 2는 베타 단계에 진입했으며, 100만 명의 대기 중인 개인들에게 초대권이 전달되었다. 오픈AI는 DALL-E와 DALL-E 2 모델의 소스 코드를 공개하지 않았으나, 웹사이트에서 한정적으로 선별된 샘플 프롬프트의 출력물을 이용할 수 있다.

도덕성과 안전에 대한 염려로 인해 연구 프리뷰 접근이 제한되기도 했지만, 적은 양의 데이터로 훈련된 여러 오픈 소스 모방품들이 다른 실체들에 의해 공개되었다.