기능 요약

• 장르, 박자, 사용악기 등의 메타 데이터 기반 음원 생성
• 자체 AI 모델을 사용한 샘플(음원 조각) 및 가사 생성
• 음악 구성에 따른 샘플 배치/조합 작업
• 외부 API를 통한 음원 가공 처리

• 생성된 음원, 샘플 및 메타 데이터 관리

• 개별 음원에 대한 서비스 납품 내역 관리

• LLM 오케스트레이션을 통한 자연어 요청의 메타 데이터 변환

주요 작업 및 성과

레거시 시스템 재구축

• 프로덕트 프레임워크를 Django에서 FastAPI로 이전
• Django+DRF의 프레임워크 강제성이 짙어 유연성이 낮음
• Django에서 제공하는 무거운 기능들이 프로젝트에 필요하지 않다고 판단

• MySQL RDB 기반에서 MongoDB NoSQL DB로 변경
• 음원 메타데이터의 스키마 변경이 잦으며 생성 내역, 개별 샘플 데이터 등 영속화 하는 데이터들의 관계성이 적어 성능상 이점을 가져가기 위해 MongoDB 사용 결정

• Redis+Celery 조합의 비동기처리 시스템에서 AWS SQS+ECS Task 조합으로 변경
• 음원 생성 작업의 메모리 부담이 커 다수의 작업들을 Celery 인스턴스에서 장시간 실행했을 때 잦은 에러 발생 → 작업이 필요할 때마다 개별 Task 컨테이너에서 수행하도록 구조 변경

음원 생성 파이프라인 분리 작업

• 음원 생성의 각 단계를 함수형으로 구현, 분리

• 생성 단계를 하나의 오케스트레이터가 관리하는 패턴 대신 생성 조건과 단계 별 결과에 따라 각 서비스가 이벤트를 구독하고 반응하는 코레오그래피 패턴 적용

• 작업 순서 및 실행 시간에 대한 의존성을 해소
• 조건 상 불필요한 작업은 생략 가능하도록 변경
• 요구사항에 따라 특정 작업을 우선 수행하도록 명령하는 것이 가능
• 작업이 실패한 경우 마지막 단계에서 재시작이 가능하며, 시간이 오래 지났어도 재시작이 가능

음원 생성 시간 단축 작업

• 샘플 파일 I/O 시간 단축을 위한 멀티스레딩 적용

• 불필요한 중복 I/O 작업을 줄이기 위한 리팩터링

• 외부 API 통신 레이어의 비동기 처리

• 필수적이지 않은 단계는 선택적으로 거칠 수 있도록 개선

LLM을 이용한 사용자 요청 변환 기능 구현

• AWS Bedrock을 사용하여 사용자 요청을 변환하는 플로우 구성
• 프롬프트 체이닝 적용
• 사용가능한 메타데이터 키-값을 RAG를 통해 LLM에 주입
• 다양한 최신 LLM 모델을 테스트 해보고 적용할 수 있도록 버전 관리

• LLM을 통해 생성된 결과물이 내부 조건에 맞게 생성되었는지 평가하는 시스템 구축

기술 스택