AI 인플루언서 LoRA 학습 방법

LoRA란 무엇인가: 쉬운 설명

LoRA는 모델의 뇌에 붙이는 패치와 같습니다. 이름은 저랭크 적응(low-rank adaptation)의 약자로, 2021년 Microsoft 연구팀이 발표한 방법입니다(LoRA 논문). 원래 모델은 그대로 두고, 그 위에 얇은 추가 수치 층만 학습합니다.

저장되는 것은 바로 이 층입니다. 이미지를 생성할 때 베이스 모델과 함께 불러오면, 모든 결과물이 학습한 내용 쪽으로 조금씩 쏠립니다.

AI 인플루언서에서 학습하는 대상은 실존하지 않는 한 사람의 턱선, 머리카락이 떨어지는 모양 같은 특징입니다. 이 인물은 트리거 단어로 불러냅니다. 모델이 다른 곳에서 본 적 없는 ZK_MIRA 같은 의미 없는 토큰입니다.

LoRA는 학습에 쓴 베이스 모델에서만 작동합니다. 주로 Black Forest Labs의 FLUX 모델을 베이스로 쓰는데, FLUX.1 [dev] LoRA는 FLUX.2 [klein]에서 쓸 수 없습니다. Black Forest Labs의 학습 문서도 LoRA마다 지정된 베이스 모델 하나를 기준으로 학습합니다(FLUX.2 klein 학습). 이미지를 한 장이라도 모으기 전에 베이스 모델부터 정해야 합니다.

LoRA가 Soul ID나 참조 이미지보다 나은 경우

캐릭터를 한 앱 밖에서도 써야 한다면 LoRA가 유리합니다. 이미지를 수천 장 만들면서 장당 크레딧 없이 자체 하드웨어에서 돌리고 싶을 때도 마찬가지입니다.

참조 이미지는 가장 빠른 방법입니다. 프롬프트마다 캐릭터 사진을 올리면 모델이 최대한 비슷하게 얼굴을 따라 합니다. OpenArt는 이미지 한 장으로 캐릭터를 만들고, Multi-View 기능으로 그 한 장을 9개 각도로 늘려 줍니다(OpenArt 캐릭터).

앱 안에서 아이덴티티를 학습시키는 방식은 그 중간입니다. Higgsfield Soul ID는 사진 20장 이상으로 약 3~5분 만에 학습합니다. 스튜디오 안에서 쓰는 모습은 Higgsfield AI 인플루언서 가이드에서 볼 수 있습니다.

How do you train a Soul ID?

Upload 20+ photos of the same person: high-quality, consistent lighting, face shown from different angles.

Train. The process takes about 3 to 5 minutes.

Generate. Select the trained character in the Character tab when generating with Soul 2.0.

Higgsfield 공식 블로그는 Soul ID를 “프롬프트보다 제어력이 높고, LoRA보다 부담이 적다”고 설명합니다(Soul ID 게시글, 2026년 6월 15일). 같은 글에는 아이덴티티가 “독립 모델 파일로 내보내지지 않는다”고 적혀 있습니다. 즉 Higgsfield 안에만 남습니다.

OpenArt도 샘플 이미지 4~100장으로 맞춤 Character 모델을 학습합니다. 캐릭터 페이지에는 파일 다운로드도 명시돼 있지 않습니다. Krea는 요금제에 LoRA 학습을 포함하며, Basic은 이미지 50장, Max는 2,000장까지 가능합니다.

한 크리에이터가 얼굴 유지 측면에서 Krea의 LoRA 학습과 참조 이미지를 비교합니다.

Krea 2 - LoRA Training VS Reference Images: For Consistent Characters?Benji’s AI Playground

결국 얼굴을 내가 통제하는 파일에 두느냐, 매달 요금을 내는 계정에 두느냐의 선택입니다.

계정에 두어도 괜찮다면 Higgsfield AI 인플루언서 워크플로 안의 Soul ID로 아래 단계를 모두 건너뛸 수 있습니다. AI 인플루언서 생성 툴 추천에서 각 앱을 나란히 비교하고, AI 인플루언서 허브에서 얼굴 제작부터 첫 게시물까지 모든 경로를 볼 수 있습니다.

학습 데이터셋 만드는 법

데이터셋은 같은 캐릭터 이미지 20~40장과 각 이미지의 짧은 텍스트 캡션으로 이루어집니다. 어떤 학습 설정보다 결과를 크게 좌우합니다.

이 범위는 공개된 두 가이드 모두에 들어 있습니다. Black Forest Labs의 LoRA 글은 스타일 LoRA에 이미지 15~40장을 요구합니다(Hugging Face, 2026년 6월 4일). Higgsfield Soul ID는 한 사람의 사진 20장 이상을 요구합니다.

AI 인플루언서에게는 실존 인물에게 없는 문제가 있습니다. 아직 사진이 없다는 점입니다. 사진부터 직접 만들어야 합니다.

1. Higgsfield의 AI Influencer Studio(사용법: Higgsfield AI 인플루언서 가이드) 같은 캐릭터 빌더로 얼굴을 한 번 설계합니다. 메뉴 설정 19가지로 인물을 만들고, 실행당 1.12크레딧에 인물 사진과 전신 사진을 한 장씩 받을 수 있습니다.
2. 여러 각도로 확장합니다. 그 얼굴을 다시 참조로 넣어 측면, 사선 각도, 전신 컷을 요청합니다. OpenArt의 Multi-View는 이미지 한 장으로 9개 각도를 만듭니다.
3. 얼굴만 빼고 모두 다양하게 바꿉니다. 조명, 공간, 의상, 카메라와의 거리가 대상입니다. Black Forest Labs 학습 문서는 클로즈업과 전신 장면을 섞고 배경이 반복되지 않게 하라고 안내합니다(FLUX.2 klein 학습).
4. 얼굴이 흔들린 이미지는 걷어냅니다. 코, 눈동자 색, 헤어라인이 달라진 이미지는 그 흔들림까지 LoRA에 가르칩니다. 깨끗한 스무 장이 뒤섞인 마흔 장보다 낫습니다.
5. 크기를 맞춥니다. 긴 변 기준 최소 1024픽셀이며, Black Forest Labs 두 페이지가 제시하는 수치입니다.
6. 이미지마다 캡션을 답니다. 이미지와 이름이 같은 .txt 파일을 하나씩 두며, mira_014.png와 mira_014.txt 같은 식입니다. 첫머리에 트리거 단어를 쓰고, 학습시킬 얼굴을 제외하고 눈에 보이는 모든 것을 설명합니다. 예: “ZK_MIRA, woman in a grey coat on a tram, evening light”.

캡션에서 빠진 내용은 LoRA가 그대로 흡수합니다. 코트를 적어 두면 코트는 선택 사항으로 남고, 적지 않으면 인물이 그 코트를 늘 입게 됩니다.

한 얼굴로 이런 세트를 이어 가는 프롬프트 문구는 AI 인플루언서 프롬프트를 참고하시기 바랍니다.

방법 1: 호스팅 서비스에서 학습

호스팅 트레이너는 GPU를 대신 돌려 줍니다. zip 파일을 올리고, 학습이 끝나기를 기다린 뒤 파일을 내려받으면 됩니다.

가격이 가장 분명한 예는 fal입니다. FLUX.1 [dev] 패스트 트레이너는 기본 1,000스텝 기준으로 학습 한 번에 2달러입니다. 가격은 “스텝 수에 비례해 늘어납니다”(fal 트레이너 페이지). Replicate의 FLUX.1 [dev] 트레이너는 ai-toolkit 기반이며 H200 사용 시간을 초 단위로 청구해 학습 한 번에 약 0.86달러입니다.

1. 이미지와 캡션 파일이 든 폴더를 zip으로 압축합니다.
2. 트레이너에 업로드하고 트리거 단어를 입력합니다.
3. 스텝 수를 정합니다. 기본값은 1,000스텝입니다. Black Forest Labs 문서는 캐릭터에 1,500~3,000스텝을 권하며, fal의 비례 요금으로 계산하면 학습 한 번에 3~6달러입니다.
4. 학습이 끝나면 LoRA를 내려받거나 fal에 두고 쓸 수 있습니다. 파일은 어디서 돌리든 FLUX.1 [dev] Non-Commercial License를 따릅니다. fal 밖에서 유료 계정으로 쓰려면 FLUX.2 [klein] 4B로 학습해야 합니다(아래 라이선스 표 참고).
5. LoRA로 생성합니다. fal의 FLUX.1 [dev] LoRA 엔드포인트는 메가픽셀당 0.035달러이며, 페이지에는 모든 이미지가 “상업적 이용 허가 완료”라고 적혀 있습니다(fal FLUX LoRA).

OpenArt는 앱형 옵션입니다. 이미지 4~100장으로 맞춤 Character 모델을 학습시켜 OpenArt 안에서 씁니다. 캐릭터 페이지에는 학습 크레딧 비용이 표시되지 않으며, 요금제 카드에는 플랜별로 일관된 캐릭터 기능이 나와 있습니다.

상업적 이용은 월 34달러의 Plus 플랜부터 가능합니다(2026년 11월 6일). OpenArt 약관상 Starter는 비상업용입니다. Higgsfield와의 비교는 Higgsfield vs OpenArt에서 볼 수 있습니다.

방법 2: 내 GPU에서 학습

무료로 하는 방법은 내 그래픽카드와 오픈소스 트레이너를 쓰는 것입니다. Black Forest Labs는 자사 학습 문서에서 Ostris의 ai-toolkit을 가장 먼저 소개합니다. MIT 라이선스이며, 작업을 시작하고 모니터링하는 웹 화면이 있습니다.

ai-toolkit은 FLUX.1 [dev], FLUX.2, Qwen-Image, Wan 영상 모델 등의 LoRA를 학습합니다. 개발자인 Ostris가 이 영상에서 데이터셋 준비부터 첫 샘플 생성까지 FLUX.2 LoRA를 학습하는 과정을 보여 줍니다.

How to Train a FLUX.2 LoRA with AI ToolkitOstris AI

1. ai-toolkit을 설치하고 웹 인터페이스를 실행합니다. 주소는 localhost:8675입니다.
2. 데이터셋 폴더를 지정합니다. 각 이미지 옆에 이름이 같은 .txt 파일이 있어야 합니다. 캡션에 [trigger]를 넣으면 툴킷이 그 자리에 트리거 단어를 넣어 줍니다.
3. 베이스 모델을 고릅니다. Black Forest Labs는 FLUX.2 [klein] Base 4B 학습에 그래픽 메모리 12 GB(RTX 3060는 12 GB)와 시스템 메모리 32 GB를 요구합니다. 9B Base에는 22 GB가 필요합니다. 학습 후 4B 모델로 생성할 때는 모델 카드 기준 약 13 GB가 듭니다.
4. 스텝 수와 학습률을 정합니다. 캐릭터 기준 1,500~3,000스텝, 학습률 8e-5~1e-4이며, 모두 FLUX.2 klein 학습 문서에 나온 수치입니다.
5. 체크포인트를 확인합니다. Hugging Face 글은 250스텝마다 저장하고 샘플 이미지로 각각 평가합니다. 얼굴은 맞고 배경은 여전히 바뀌는 시점의 스텝을 남기면 됩니다.

이 영상은 ai-toolkit에서 FLUX.2 [klein] 9B로 일관된 캐릭터 LoRA를 설정하는 과정을 이미지 세트부터 학습 설정까지 보여 줍니다.

Consistent character LoRA training using AI-toolkit (Flux Klein 9B)KiubAI

집에 그래픽카드가 없다면 시간 단위로 빌릴 수 있습니다. Black Forest Labs 글에 따르면 1,800스텝 학습은 RTX 4090에서 한 시간 이내이고, 대여 비용은 약 0.50달러입니다.

Runpod 요금 페이지에는 이 카드가 시간당 Community Cloud 0.34달러, Secure Cloud 0.89달러로 올라 있습니다. 페이지 최종 업데이트는 2026년 10월 8일입니다.

이 영상은 Runpod GPU를 빌려 AI 인플루언서 LoRA를 학습합니다. 베이스 모델은 다르지만 대여 서버 방식은 같습니다.

Train an AI Influencer LoRA with Z Image Turbo on RunPodHearmemanAI

LoRA 학습 한 번에 드는 비용

호스팅 방식은 몇 달러가 들지만 설정이 필요 없습니다. GPU 대여 방식은 한 달러도 들지 않는 대신 본인의 시간이 더 듭니다.

대여 항목은 GPU 사용 시간만 계산한 값입니다. 요금은 서버를 켠 순간부터 올라가므로, 베이스 모델 다운로드와 환경 설정 시간도 포함됩니다.

완성한 LoRA 사용법

같은 베이스 모델 옆에 LoRA를 불러오고 프롬프트에 트리거 단어를 넣으면 됩니다. 나머지는 평소와 같은 프롬프트 작성입니다.

ComfyUI에서는 모델과 프롬프트 사이에 LoRA 로더 블록 하나를 두고 강도 슬라이더를 조절합니다. 전체 그래프는 AI 인플루언서 ComfyUI 워크플로에서 단계별로 설명합니다.

이 영상은 학습한 LoRA를 ComfyUI 그래프에 불러와 인플루언서 사진을 만드는 과정을 보여 줍니다.

Create Ultra-Realistic AI Influencers (LoRA Training + ComfyUI 2026)Ultra Realistic World: AI Generation

GPU가 아예 없다면 Black Forest Labs 대시보드가 학습한 .safetensors 파일을 API 뒤에서 호스팅해 줍니다(FLUX.2 klein 학습).

영상은 LoRA가 정지 이미지를 만들고 영상 모델이 그 이미지를 움직이는 순서로 만듭니다. 클립마다 고정된 정지 이미지에서 시작해야 영상 모델이 LoRA의 얼굴을 이어받습니다. 이미지에서 영상으로 넘어가는 과정은 일관된 AI 캐릭터 가이드에서 다룹니다.

수익 활동이 가능한 베이스 모델 라이선스

LoRA에도 베이스 모델의 라이선스가 그대로 적용됩니다. 브랜드 협찬을 받는 AI 인플루언서는 상업 활동이므로, 어떤 방법을 쓸지는 아래 표가 결정합니다.

FLUX.1 [dev] 약관에는 짚고 넘어갈 부분이 있습니다. 2(a)항은 “사용자가 만든 모든 파생물(Derivative)”에 제한을 적용하며, 파인튜닝한 버전도 파생물에 해당합니다.

2(d)항은 “출력물(Output)을 상업적 목적을 포함한 어떤 용도로도 사용할 수 있다”고 규정합니다. 반면 1(c)항은 “수익 창출 활동”에 쓰는 것은 비상업 목적이 아니라고 말합니다. 라이선스에는 1(c)항과 2(d)항이 어떻게 맞물리는지 설명이 없습니다(FLUX.1 dev 라이선스).

호스팅 서비스는 각자 방식으로 정리합니다. fal의 FLUX.1 [dev] 엔드포인트는 이미지가 상업적 이용 허가를 받았다고 밝힙니다. 내 GPU에서는 FLUX.2 [klein] 4B(Apache 2.0 라이선스)가 가장 깔끔한 선택입니다.

얼굴이 실존 인물을 닮았다면 별도의 문제가 생깁니다. 초상권과 표시 의무는 AI 인플루언서는 합법인가 가이드에서 다룹니다.

AI 인플루언서 LoRA 자주 묻는 질문

AI 인플루언서 LoRA를 무료로 학습할 수 있습니까?

네, 내 GPU에서 가능합니다. ai-toolkit은 MIT 라이선스로 무료이고, FLUX.2 [klein] 4B는 Apache 2.0 라이선스로 무료이며 12 GB 카드에서 학습할 수 있습니다.

캐릭터 LoRA에는 이미지가 몇 장 필요합니까?

같은 얼굴의 깨끗하고 다양한 이미지 20~40장입니다. Black Forest Labs 글은 스타일 LoRA에 15~40장을 제시하고, Soul ID는 사진 20장 이상을 요구합니다.

Higgsfield Soul ID를 LoRA로 내보낼 수 있습니까?

아니요. Higgsfield는 학습한 아이덴티티가 독립 모델 파일로 내보내지지 않는다고 밝힙니다. 얼굴을 파일로 소유하려면 직접 LoRA를 학습해야 합니다.

LoRA 학습에는 시간이 얼마나 걸립니까?

Black Forest Labs 글 기준으로 RTX 4090에서 1,800스텝은 한 시간 이내입니다. Soul ID는 Higgsfield가 자체 서버에서 돌리기 때문에 약 3~5분 걸립니다.

Higgsfield 다음 글: Character 페이지 →