如何訓練 AI 網紅 LoRA
LoRA 是小型附加檔,用來教圖片模型學會一件新東西,例如你的角色臉孔。用角色的 20 到 40 張圖片訓練一次,之後只要在提示詞裡加入自訂的觸發詞,任何場景都能叫出同一張臉。
在固定 AI 網紅臉孔的各種做法中,這是最費工的一種,也是唯一讓檔案握在你手上的做法。在 fal 上訓練一次約 2 美元;自己架設則約需租用一小時的 RTX 4090。
| 方法 | 你要提供什麼 | 會拿到檔案嗎? | 在哪裡執行 |
|---|---|---|---|
| 參考圖片 | 每次提示詞附 1 到數張圖片 | 否 | 你上傳圖片的那個 App |
| 在 App 內訓練角色身分(Higgsfield Soul ID) | 20 張以上照片,約 3 到 5 分鐘 | 否 | 僅限 Higgsfield |
| 自己的 LoRA | 20 到 40 張附標註的圖片,1,500 到 3,000 步 | 會,一個 .safetensors 檔 | 任何能載入該基礎模型的工具 |
左右滑動查看全部 4 欄
LoRA 到底是什麼?
LoRA 就像替模型的大腦打補丁。這個名稱是低秩適應(low-rank adaptation)的縮寫,是 Microsoft 團隊在 2021 年發表的方法(LoRA 論文)。它不動原本的模型,只在上面訓練一層薄薄的額外數值。
要存下來的就是這一層。生成圖片時,它會和基礎模型一起載入,讓每張圖都往它學到的方向靠。
對 AI 網紅來說,它學的是一個不存在的人:下巴的線條、頭髮垂落的樣子。你用觸發詞把這個人叫出來,觸發詞是一個模型在別處從沒見過的無意義字串,例如 ZK_MIRA。
LoRA 只能搭配訓練時用的那個基礎模型。Black Forest Labs 的 FLUX 模型是最常見的基礎,FLUX.1 [dev] 的 LoRA 不能直接用在 FLUX.2 [klein] 上。Black Forest Labs 的訓練文件,也是針對單一指定的基礎模型訓練每個 LoRA(FLUX.2 klein 訓練文件)。收集第一張圖之前,先決定好基礎模型。
什麼時候 LoRA 比 Soul ID 或參考圖片更好?
角色需要在單一 App 之外使用時,LoRA 比較有利;要生成數千張圖、想放在自己的硬體上跑、不想每張圖都扣點數時,也是 LoRA 勝出。
參考圖片是最快的做法:每次下提示詞都附上角色圖片,模型會盡量複製那張臉。OpenArt 能用單張圖片建立角色,Multi-View 功能還能把這一張圖變成 9 個角度(OpenArt 角色)。
App 內訓練角色身分,介於兩者之間。Higgsfield 的 Soul ID 用 20 張以上照片訓練,約需 3 到 5 分鐘。Higgsfield AI Influencer 指南示範了在工作室裡怎麼操作。
How do you train a Soul ID?
Upload 20+ photos of the same person: high-quality, consistent lighting, face shown from different angles.
Train. The process takes about 3 to 5 minutes.
Generate. Select the trained character in the Character tab when generating with Soul 2.0.
Higgsfield 官方部落格形容它「比提示詞更好控制,又比 LoRA 省事」(Soul ID 文章,2026 年 6 月 15 日)。同一篇文章也說明,角色身分「不會匯出成獨立的模型檔」,只留在 Higgsfield。
OpenArt 也能用 4 到 100 張樣本圖訓練自訂 Character 模型,但它的角色頁面同樣沒有提供檔案下載。Krea 把 LoRA 訓練放進方案裡,Basic 方案 50 張圖,Max 方案最高 2,000 張。
這位創作者拿 Krea 的 LoRA 訓練和參考圖片做比較,看哪一種更能固定同一張臉。
差別在於:臉孔存在你掌控的檔案裡,還是存在你每月付費的帳號裡。
如果用帳號就好,在 Higgsfield AI Influencer 流程裡使用 Soul ID 可以省掉下面所有步驟。最佳 AI 網紅生成器清單把這些 App 並排比較,AI 網紅專區則整理了從設計臉孔到發出第一篇貼文的每條路線。
訓練資料集怎麼準備?
資料集是同一個角色的 20 到 40 張圖,每張附一小段文字標註。它對結果的影響比任何訓練設定都大。
這個範圍落在兩份公開指南之內。Black Forest Labs 自己的 LoRA 文章要求風格 LoRA 用 15 到 40 張圖(Hugging Face,2026 年 6 月 4 日);Higgsfield 的 Soul ID 則要求同一個人的 20 張以上照片。
AI 網紅有一個真人沒有的難處:一開始根本沒有照片,得自己做出來。
- 先設計出臉孔。可以用 Higgsfield AI Influencer Studio 這類角色建立器(操作教學:Higgsfield AI Influencer 指南)。它依 19 項選單設定建出一個人,每次收費 1.12 點數,產出一張肖像和一張全身照。
- 拓展成不同角度。把那張臉當參考圖餵回去,要求側臉、四分之三側面和全身照。OpenArt 的 Multi-View 能從一張圖做出 9 個角度。
- 除了臉以外,其他全部要有變化:光線、房間、服裝、鏡頭距離。Black Forest Labs 的訓練文件建議混用特寫與完整場景,避免重複背景(FLUX.2 klein 訓練文件)。
- 剔除臉孔跑掉的圖。鼻子、瞳色或髮際線有變的圖,會讓 LoRA 學到這種跑掉的臉。20 張乾淨的圖,勝過 40 張參差不齊的。
- 統一尺寸:長邊至少 1024 像素,這是 Black Forest Labs 兩份文件給的數字。
- 每張圖都要標註。每張圖配一個同名的 .txt 檔:
mira_014.png與mira_014.txt。開頭先寫觸發詞,再描述畫面裡除了你要學的臉孔之外的所有內容:「ZK_MIRA, woman in a grey coat on a tram, evening light」。
標註裡沒寫的東西,LoRA 就會吸收進去。把大衣寫進標註,大衣就是可選的;沒寫,她就會永遠穿著它。
想知道怎麼寫提示詞,才能讓一整組圖維持同一張臉,請看我們的 AI 網紅提示詞。
做法 1:用代管服務訓練
代管訓練服務替你跑 GPU 運算。你上傳一個壓縮檔,等訓練跑完,再把檔案下載回來。
fal 是定價最清楚的例子。它的 FLUX.1 [dev] 快速訓練器預設跑 1,000 步,每次收費 2 美元,價格「隨步數線性增加」(fal 訓練器頁面)。Replicate 的 FLUX.1 [dev] 訓練器以 ai-toolkit 執行,依 H200 運算時間按秒計費,每次約 0.86 美元。
- 把圖片資料夾與標註檔壓縮成一個 zip。
- 上傳到訓練器,並輸入你的觸發詞。
- 設定步數。預設為 1,000。Black Forest Labs 的文件建議角色訓練用 1,500 到 3,000 步,以 fal 的線性計價換算,每次約 3–6 美元。
- 訓練結束後下載 LoRA,或直接留在 fal。無論在哪裡使用,這個檔案都受 FLUX.1 [dev] Non-Commercial License 約束。若要在 fal 以外的付費帳號上使用,請改用 FLUX.2 [klein] 4B 訓練(見下方授權表)。
- 用它來生成。fal 的 FLUX.1 [dev] LoRA 端點每百萬像素收費 0.035 美元,頁面表示每張圖片都「已取得商用授權」(fal FLUX LoRA)。
OpenArt 是 App 型的選擇:用 4 到 100 張圖訓練自訂的 Character 模型,並在 OpenArt 內使用。它的角色頁面沒有標示訓練要花多少點數,各方案卡片則依等級列出角色一致性功能。
從 Plus 方案(每月 34 美元,)起才能商用;依 OpenArt 的條款,Starter 方案限非商業用途。兩者的比較見 Higgsfield vs OpenArt。
做法 2:用自己的 GPU 訓練
免費的做法是用自己的顯示卡搭配開源訓練器。Black Forest Labs 在自家訓練文件中,第一個點名的就是 Ostris 的 ai-toolkit。它採 MIT 授權,有網頁介面可以啟動並監看訓練任務。
ai-toolkit 可為 FLUX.1 [dev]、FLUX.2、Qwen-Image 與 Wan 影片模型等訓練 LoRA。開發者 Ostris 在這支影片裡示範,從資料集一路訓練出 FLUX.2 LoRA 的第一批樣圖。
- 安裝 ai-toolkit 並啟動網頁介面,網址是
localhost:8675。 - 指定資料集資料夾,每張圖旁邊放同名的 .txt 檔。在標註中寫入
[trigger],工具組會自動換成你的觸發詞。 - 選擇基礎模型。Black Forest Labs 指出,訓練 FLUX.2 [klein] Base 4B 需要 12 GB 顯示記憶體(RTX 3060 有 12 GB),另需 32 GB 系統記憶體;9B Base 則需要 22 GB。依模型卡,之後用 4B 模型生圖約需 13 GB。
- 設定步數與學習率。角色訓練用 1,500 到 3,000 步,學習率介於 8e-5 與 1e-4 之間,兩項數字都來自 FLUX.2 klein 訓練文件。
- 留意檢查點。Hugging Face 的文章每 250 步存一個檢查點,再看樣圖來評斷。留下臉孔正確、背景仍有變化的那一步。
這支教學在 ai-toolkit 裡為 FLUX.2 [klein] 9B 設定角色一致性 LoRA,從圖片集一路講到訓練設定。
家裡沒有顯示卡?可以按小時租。Black Forest Labs 的文章指出,在 RTX 4090 上跑 1,800 步不到一小時,租用費用約 0.50 美元。
Runpod 價格頁列出這張卡在 Community Cloud 每小時 0.34 美元、Secure Cloud 每小時 0.89 美元。該頁面最後更新於 2026 年 10 月 8 日。
這支影片租用 Runpod GPU 訓練 AI 網紅 LoRA,基礎模型不同,但租機器的流程一樣。
訓練一次要花多少錢?
代管服務只要幾美元,也不用自己設定;租 GPU 則不到一美元,但要花你的時間。
| 做法 | 付費項目 | 單次訓練 |
|---|---|---|
| fal FLUX.1 [dev] 訓練器,1,000 步 | 每次固定收費 | $2 |
| fal,3,000 步 | 隨步數線性增加,為預設值的三倍 | $6 |
| 在租來的 RTX 4090 上跑 ai-toolkit,約 1 小時 | GPU 租用時間 | 0.34–0.89 美元 |
| 在自己的 12 GB 顯示卡上跑 ai-toolkit | 電費 | 無費用 |
| OpenArt 自訂 Character 模型 | 點數 | 未公開 |
| Higgsfield Soul ID | 方案點數;沒有檔案可留存 | 未公開 |
左右滑動查看全部 3 欄
租用那一列只計算 GPU 時間。機器一啟動就開始計費,所以下載基礎模型和設定的時間也要算進去。
LoRA 做好之後怎麼用?
把它和同一個基礎模型一起載入,再把觸發詞寫進提示詞。其他部分跟一般寫提示詞沒有兩樣。
在 ComfyUI 裡,只要在模型和提示詞之間加一個 LoRA 載入節點,並用滑桿調整強度。完整的節點圖見 AI 網紅 ComfyUI 工作流程。
這支影片把訓練好的 LoRA 載入 ComfyUI 節點圖,用來生成網紅照片。
完全沒有 GPU?Black Forest Labs 的後台可以代管訓練好的 .safetensors 檔,並透過 API 提供使用(FLUX.2 klein 訓練文件)。
做影片時,先由 LoRA 產生靜態圖,再交給影片模型讓它動起來。每支片段都從定稿的靜態圖開始,影片模型才會從 LoRA 的臉孔起步。這段銜接在 AI 角色一致性指南裡有說明。
哪種基礎模型授權可以拿來賺錢?
基礎模型的授權同樣適用於你的 LoRA。接品牌合作的 AI 網紅屬於商業用途,所以要看這張表來決定走哪一條路。
| 基礎模型 | 授權 | 對付費帳號的意義 |
|---|---|---|
| FLUX.1 [schnell] | Apache 2.0 | 允許商業用途 |
| FLUX.1 [dev] | FLUX.1 [dev] Non-Commercial License | 以模型獲利需向 Black Forest Labs 取得授權 |
| FLUX.2 [klein] 4B | Apache 2.0 | 允許商業用途 |
| FLUX.2 [klein] 9B | FLUX Non-Commercial License | 以模型獲利需取得授權 |
左右滑動查看全部 3 欄
FLUX.1 [dev] 的條文有個值得留意的矛盾。第 2(a) 條把限制套用在「你建立的任何衍生作品」,而微調版本算衍生作品。
第 2(d) 條說你「可將 Output 用於任何目的(包括商業目的)」;第 1(c) 條則說「用於創造營收的活動」不屬於非商業目的。授權條款沒有說明 1(c) 與 2(d) 如何並存(FLUX.1 dev 授權條款)。
代管服務各有自己的處理方式。fal 的 FLUX.1 [dev] 端點聲明生成的圖片已取得商用授權。在自己的 GPU 上,採 Apache 2.0 授權的 FLUX.2 [klein] 4B 是最乾淨的選擇。
如果臉孔長得像真人,又是另一個問題。AI 網紅是否合法的指南談到肖像與標示規定。
關於 AI 網紅 LoRA 的常見問題
有免費訓練 AI 網紅 LoRA 的方法嗎?
有,用自己的 GPU 就行。ai-toolkit 採 MIT 授權,可免費使用;FLUX.2 [klein] 4B 採 Apache 2.0 授權,同樣免費,12 GB 的顯示卡就能訓練。
角色 LoRA 需要幾張圖?
同一張臉的 20 到 40 張乾淨、有變化的圖片。Black Forest Labs 的文章對風格 LoRA 給的是 15 到 40 張,Soul ID 則要求 20 張以上照片。
我能把 Higgsfield Soul ID 匯出成 LoRA 嗎?
不行。Higgsfield 表示,訓練好的角色身分不會匯出成獨立的模型檔。想把臉孔存成檔案自己持有,就得自己訓練 LoRA。
LoRA 訓練要多久?
依 Black Forest Labs 的文章,在 RTX 4090 上跑 1,800 步不到一小時。Soul ID 約需 3 到 5 分鐘,因為由 Higgsfield 在自己的伺服器上執行。
接下來看 Higgsfield:Character 頁面
資料來源
- arXiv,Hu 等人(Microsoft):LoRA: Low-Rank Adaptation of Large Language Models(2021),為這個方法命名的論文;凍結原始權重,只訓練額外加入的小型矩陣。確認於
- Hugging Face 上的 Black Forest Labs:用 LoRA 在 60 分鐘內微調 FLUX.2 [klein](2026 年 6 月 4 日),風格 LoRA 用 15 到 40 張圖,長邊 1024 px,每張圖配一個 .txt 標註檔,使用自訂觸發詞,以 ai-toolkit 訓練,1,800 步的訓練在 RTX 4090 上不到一小時,租用 GPU 約 0.50 美元。確認於
- Black Forest Labs 文件:FLUX.2 [klein] 訓練文件,可供微調的基礎模型;角色 LoRA 約 1,500 到 3,000 步;學習率 8e-5 到 1e-4;4B Base 需 12 GB 顯示記憶體(RTX 3060,12GB)與 32 GB 系統記憶體,9B Base 需 22 GB;4B 採 Apache 2.0,9B 限非商業用途。確認於
- GitHub:ostris/ai-toolkit,MIT 授權;可訓練 FLUX.1 dev、FLUX.2、Qwen-Image 與 Wan 的 LoRA;圖片搭配同名 .txt 標註檔的資料夾;[trigger] 佔位符;網頁介面使用連接埠 8675。確認於
- fal:FLUX.1 [dev] LoRA 快速訓練,每次訓練 2 美元,費用隨步數線性增加;預設 1,000 步;產出的檔案可用於 fal 的 FLUX.1 LoRA 端點。確認於
- fal:FLUX.1 [dev] 搭配 LoRA,每百萬像素 0.035 美元,無條件進位;頁面表示所有生成圖片均已取得商用授權。確認於
- OpenArt:角色一致性,只需一張參考圖,也可用角色建立器,或以 4 到 100 張樣本圖訓練自訂 Character 模型;Multi-View 可把一張圖變成 9 個角度;未標示訓練所需點數。確認於
- Higgsfield:Soul ID 角色一致性(2026 年 6 月 15 日),20 張以上照片,訓練約 3 到 5 分鐘,沒有獨立的模型檔,官方稱比 LoRA 省事。確認於
- Higgsfield:AI Influencer(2026 年 10 月 3 日),19 項選單設定,可選擇附上照片,每次產出一張肖像與一張全身照,收費 1.12 點數。確認於
- Black Forest Labs:FLUX.1 [dev] Non-Commercial License,第 1(c) 條排除創造營收的活動;第 2(a) 條對任何衍生作品(含微調)套用相同限制;第 2(d) 條規範 Output。確認於
- Black Forest Labs:FLUX.1 [schnell] 模型卡,Apache 2.0,可用於個人、科學與商業用途。確認於
- Black Forest Labs:FLUX.2 [klein] 4B 與 9B 模型卡,4B 採 Apache 2.0,約需 13 GB 顯示記憶體;9B 採 FLUX Non-Commercial License,約需 29 GB。確認於
- Runpod:Runpod 價格(2026 年 10 月 8 日更新),RTX 4090 在 Community Cloud 每小時 0.34 美元、Secure Cloud 每小時 0.89 美元。確認於
- Replicate:ostris/flux-dev-lora-trainer,以 ai-toolkit 執行的 FLUX.1 dev 訓練器;H200 每秒 0.001525 美元,每次約 0.86 美元。確認於
- Krea:Krea 價格,LoRA 訓練從 Basic(50 張圖)到 Max(2,000 張圖)。確認於