Sound Breakdown คืออะไร ให้ AI ผ่าคลิปเป็นไทม์ไลน์ภาพกับเสียง ทีละขั้น
Sound Breakdown คือ skill ฟรี (MIT) จาก posts.design ที่ให้ AI agent ผ่าคลิปออกมาเป็นวิดีโอไทม์ไลน์ตัดต่อ เห็นแถบช็อตทุกช็อตกับเสียงแยกเป็นชั้นพร้อมชื่อกำกับ บทความนี้พาติดตั้งใน Claude Code หรือ agent ตัวอื่น แล้วสั่งทำจากไฟล์คลิปของเราเอง

ใครเคยดูโฆษณาดีๆ แล้วสงสัยไหมครับว่าเขาวางเสียงยังไง ทำไมภาพตัดลงจังหวะกลองพอดี เสียงเบสเข้ามาตอนไหน เสียงพูดกับเพลงแยกกันยังไง ปกติต้องเปิดโปรแกรมตัดต่อแล้วนั่งฟังทีละชั้นเอง
Sound Breakdown คือ skill ฟรีจาก posts.design ที่ให้ AI agent ผ่าคลิปออกมาเป็นวิดีโอแบบนั้นให้ คลิปเล่นอยู่ด้านบน ด้านล่างเป็นไทม์ไลน์ตัดต่อ มีแถบช็อตทุกช็อต กับแทร็กเสียงแยกเป็นชั้นๆ แต่ละคลิปมีชื่อบอกว่าเป็นเสียงอะไร บทความนี้พาติดตั้งใน Claude Code หรือ AI agent ตัวอื่น แล้วสั่งทำ breakdown จากไฟล์คลิปของเราเองครับ
Sound Breakdown คืออะไร
ลองนึกถึงโปรเจกต์ตัดต่อของคนอื่นที่ถูกเปิดให้เราดู เห็นเลยว่าภาพไหนวางตรงไหน เสียงไหนซ้อนอยู่ชั้นไหน Sound Breakdown ทำแบบนั้นจากไฟล์วิดีโอที่ตัดเสร็จแล้ว มันแยกเสียงในคลิปออกเป็น stem (กลอง เบส เสียงร้อง และอื่นๆ) หาจุดตัดภาพ หาจังหวะ ถอดคำพูด แล้วเรนเดอร์ออกมาเป็นวิดีโอใหม่
ตัว kit อยู่ในโฟลเดอร์ breakdown/ ของ repo posts-design/mcp ใช้ license MIT และ README เขียนไว้ว่าใช้ได้ฟรี ทีม posts.design ทำไว้ใช้ทำ breakdown ของตัวเอง แล้วเปิดให้คนอื่นใช้ด้วย

ในวิดีโอที่ได้มีส่วนพวกนี้ครับ
| ส่วน | เห็นอะไร |
|---|---|
| หน้าต่างคลิป | คลิปต้นฉบับเล่นอยู่ด้านบน |
| V1 Video | แถบช็อตทุกช็อต ตั้งชื่อตามสิ่งที่เห็น เส้นกรอบวิ่งตามช็อตที่กำลังเล่น |
| แทร็กเสียง | หนึ่งแถวต่อหนึ่งชั้นเสียง เช่น Dialogue, Song vocal, Drums, Bass, Synths & FX แต่ละคลิปมีชื่อ เช่น "Kick and snare" |
| ไม้บรรทัดด้านบน | เลขห้องเพลงตาม BPM หรือเป็นวินาที |
| แถบล่าง | ชื่อช่วงของคลิป (acts) ที่กำลังเล่น |
| ฉากจบ (ไม่ใส่ก็ได้) | ผนังรวมโพสต์อื่นของแบรนด์ |
สิ่งที่ต้องมี
- AI agent ที่ใช้ skill ได้ เช่น Claude Code หรือ agent ตัวอื่นที่มีโฟลเดอร์ skills
- Node.js 20.9 ขึ้นไป
- ffmpeg ที่มี libx264 กับ libmp3lame (มี ffprobe มาด้วย)
- ฟอนต์ Inter ลงในเครื่อง ถ้าไม่มี ตอนเรนเดอร์จะหยุดและบอกเอง
- Python 3.10 ขึ้นไป สำหรับส่วนวัดเสียง (Mac รุ่น Intel ใช้ 3.10–3.12)
- ไฟล์คลิปที่เราโอเคจะผ่าและเอาไปโพสต์
ของที่จะโหลดลงเครื่อง ตาม README (ขนาดเป็นของ Linux บน Mac PyTorch เล็กกว่านี้)
| ขั้น | ค่าเริ่มต้น | ขนาดโหลด | ทางที่เบากว่า |
|---|---|---|---|
| วัดเสียง | numpy | ราว 17 MB | – |
| แยกเสียง (stems) | Demucs กับ PyTorch แบบ CPU | ราว 250 MB และโมเดล 55 MB ตอนรันครั้งแรก | --stems elevenlabs ถ้ามีคีย์ ElevenLabs |
| ถอดคำพูด | faster-whisper รุ่น small | ราว 130 MB และโมเดลราว 490 MB | คีย์ ElevenLabs หรือ --words none |
ถ้าคลิปไม่มีเสียงร้องเลย ขั้นถอดคำพูดจะข้ามไปเองครับ
ติดตั้งใน Claude Code
ขั้นที่ 1 — เพิ่ม plugin
พิมพ์สองบรรทัดนี้ใน Claude Code ทีละบรรทัด
/plugin marketplace add posts-design/mcp
/plugin install posts-design@posts-design

plugin ตัวนี้ใส่ skill sound-breakdown มาให้ และต่อ MCP server ของ posts.design มาด้วย ตัว MCP ใช้ค้นคลิปในคลังของเขา ซึ่งต้องล็อกอินบัญชี posts.design และบางคำสั่งต้องเป็น Pro แต่ถ้าเราผ่าไฟล์คลิปของเราเอง ไม่ต้องใช้ส่วนนั้นเลยครับ
ขั้นที่ 1 (ทางเลือก) — ใช้กับ AI agent ตัวอื่น
README บอกให้ก๊อปโฟลเดอร์ของ skill ไปไว้ในโฟลเดอร์ skills ของ agent ที่ใช้ โฟลเดอร์ skill อยู่ที่ skills/sound-breakdown/ ใน repo
git clone https://github.com/posts-design/mcp
ls mcp/skills/sound-breakdown
แล้วก๊อปโฟลเดอร์ sound-breakdown ไปไว้ในที่ที่ agent ตัวนั้นอ่าน skills (แต่ละตัวอยู่คนละที่ ดูในเอกสารของ agent ที่ใช้)
ขั้นที่ 2 — เช็กเครื่องมือในเครื่อง
node --version
ffmpeg -version
ffprobe -version
Node ต้องขึ้น v20.9 ขึ้นไป ถ้า ffmpeg ขึ้นว่า command not found ให้ลง ffmpeg ก่อนครับ
ขั้นที่ 3 — ส่งคลิปให้ AI แล้วสั่งแค่ประโยคเดียว
ทำ sound breakdown ของไฟล์ ~/Movies/my-film.mp4 ให้หน่อย
ตาม SKILL.md ตัว agent จะทำงานตามลำดับนี้
- clone repo แล้วเช็ก Node, ffmpeg และฟอนต์ Inter
- บอกเราในข้อความเดียวว่าจะโหลดอะไร ขนาดเท่าไร แล้วถามตัวเลือกครั้งเดียว เช่น จะแยกเสียงในเครื่องด้วย Demucs หรือใช้ ElevenLabs (ถ้าตั้งคีย์ไว้)
- รัน
prep.mjsแยก stems ถอดคำ หาช็อตกับจังหวะ แล้วร่างไฟล์work/breakdown.json - ตั้งชื่อช็อต คลิปเสียง และช่วงของคลิป จากภาพกับเสียงที่วัดได้จริง
- เรนเดอร์ภาพนิ่งมาเช็กก่อน แล้วค่อยเรนเดอร์วิดีโอเต็ม ได้ไฟล์
work/breakdown.mp4
ขั้นที่ 4 คือส่วนที่สำคัญที่สุด README เรียกการตั้งชื่อว่างานจริงของเครื่องมือนี้ และใน skill มีกฎว่าห้ามแต่งคำ เสียง หรือช็อตที่ไม่มีจริง คำร้องที่ฟังไม่ออกให้เขียนว่า "Lyric unclear" หรือตัดทิ้ง
ถ้ามีคีย์ ElevenLabs อย่าวางคีย์ลงในแชตครับ ให้ตั้งเป็นตัวแปร ELEVENLABS_API_KEY ในเครื่องเอง skill เขียนไว้ชัดว่าจะไม่ขอให้วางคีย์ในแชต
ถ้าอยากรันเองโดยไม่ผ่าน AI
คำสั่งชุดนี้มาจาก Quick start ใน README (ตอนเตรียมบทความนี้ยังไม่ได้รันตัว kit เอง)
git clone https://github.com/posts-design/mcp && cd mcp/breakdown
npm install
python3 -m venv .venv
.venv/bin/pip install -r py/requirements.txt
.venv/bin/pip install -r py/requirements-demucs.txt --extra-index-url https://download.pytorch.org/whl/cpu
.venv/bin/pip install -r py/requirements-whisper.txt
node prep.mjs your-film.mp4 work/ --python .venv/bin/python
อธิบายสั้นๆ
npm installลง sharp ที่ใช้เรนเดอร์- บรรทัด requirements ตัวแรกคือ numpy สำหรับวัดเสียง ตัวที่สองคือ Demucs ตัวที่สามคือ faster-whisper (ข้ามได้ถ้ามีคีย์ ElevenLabs หรือคลิปไม่มีเสียงร้อง)
prep.mjsร่างไฟล์work/breakdown.jsonให้ ซึ่งชื่อทุกอย่างยังเป็นชื่อชั่วคราว
พอตั้งชื่อใน work/breakdown.json ครบแล้ว ค่อยเรนเดอร์
node render.mjs work/breakdown.json --stills 3,12,24
node render.mjs work/breakdown.json
บรรทัดแรกได้ภาพนิ่งวินาทีที่ 3, 12, 24 ไว้เช็กว่าชื่อคลิปอ่านออกไหม บรรทัดที่สองได้วิดีโอเต็ม README บอกว่าบนเครื่อง 4 คอร์ prep ใช้ราว 30 วินาทีต่อคลิปยาว 30 วินาที และเรนเดอร์ราว 70 วินาที ไม่นับเวลาที่เราตั้งชื่อเอง

ตัวเลือกที่น่าใช้
| อยากได้ | ใส่อะไร |
|---|---|
| วิดีโอแนวตั้งสำหรับ Reels, TikTok, Shorts | "aspect": "9:16" ใน breakdown.json (ค่าเริ่มต้นคือ 4:5) |
| แยกเสียงโดยไม่ลง Demucs | prep.mjs --stems elevenlabs กับคีย์ของเราเอง |
| ไม้บรรทัดเป็นวินาที แทนห้องเพลง | "ruler": "seconds" เหมาะกับเพลงที่ถูกตัดตามภาพ |
| ตัดให้เหลือไม่เกิน 60 วินาที | node excerpt.mjs work/breakdown.json cut/ --from <วินาที> --pull <วินาที> --to <วินาที> |
| สีตามคลิปต้นฉบับ | "style": { "ground": "#15121a", "accent": "#ef6fa8", "light": true } |
| โลโก้แบรนด์มุมขวาล่าง | prep.mjs --avatar logo.png |

สั่งผ่าน AI ก็ได้เหมือนกัน เช่น
- "ทำ sound breakdown ของไฟล์นี้ แบบ 9:16 สำหรับลง Reels"
- "ทำ breakdown แล้วตั้งไม้บรรทัดเป็นวินาที เพราะเพลงถูกตัดตามภาพ"
- "ตัด breakdown ให้เหลือ 60 วินาที เริ่มจากจุดตัดภาพแรกหลังวินาทีที่ 20"
เลือกคลิปแบบไหนดี
README บอกว่าเลย์เอาต์ทำมาสำหรับคลิป 16:9 ผลดีที่สุดคือคลิปที่ออกแบบมา มีเพลงที่ตัดตามภาพ และมีเสียงหลายชั้นแยกกันชัด เช่น คลิปเปิดตัวสินค้า หนังโฆษณา คลิปแบรนด์
คลิปแบบนี้มีอะไรให้ดูน้อย
- คลิปอัดหน้าจอ UI
- คลิปที่มีแต่เสียงพากย์
- คลิปวนลูป
- คลิปแนวตั้งหรือสี่เหลี่ยมจัตุรัส จะเล่นเป็นภาพแคบๆ ในหน้าต่าง
ทางที่ได้ประโยชน์สุดคือเอาโฆษณาที่เราชอบมาผ่า ดูว่าเขาตัดภาพตรงจังหวะกลองตรงไหน เสียงพูดเข้ามาก่อนหรือหลังเพลง แล้วเอาไปลองวางเสียงในคลิปของเราเองครับ
ข้อควรระวัง
- ลิขสิทธิ์: README เขียนให้ใช้กับคลิปที่เราโอเคจะผ่าและโพสต์ คลิปของคนอื่นดูเพื่อเรียนรู้ในเครื่องได้ แต่ก่อนโพสต์ให้แน่ใจว่าเรามีสิทธิ์
- ชื่อต้องตรงกับเสียงจริง: ตัวแยกเสียงจัดเสียงผิดชั้นได้ README ให้ตั้งชื่อตามเสียงที่ได้ยิน ไม่ใช่ตามชั้นที่มันแยกมา และเสียงไหนเปิดบนมือถือแล้วไม่ได้ยินก็ตัดทิ้ง
- พื้นที่และแรม: ไฟล์เฟรมที่ถอดไว้เก็บใน
~/Library/Caches/sound-breakdownบน Mac ใช้หลาย GB ต่อคลิปยาวหนึ่งนาที ลบโฟลเดอร์นี้ได้ทุกเมื่อ ถ้าเรนเดอร์แบบ--jobs 4แต่ละโปรเซสใช้แรมราว 2 GB - ElevenLabs คิดตามแพ็กเกจของเรา: ถ้าเลือกแยกเสียงหรือถอดคำด้วย ElevenLabs จะใช้เครดิตในบัญชีเรา ถ้าอยากให้ทุกอย่างอยู่ในเครื่อง ใช้ Demucs กับ faster-whisper
- Mac รุ่น Intel: ใช้ Python 3.10–3.12 เพราะ Demucs ต้องใช้ PyTorch รุ่นเก่ากว่า
สิ่งที่ได้ / ลองต่อ
- ได้วิดีโอที่เห็นทั้งภาพทุกช็อตและเสียงทุกชั้นของคลิปเดียว พร้อมชื่อกำกับ
- ได้วิธีศึกษาการวางเสียงของโฆษณาดีๆ โดยไม่ต้องเปิดโปรแกรมตัดต่อ
- ลองต่อ: เลือกคลิปโฆษณา 16:9 ที่มีเพลงชัดๆ สักตัว แล้วสั่ง agent ว่า "ทำ sound breakdown แบบ 9:16"
อยากเรียนการใช้ AI ทำวิดีโอและให้ AI ทำงานแทนแบบเป็นขั้นเป็นตอน ดูได้ที่ คอร์สทั้งหมด ครับ