earshot หูให้ AI: ให้ Claude Code ได้ยินและตรวจเสียงในคลิป

ใครให้ AI ทำวิดีโอด้วยโค้ด น่าจะเคยเจอแบบนี้ครับ ภาพออกมาสวย ตัวหนังสือขยับดี แต่เสียงประกอบออกมาถูกๆ เสียงคลิกไม่ตรงจังหวะ เพราะ AI ไม่เคยได้ยินเสียงที่ตัวเองใส่ลงไปเลย

Leon Lin (@LexnLin) เลยทำ earshot ขึ้นมา เขาเรียกมันว่า "ears for AI coding agents" หรือหูให้ AI ที่เขียนโค้ด บทความนี้สรุปว่ามันทำอะไรได้ ต้องมีอะไร และต่อเข้า Claude Code ยังไง

ตอนเตรียมบทความนี้ไม่ได้ติดตั้งหรือรัน earshot ข้อมูลทั้งหมดมาจาก README ใน GitHub และโพสต์ของคนทำ

earshot คืออะไร

ตอนนี้ AI อ่านภาพได้แล้ว เหมือนมีตา earshot คือการให้มันมีหูด้วยครับ มันเปลี่ยนเสียงเป็นข้อมูลที่ AI อ่านเข้าใจ เช่น เสียงนี้ฟังเหมือนอะไร ตรงกับที่เราอยากได้แค่ไหน จุดไหนในไฟล์ยาวๆ ที่ดีที่สุด และทั้งคลิปมีเสียงอะไรเกิดขึ้นวินาทีไหนบ้าง

มันรันในเครื่องเราด้วย CPU ใช้ได้ 3 แบบ คือคำสั่งใน Terminal, Python และ MCP server ให้ Claude Code เรียกใช้

คนทำบอกว่าทุกเสียงในคลิปเปิดตัวของ earshot สร้างด้วยโค้ดทั้งหมด ไม่มีเสียงอัดจริงหรือเพลงประกอบ

ทำอะไรได้บ้าง

README มีคำสั่งเยอะ ตัวหลักๆ ที่คนทำวิดีโอน่าจะใช้มีประมาณนี้

คำสั่ง	AI ได้อะไร
describe	บอกว่าไฟล์นี้ฟังเหมือนเสียงอะไร พร้อมค่าที่วัดได้
match	เสียงนี้ตรงกับคำบรรยายแค่ไหน ได้คำตัดสิน strong / plausible / weak / no match
rank	เรียงไฟล์เสียงหลายไฟล์ตามคำบรรยาย ใช้เลือกไฟล์ที่ดีที่สุดจากที่โหลดมา
find	หาช่วงที่ดีที่สุดในไฟล์เสียงยาวๆ บอกเวลาเริ่มและจบ
critique	ให้คะแนนเสียงของคลิปเปิดตัว เทียบกับคลิปมืออาชีพ 7 ตัว พร้อมจุดที่ต้องแก้ตามเวลา
forge	ให้ AI เขียนโค้ดสร้างเสียงเอง แล้วฟังเพื่อแก้ให้ดีขึ้น
fit	แปลงเสียงอัดจริงเป็นโค้ด ที่เอาไปทำเสียงแบบใกล้ๆ กันได้

นอกจากนี้ยังมี timeline ที่ไล่ฟังทั้งคลิปทีละวินาที และ sheet ที่ทำเป็นภาพ PNG ให้ AI ดู มีเฟรมวิดีโอ เสียงแต่ละจุด และความดังวางเรียงกัน

earshot forge: ให้ AI ทำเสียงเอง

ตัวนี้น่าสนใจสุดครับ AI เขียนเสียงเป็นโค้ด earshot เรนเดอร์ออกมาหลายแบบ ให้คะแนนแต่ละแบบ แล้วบอกเป็นคำพูดว่าฟังเหมือนอะไร ผิดตรงไหน AI อ่านแล้วแก้โค้ด รันใหม่ วนไปจนเสียงดีขึ้น

มีเสียงให้เริ่มหลายแบบ เช่น เสียงคลิก กดปุ่มคีย์บอร์ด เสียงวืด (whoosh) เสียงกระแทก เสียงป๊อป

คนทำลองทดสอบแบบไม่รู้คำตอบ ฟังเสียงจริงคู่กับเสียงที่โค้ดสร้าง 15 คู่ เขาทายถูก 8 ครั้ง ใกล้เคียงการเดาสุ่ม README เองก็บอกว่าคนฟังคนเดียว 15 ครั้งเป็นการทดสอบเล็กๆ ไม่ใช่ข้อพิสูจน์

สิ่งที่ต้องมี

• Python 3.10 ขึ้นไป
• ffmpeg และ ffprobe ที่เรียกจาก Terminal ได้
• CPU อย่างเดียวพอ ไม่ใช้การ์ดจอ
• พื้นที่สำหรับโมเดลราว 1.4 GB ตอนใช้ครั้งแรกมันจะโหลดโมเดลเปิด 2 ตัวมาเก็บในโฟลเดอร์ .cache/hf ของ repo หลังจากนั้นใช้แบบออฟไลน์ได้

ติดตั้งยังไง (คำสั่งจาก README)

ขั้นที่ 1 — โหลดโค้ดและติดตั้ง

git clone https://github.com/Leonxlnx/earshot && cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu   # Windows: .venv/Scripts/python
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load

อธิบายสั้นๆ

• บรรทัด 1–2 โหลด repo แล้วสร้าง virtual environment แยกไว้
• บรรทัด 3 ลง PyTorch แบบ CPU ใครใช้ Windows เปลี่ยน .venv/bin/python เป็น .venv/Scripts/python
• บรรทัด 4 ลง earshot พร้อมส่วนเสริมสำหรับ MCP
• บรรทัด 5 doctor --load เช็กว่าติดตั้งครบ โหลดโมเดลได้ และใช้ CPU แบบไหน

ขั้นที่ 2 — ต่อเข้า Claude Code เป็น MCP

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /path/to/earshot/.venv/bin/python -m earshot mcp

เปลี่ยน /path/to/earshot เป็นที่อยู่ของโฟลเดอร์ earshot ในเครื่องเรา

ทำไมต้องใช้แบบ MCP: README บอกว่าเรียกจาก Terminal ทีละครั้ง มันต้องโหลดโมเดลใหม่ทุกครั้ง ราว 20–40 วินาที แบบ MCP โมเดลโหลดครั้งแรกครั้งเดียวแล้วค้างไว้ ถ้าเครื่องช้า ให้เปิด Claude Code ด้วย MCP_TIMEOUT=60000

ขั้นที่ 3 — ใส่ Skills ที่มากับ repo

ในโฟลเดอร์ skills/ มี 2 ตัว ให้ก๊อปหรือ symlink ไปไว้ที่ ~/.claude/skills/ (หรือ .claude/skills/ ของโปรเจกต์)

• earshot สอน AI ว่าคำถามแบบไหนใช้คำสั่งไหน อ่านผลยังไง และตอนไหนไม่ควรเชื่อผล
• real-sound ขั้นตอนทำเสียงประกอบคลิปจากเสียงอัดจริงที่มีลิขสิทธิ์ถูกต้อง ตั้งแต่หาเสียง เช็กไลเซนส์ ตัดเพลง มิกซ์ ตรวจ ไปจนรวมเข้ากับวิดีโอ โดยให้ earshot ช่วยเลือก ตัด และตรวจเสียง

ขั้นที่ 4 — ลองสั่งใน Claude Code

ตัวอย่าง prompt (เปลี่ยนชื่อไฟล์เป็นของเรา)

• "ใช้ earshot ฟัง film.mp4 แล้ว critique เสียงทั้งคลิป บอกจุดที่ต้องแก้ก่อนตามเวลา"
• "ในโฟลเดอร์ sfx/ มีเสียงคลิกหลายไฟล์ ใช้ earshot rank หาไฟล์ที่ฟังเหมือนเสียงกดปุ่มคีย์บอร์ดมากที่สุด"
• "ใช้ earshot describe เสียงทุกไฟล์ใน sfx/ แล้วสรุปเป็นตารางว่าแต่ละไฟล์ฟังเหมือนอะไร"

ใช้เสียงจริงแทนเสียงจากโค้ด

ถ้าให้ AI เขียนโค้ดสร้างเสียงแล้วยังไม่ถูกหู ทางที่ง่ายกว่าคือหาเสียงเอฟเฟกต์จริงมาหลายๆ ไฟล์ แล้วให้ earshot ช่วยฟังว่าไฟล์ไหนตรงกับที่เราอยากได้ครับ

แหล่งที่หาได้เร็วและไม่เสียเงินคือ Myinstants เป็นเว็บปุ่มเสียงที่ผู้ใช้อัปโหลดกันเอง มีหมวด Sound Effects และในหน้าเสียงมีปุ่ม Download MP3

เอาไฟล์ที่โหลดมารวมไว้ในโฟลเดอร์ sfx/ แล้วสั่งใน Claude Code

• "ใช้ earshot rank เรียงไฟล์ใน sfx/ ตามคำว่า a fast whoosh แล้วบอก 5 ไฟล์ที่ตรงที่สุด"

แต่เสียงใน Myinstants อาจไม่ได้อนุญาตให้เอาไปใช้ต่อครับ เสียงในเว็บเป็นของที่ผู้ใช้อัปโหลดเอง และมีหมวดอย่างหนัง เกม เพลง จึงอาจตัดมาจากงานของคนอื่น ตอนเตรียมส่วนนี้เปิดดู 5 หน้าเสียงแล้วไม่เจอข้อมูลไลเซนส์เลย ส่วนข้อตกลงการใช้งานของเว็บให้ใช้แบบส่วนตัวที่ไม่ใช่เชิงพาณิชย์ มีปุ่มดาวน์โหลดไม่ได้แปลว่าเอาไปลงคลิปได้

เอาไว้ลองเล่นหรือทดสอบได้ แต่ถ้าจะลงคลิปสาธารณะหรือใช้กับงานที่หารายได้ ให้หาเสียงที่บอกไลเซนส์ชัดเจน เช่น Freesound ที่เลือกเสียงแบบ CC0 ได้ หรือ Mixkit แล้วอ่านเงื่อนไขของแต่ละเสียงก่อน Skill real-sound ที่มากับ repo ก็มีขั้นตอนเช็กไลเซนส์ให้ด้วยครับ

ข้อควรระวัง

• ตัดสินรสนิยมไม่ได้ คนทำเขียนเองว่ามันยังตัดสิน taste ไม่ได้ เรื่องนี้ยังเป็นงานของคน README บอกด้วยว่ามันตัดสินอารมณ์ ลิขสิทธิ์ เนื้อหาคำพูด และเสียงที่สูงกว่า 14 kHz ไม่ได้
• เชื่อได้ตรงไหน README บอกว่าเชื่อได้เรื่องความดัง จังหวะ และเสียงตรงกับภาพไหม ส่วนการแยกเสียงในคลิปที่มีหลายเสียงซ้อนกัน หรือแนวเพลง เป็นแค่คำใบ้
• ตัวเช็กเสียงจริงหลอกได้ README เตือนว่าโมเดลที่บอกว่าเสียงจริงหรือเสียงสังเคราะห์ หลอกได้ง่าย ให้ดูค่าที่วัดได้ ภาพสเปกโตรแกรม และให้คนฟังเทียบด้วย
• คำสั่ง llm ส่งเสียงออกไปข้างนอก ตัวนี้ใช้ Gemini ต้องมี key ของเราเองและต้องยินยอมก่อน key ให้อยู่ใน environment อย่าเขียนลงไฟล์
• เสียงอ้างอิงไม่ได้มากับ repo ไฟล์เสียงจริงที่ใช้เทียบมีลิขสิทธิ์ ต้องหามาเอง ถ้าใช้ fit แปลงเสียงคนอื่นเป็นโค้ด ต้องถือไลเซนส์ของเสียงต้นฉบับไปด้วย
• เป็นโค้ดของคนอื่น อ่าน README และดูโค้ดก่อนติดตั้งในเครื่องที่ใช้งานจริงครับ

ไลเซนส์

• โค้ดของ earshot: MIT
• โมเดล CLAP (laion/larger_clap_general): Apache-2.0
• โมเดล AST (MIT/ast-finetuned-audioset-10-10-0.4593): BSD-3-Clause

สิ่งที่ได้

• รู้ว่า earshot ให้ AI ฟัง ตัดสิน และสร้างเสียงเองได้ รันใน CPU เครื่องเรา
• มีคำสั่งติดตั้งและคำสั่งต่อ Claude Code ครบ
• รู้ว่าตรงไหนยังต้องใช้หูของเราเอง

ลิงก์

• earshot บน GitHub
• คลิปเปิดตัว 22 วินาที (GitHub release v0.1.0)
• โพสต์เปิดตัวของ Leon Lin (@LexnLin) บน X
• คอร์สทั้งหมด