ใครอยากลองทำ Sub Title แบบแปลเองไหมครับ !! มา มาลองกัน

[Takuya_Kimura]

ลืมบอกข้อดีของ pyTranscriber คือสามารถแปลงได้หลายๆเรื่องต่อๆกัน
ถ้านอน 4 ทุ่มเปิดทิ้งไว้ ตื่นมา 6 โมงเช้า ได้มาประมาณ 14-15 เรื่อง

[EmoCoNisT]

ผมก็ทำคล้ายๆวิธีของท่าน ทำไว้ดูเกือบ2ปีละ แต่การดึงไฟล์ซับ .srt ออกมาจากไฟล์เสียง ผมใช้โปรแกรม pyTranscriber

1. ใช้โปรแกรม Format Factory แปลงไฟล์หนังให้ออกมาเป็นรูปแบบ .mp3 (ใช้เวลา5-8นาที)

2. เมื่อได้ไฟล์เสียงมาแล้วก็จับโยนลงใน pyTranscriber จะไวกว่าเพราะไฟล์เสียงมีขนาดเล็กกว่าไฟล์หนัง (ขั้นตอนนี้ใช้เวลาประมาณ 15-30นาที) แล้วแต่ความยาวของหนัง

3. พอได้ไฟล์ .srt มาแล้ว ก็มาแปลเป็นไทย SubTitle Edit ตามขั้นตอนที่ท่านกล่าวมา

วืธีนี้น่าจะไวกว่า ลองๆเทียบดูกันครับ

 

การดึงไฟล์เสียงออกจาก video ผมแนะนำลองใช้ ffmpeg ครับ

https://www.ffmpeg.org/

ลองศึกษาดูตามลิงค์นี้ วิธีการคร่าว ๆ ก็ดาวโหลด module มาติดตั้งให้เรียบร้อย แล้วเปิดใช้โดยการใช้ command line ครับ พวก cmd หรือ terminal ก็ได้ (จอดำ ๆ ไว้ใส่โค้ด)

พอเปิดมาแล้วก็พิมพ์ cd ตามด้วยที่อยู่ไฟล์วิดีโอ เช่น cd D:\SW-922

แล้วใส่โค้ดตามนี้ครับ เปลี่ยนแค่ชื่อไฟล์

ffmpeg -i SW-922.mp4 -vn -acodec copy SW-922.mp3

จะได้ไฟล์ mp3 มาแบบเร็วมาก ๆ ปกติหนังประมาณ 3-4 ชม. ใช้เวลาดึงไฟล์ไม่เกิน 5 วินาทีครับ

วิธีทำอาจจะดูยากนิดหน่อย แต่ถ้าคล่องแล้วจะแปปเดียว ไม่ต้องมานั่งรอหลายนาทีกับ format factory ครับ

[อบเชยเฉยๆ]

https://www.avcollectors.com/board/index.php?topic=233870.0

ขอยาดฝากมู้ FFMPEG ใครมีคำสั่งอะไรดีๆ ไปพิมพ์ทิ้งไว้ได้ เดะแก้ขึ้นหน้าแรกให้ มันเป็นโปรแกรมสารพัดสำหรับไฟล์สื่อต่างๆ

[kkunurat]

ผมก็ทำคล้ายๆวิธีของท่าน ทำไว้ดูเกือบ2ปีละ แต่การดึงไฟล์ซับ .srt ออกมาจากไฟล์เสียง ผมใช้โปรแกรม pyTranscriber

1. ใช้โปรแกรม Format Factory แปลงไฟล์หนังให้ออกมาเป็นรูปแบบ .mp3 (ใช้เวลา5-8นาที)

2. เมื่อได้ไฟล์เสียงมาแล้วก็จับโยนลงใน pyTranscriber จะไวกว่าเพราะไฟล์เสียงมีขนาดเล็กกว่าไฟล์หนัง (ขั้นตอนนี้ใช้เวลาประมาณ 15-30นาที) แล้วแต่ความยาวของหนัง

3. พอได้ไฟล์ .srt มาแล้ว ก็มาแปลเป็นไทย SubTitle Edit ตามขั้นตอนที่ท่านกล่าวมา

วืธีนี้น่าจะไวกว่า ลองๆเทียบดูกันครับ

 

การดึงไฟล์เสียงออกจาก video ผมแนะนำลองใช้ ffmpeg ครับ

https://www.ffmpeg.org/

ลองศึกษาดูตามลิงค์นี้ วิธีการคร่าว ๆ ก็ดาวโหลด module มาติดตั้งให้เรียบร้อย แล้วเปิดใช้โดยการใช้ command line ครับ พวก cmd หรือ terminal ก็ได้ (จอดำ ๆ ไว้ใส่โค้ด)

พอเปิดมาแล้วก็พิมพ์ cd ตามด้วยที่อยู่ไฟล์วิดีโอ เช่น cd D:\SW-922

แล้วใส่โค้ดตามนี้ครับ เปลี่ยนแค่ชื่อไฟล์

ffmpeg -i SW-922.mp4 -vn -acodec copy SW-922.mp3

จะได้ไฟล์ mp3 มาแบบเร็วมาก ๆ ปกติหนังประมาณ 3-4 ชม. ใช้เวลาดึงไฟล์ไม่เกิน 5 วินาทีครับ

วิธีทำอาจจะดูยากนิดหน่อย แต่ถ้าคล่องแล้วจะแปปเดียว ไม่ต้องมานั่งรอหลายนาทีกับ format factory ครับ

เพิ่งรู้ว่ามีคำสั่งของ ffmpeg แปลง mp4 เป็น mp3 ได้รวดเร็ว
ขอบคุณมากเลยครับ

ปกติผมใช้แปลง ts เป็น mp4 ตามที่ท่านอบเชยบอก ก็แปลงได้รวดเร็วเหมือนกัน

[kkunurat]

ลืมบอกข้อดีของ pyTranscriber คือสามารถแปลงได้หลายๆเรื่องต่อๆกัน
ถ้านอน 4 ทุ่มเปิดทิ้งไว้ ตื่นมา 6 โมงเช้า ได้มาประมาณ 14-15 เรื่อง

แปลงเป็นชุดก็มา สุดยอดครับ

ผมอาจจะไม่ได้ทำทีละเยอะเป็น 10 เรื่อง
แต่ก็เป็นข้อดีของโปรแกรมที่ดีมากๆ

[อบเชยเฉยๆ]

ขอบคุณท่านหมูดำสำหรับกระทู้ดีๆ นอกจากเรื่องแปลซับแล้ว ยังได้คุยต่อยอดถึง Aotosubtitle ด้วย

[Corpus S]

ขอบคุณสำหรับข้อมูลดีๆครับ

หลังจากลองเล่นมาหลายวันพบว่าใช้ดีมากจริงๆเลยขอมาแบ่งปันประสบการณ์ เล่าถึงปัญหาที่เจอและวิธีแก้ไขเผื่อจะเป็นประโยชน์กับท่านอื่นๆครับ

การเลือกEngineแนะนำว่าควรเลือกรันด้วยgpuจะเร็วกว่าcpuมาก(เครื่องผมเร็วขึ้นประมาณ4-6เท่า) โดยแนะนำอยู่2ตัวคือ
1) Purfview's Faster-Whisper รองรับเฉพาะNVDIAเท่านั้น ใครใช้ค่ายเขียวแนะนำให้ใช้ตัวนี้เลยครับ ครบจบในตัว (เหตุผลโปรดอ่านต่อด้านล่าง)
2) Const-me ตัวนี้การ์ดจอAMDสามารถรันได้แต่มีปัญหานิดหน่อย
ส่วนตัวผมใช้GPU AMDเลยใช้ได้แค่ตัวConst-MEส่วนของตัวPurfviewถ้าไม่มีการ์ดจอnvdiaแล้วรันไปมันจะใช้แค่cpuอย่างเดียวครับ ผมทดสอบด้วยไฟล์หนัง TEAM-102 โดยตัดเอาส่วน28นาทีแรกของหนังมาทำซับด้วยSpec [CPU: R5 5800H, GPU: RX 6600M, RAM: 32 GB] พบว่า
-Const-me (GPU) model small ใช้เวลา 55วินาที
-Purftview’s (CPU) model small ใช้เวลา 124 วินาที
-Const-me (GPU) model medium ใช้เวลา 196วินาที
ส่วนตัว Purftview’s (CPU) model medium ไม่ได้รันเพราะขี้เกียจรอครับ 5555

ต่อมาปัญหาที่เจอในตัวConst-meซึ่งคิดว่าหลายๆท่านน่าจะเจอเหมือนกันคือถ้าหนังมีช่วงเงียบหรือไม่มีคำพูดนานๆ(รวมถึงฉากอย่างว่า)Whisperมันจะมีอาการถอดคำผิดๆออกมาหรือสร้างซับขึ้นมาซ้ำๆ โดยไม่จำเป็นว่าไฟล์หนังต้องนานกว่า1ชั่วโมงเลยครับ ทั้งนี้ถึงจะขยับมาใช้โมเดลขนาดกลางก็ยังไม่หาย (ผมไปหาข้อมูลในgithubหลายๆคนบอกว่าถึงใช้โมเดลlargeก็ยังเจอ)
ตัวอย่าง:


ซึ่งเท่าที่หาข้อมูลมาหลายๆแหล่งพูดตรงกันว่าสาเหตุมาจากตัวแกนของWhisperเองที่จะมีอาการหลอน(AI hallucination)เวลาถอดคำภาษาต่างประเทศแล้วเจอส่วนที่ไม่แน่ใจมันจะมั่วขึ้นมาเลยครับ อย่างไรก็ตามในโมเดลขนาดเล็กเหมือนกันปัญหานี้ในPurfview’s มีน้อยกว่าอย่างเห็นได้ชัด ซึ่งสาเหตุมาจากตัวPurfview’sมีการใช้งานVoice Activity Detector(VAD)ทำการกรองเอาส่วนที่ไม่มีเสียงคนพูดออกไปก่อนแล้วถึงใช้Whisperถอดคำเฉพาะส่วนที่มีเสียงคนพูดเท่านั้น ด้วยเหตุนี้ผมจึงแนะนำตัวPurfviewก่อนสำหรับคนที่มีการ์ดnvdiaครับ

แต่สำหรับคนใช้การ์ดจอAMD(เช่นผมเอง )ต้องเล่นท่ายากนิดหน่อยครับ เหมาะสำหรับคนที่คุ้นเคยกับPython โดยผมได้เขียนสคริปเรียกใช้Silero-VADเพื่อให้มันกรองไฟล์ของเราก่อน1ชั้น โดยVADจะหั่นหนังเราออกเป็นไฟล์เสียงย่อยๆที่มีเฉพาะเสียงคนพูดรวมถึงบันทึกtimestampของแต่ละพาร์ทเพื่อจะได้เอากลับมารวมกันใหม่ได้

วิธีใช้
 1. ขั้นแรกเรียกใช้VADจากไฟล์runVAD.py


ไฟล์หนัง28นาที VADใช้เวลากรองแค่20วินาที ถือว่าไวมาก


จะได้ไฟล์เสียงย่อยออกมาหลายๆไฟล์อยู่ในโฟลเดอร์vad_chunksแบบนี้


 2. โยนไฟล์เสียงทั้งหมดในโฟลเดอร์vad_chunksใส่SubtitleEditได้เลย ใช้โหมดbatchจะได้สั่งทีเดียวถอดทุกไฟล์ต่อกันไปเลยครับและอย่าลืมเลือกengineให้ถูกเพื่อความรวดเร็ว


 3. หลังถอดเสียงทุกไฟล์ครบแล้ว เรียกใช้ไฟล์composeSub.pyเพื่อรวมซับทั้งหมดเป็นไฟล์เดียวเพื่อเอากลับไปแปลต่อในSubtitleEditได้เลยครับ


เปรียบเทียบผลลัพธ์กับแบบเดิม โดยรวมถือว่าดีขึ้นพอสมควร ช่วยให้เอาไปปรับต่อได้ง่ายขึ้นเยอะครับ


ถ้าใครสนใจสามารถโหลดสคริปPythonในนี้ของผมไปลองใช้ได้เลยครับ ข้อเสียหลักๆคือเวลาที่ใช้ถอดคำไฟล์ย่อยทีละไฟล์ดูเหมือนจะนานกว่าถอดไฟล์ใหญ่1ไฟล์ครั้งเดียวครับ กรณีของผมคือจาก~3นาทีกว่าๆเป็น~8นาทีแต่ก็ช่วยเพิ่มคุณภาพซับได้พอสมควรเลยครับ หวังว่าจะเป็นประโยชน์ครับ

[EmoCoNisT]

สุดยอดครับ เรื่อง VAD นี่ผมก็ศึกษาอยู่เหมือนกันก่อนจะมาเจอกระทู้นี้ ตอนนั้นผมยังใช้ Ctranslate2 Faster Whisper แล้วเขียน parameter กำกับเองอยู่บังคับให้โมเดลใช้ VAD ผลลัพธ์ออกมาดีกว่าไม่ใช้ VAD มาก ๆ

แต่ตอนนี้ทุกอย่างจบครบง่ายด้วยโปรแกรมที่เจ้าของกระทู้แนะนำแล้วเลือกโมเดล Purfview’s เหมือนเกิดใหม่ ไม่ต้องมานั่งเจนซับซ้ำ ๆ ค่อย ๆ ปรับ parameter พวก beam size หรือ threshold ต่าง ๆ แล้ว เพราะผลลัพธ์ที่ได้มันโอเคมากแล้ว ดูรู้เรื่อง

แต่รบกวนสอบถามนิดนึงครับว่า Purfview’s มันเลือกใช้ GPU อัตโนมัติเลยไหมครับถ้าเราใช้การ์ดจอ RTX (มี CUDA core) เพราะที่ผมใช้ Purfview’s อยู่ตอนนี้ก็เร็วกว่า Const-me มาก ๆ (หนัง 2 ชม. Purfview's ประมาณ 5-10 นาที Const-me 40 นาที++) แต่เช็คจาก Task manager เหมือนของผม Purfview’s ตอนรันดูจะใช้แต่ CPU แหะ GPU แทบไม่กระดิกเลย

[Corpus S]

สุดยอดครับ เรื่อง VAD นี่ผมก็ศึกษาอยู่เหมือนกันก่อนจะมาเจอกระทู้นี้ ตอนนั้นผมยังใช้ Ctranslate2 Faster Whisper แล้วเขียน parameter กำกับเองอยู่บังคับให้โมเดลใช้ VAD ผลลัพธ์ออกมาดีกว่าไม่ใช้ VAD มาก ๆ

แต่ตอนนี้ทุกอย่างจบครบง่ายด้วยโปรแกรมที่เจ้าของกระทู้แนะนำแล้วเลือกโมเดล Purfview’s เหมือนเกิดใหม่ ไม่ต้องมานั่งเจนซับซ้ำ ๆ ค่อย ๆ ปรับ parameter พวก beam size หรือ threshold ต่าง ๆ แล้ว เพราะผลลัพธ์ที่ได้มันโอเคมากแล้ว ดูรู้เรื่อง

แต่รบกวนสอบถามนิดนึงครับว่า Purfview’s มันเลือกใช้ GPU อัตโนมัติเลยไหมครับถ้าเราใช้การ์ดจอ RTX (มี CUDA core) เพราะที่ผมใช้ Purfview’s อยู่ตอนนี้ก็เร็วกว่า Const-me มาก ๆ (หนัง 2 ชม. Purfview's ประมาณ 5-10 นาที Const-me 40 นาที++) แต่เช็คจาก Task manager เหมือนของผม Purfview’s ตอนรันดูจะใช้แต่ CPU แหะ GPU แทบไม่กระดิกเลย

ถ้าเทียบcpuต่อcpu ตัวPrufview's Faster Whisperจะเร็วกว่าเพราะใช้Ctranslate2ครับ ผมลองรันคลิปตัวอย่างหนังขนาด2นาทีด้วยโมเดลsmall ตัวWhisper-CPP (cpu)ใช้57วินาที ส่วนPrufview's Faster Whisperใช้แค่30วินาทีเท่านั้นบนคุณภาพที่ดีกว่าเพราะมีVAD

ผมไม่มีการ์ดNVDIAเลยเทสgpuของPrufviewไม่ได้ แต่ในGithubต้นทางเขียนว่าถ้าตรวจเจอการ์ดจอจะใช้ให้เองเลยครับ
"Programs automatically will choose to work on GPU if CUDA is detected."
แนะนำลองเซตพารามิเตอร์(-cc)ตอนรันเพื่อดูว่าโปรแกรมหาCUDA devicesเจอไหมครับ

[kkunurat]

ขอบคุณสำหรับข้อมูลดีๆครับ

หลังจากลองเล่นมาหลายวันพบว่าใช้ดีมากจริงๆเลยขอมาแบ่งปันประสบการณ์ เล่าถึงปัญหาที่เจอและวิธีแก้ไขเผื่อจะเป็นประโยชน์กับท่านอื่นๆครับ

การเลือกEngineแนะนำว่าควรเลือกรันด้วยgpuจะเร็วกว่าcpuมาก(เครื่องผมเร็วขึ้นประมาณ4-6เท่า) โดยแนะนำอยู่2ตัวคือ
1) Purfview's Faster-Whisper รองรับเฉพาะNVDIAเท่านั้น ใครใช้ค่ายเขียวแนะนำให้ใช้ตัวนี้เลยครับ ครบจบในตัว (เหตุผลโปรดอ่านต่อด้านล่าง)
2) Const-me ตัวนี้การ์ดจอAMDสามารถรันได้แต่มีปัญหานิดหน่อย
ส่วนตัวผมใช้GPU AMDเลยใช้ได้แค่ตัวConst-MEส่วนของตัวPurfviewถ้าไม่มีการ์ดจอnvdiaแล้วรันไปมันจะใช้แค่cpuอย่างเดียวครับ ผมทดสอบด้วยไฟล์หนัง TEAM-102 โดยตัดเอาส่วน28นาทีแรกของหนังมาทำซับด้วยSpec [CPU: R5 5800H, GPU: RX 6600M, RAM: 32 GB] พบว่า
-Const-me (GPU) model small ใช้เวลา 55วินาที
-Purftview’s (CPU) model small ใช้เวลา 124 วินาที
-Const-me (GPU) model medium ใช้เวลา 196วินาที
ส่วนตัว Purftview’s (CPU) model medium ไม่ได้รันเพราะขี้เกียจรอครับ 5555

ต่อมาปัญหาที่เจอในตัวConst-meซึ่งคิดว่าหลายๆท่านน่าจะเจอเหมือนกันคือถ้าหนังมีช่วงเงียบหรือไม่มีคำพูดนานๆ(รวมถึงฉากอย่างว่า)Whisperมันจะมีอาการถอดคำผิดๆออกมาหรือสร้างซับขึ้นมาซ้ำๆ โดยไม่จำเป็นว่าไฟล์หนังต้องนานกว่า1ชั่วโมงเลยครับ ทั้งนี้ถึงจะขยับมาใช้โมเดลขนาดกลางก็ยังไม่หาย (ผมไปหาข้อมูลในgithubหลายๆคนบอกว่าถึงใช้โมเดลlargeก็ยังเจอ)
ตัวอย่าง:


ซึ่งเท่าที่หาข้อมูลมาหลายๆแหล่งพูดตรงกันว่าสาเหตุมาจากตัวแกนของWhisperเองที่จะมีอาการหลอน(AI hallucination)เวลาถอดคำภาษาต่างประเทศแล้วเจอส่วนที่ไม่แน่ใจมันจะมั่วขึ้นมาเลยครับ อย่างไรก็ตามในโมเดลขนาดเล็กเหมือนกันปัญหานี้ในPurfview’s มีน้อยกว่าอย่างเห็นได้ชัด ซึ่งสาเหตุมาจากตัวPurfview’sมีการใช้งานVoice Activity Detector(VAD)ทำการกรองเอาส่วนที่ไม่มีเสียงคนพูดออกไปก่อนแล้วถึงใช้Whisperถอดคำเฉพาะส่วนที่มีเสียงคนพูดเท่านั้น ด้วยเหตุนี้ผมจึงแนะนำตัวPurfviewก่อนสำหรับคนที่มีการ์ดnvdiaครับ

แต่สำหรับคนใช้การ์ดจอAMD(เช่นผมเอง )ต้องเล่นท่ายากนิดหน่อยครับ เหมาะสำหรับคนที่คุ้นเคยกับPython โดยผมได้เขียนสคริปเรียกใช้Silero-VADเพื่อให้มันกรองไฟล์ของเราก่อน1ชั้น โดยVADจะหั่นหนังเราออกเป็นไฟล์เสียงย่อยๆที่มีเฉพาะเสียงคนพูดรวมถึงบันทึกtimestampของแต่ละพาร์ทเพื่อจะได้เอากลับมารวมกันใหม่ได้

วิธีใช้
 1. ขั้นแรกเรียกใช้VADจากไฟล์runVAD.py


ไฟล์หนัง28นาที VADใช้เวลากรองแค่20วินาที ถือว่าไวมาก


จะได้ไฟล์เสียงย่อยออกมาหลายๆไฟล์อยู่ในโฟลเดอร์vad_chunksแบบนี้


 2. โยนไฟล์เสียงทั้งหมดในโฟลเดอร์vad_chunksใส่SubtitleEditได้เลย ใช้โหมดbatchจะได้สั่งทีเดียวถอดทุกไฟล์ต่อกันไปเลยครับและอย่าลืมเลือกengineให้ถูกเพื่อความรวดเร็ว


 3. หลังถอดเสียงทุกไฟล์ครบแล้ว เรียกใช้ไฟล์composeSub.pyเพื่อรวมซับทั้งหมดเป็นไฟล์เดียวเพื่อเอากลับไปแปลต่อในSubtitleEditได้เลยครับ


เปรียบเทียบผลลัพธ์กับแบบเดิม โดยรวมถือว่าดีขึ้นพอสมควร ช่วยให้เอาไปปรับต่อได้ง่ายขึ้นเยอะครับ


ถ้าใครสนใจสามารถโหลดสคริปPythonในนี้ของผมไปลองใช้ได้เลยครับ ข้อเสียหลักๆคือเวลาที่ใช้ถอดคำไฟล์ย่อยทีละไฟล์ดูเหมือนจะนานกว่าถอดไฟล์ใหญ่1ไฟล์ครั้งเดียวครับ กรณีของผมคือจาก~3นาทีกว่าๆเป็น~8นาทีแต่ก็ช่วยเพิ่มคุณภาพซับได้พอสมควรเลยครับ หวังว่าจะเป็นประโยชน์ครับ

ท่านเขียนสคริป Voice Activity Detector(VAD) กรองเอาส่วนที่ไม่มีเสียงคนพูดออก น่าสนใจมากครับ