現今，許多影音媒體網站皆能看到 M3U8 檔案，
以及許多副檔名為 .ts 的分段媒體，
本篇將介紹其基本概念，並說明如何下載成 mp4 檔 😆。
 

 

HLS 簡介

Apple Inc. 於 2009 年時提出了 HTTP Live Streaming (HLS)，
恰如其名，HLS 是一基於 HTTP(S) 的 串流媒體協議。
[註]：當然，串流傳輸的方式不止這種 (e.g., DASH, RTMP, RTP/RTSP, Range Request)。
 
HLS 的原理是 將媒體分割成多個 副檔名為 .ts 的小檔案 (通常不超過 10s)，
並用一個 索引檔 (index file) 記錄這些小檔案的順序與位址，即 — .M3U8 檔。
 

[註]：HLS 並非 real-time delivery system
 

M3U8

.M3U8 是一種 UTF-8 編碼的 M3U 擴充，簡單來說：

就是一種 播放列表 (playlist)

 
一個簡易的 .M3U8 檔範例：

#EXT-X-VERSION:3
#EXTM3U
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:1

#EXTINF:10.0,
https://media.example.com/segment1.ts
#EXTINF:9.5,
https://media.example.com/segment2.ts
#EXT-X-ENDLIST

 
客戶端 (Client) 透過某 URL 取得 .M3U8 後，
便能依進度對其中的 小媒體 .ts 發送請求 😆。
(全部的 .ts 合起來，就是完整的影片囉)
 

FFMPEG

有了以上基本知識，便能開始下載囉！
其基本概念就是：

1. 獲取 .m3u8 檔
2. 依照 .m3u8，依序取得其中的 .ts
3. 將多個 .ts 合併為單一媒體

 
放心，實際上真正需要動手的只有第一步驟，
第二與第三步驟，霸道的 FFmpeg 幫我們做好了！

 

下載 FFmpeg

首先，先著手安裝 FFmpeg 吧！
使用 Mac 的朋友，可以使用 Homebrew 一鍵完成：

brew install ffmpeg

 
若您是 Windows 平台，則可以去 官網 下載，
當然，若您想直接作為可執行檔使用，不想另外自行編譯，
請選擇 Windows Package 的 Windows Builds:

 
接著，下載對映架構的 靜態編譯 (Static Build):

 
下載完成後，便解壓縮到一個喜歡的地方吧 😃，
這裡以 C 槽的 Program Files 為例，並命名目錄為 ffmpeg：

 
欸~ 先別急著關閉視窗！請先複製底下 bin 資料夾的路徑，例如：

C:\Program Files\ffmpeg\bin

設置 PATH

為了便於使用，接下來要設置環境變數 $PATH，
使用 Mac 的朋友什麼都不用做，Homebrew 幫你鏈結完成了 😆。
 
而使用 Windows 的話，則在『本機』點擊右鍵，進入『內容』，
接著『進階系統設定』->『環境變數』-> 找到(或新增) Path 變數，
將剛剛複製的 bin 路徑貼上，即可保存離開：

 

檢查版本

安裝與設置已經大功告成囉，打開一個『新的』終端機測試看看吧！
使用 Mac 的朋友，可以叫 siri 幫你開 😂：

 
使用 Windows 的話，則搜尋 cmd，打開命令提示字元：

 
接著輸入：

ffmpeg -version

若出現以下類似畫面便代表成功囉！

 
 
若出現「找不到命令」，排除您 $Path 設置錯誤，
則通常是新環境變數尚未生效，最簡單的解法就是重新啟動囉！
 

下載 M3U8

環境設置完成後，就開始尋找 .m3u8 播放清單吧，
這部分可利用 Browser 的 開發者工具 輕易達成！
 
隨便開啟一個分頁後，按 F12 或 ctrl+shift+i 招喚他吧！

 
接下來，前往你想下載的影片網站吧 (請先確認該網站是採用 hls 😂)！
進入 開發者工具的 網路 (Network) 分頁後，輸入 m3u8 過濾掉垃圾：

 
點擊右鍵，複製該網址，開啟終端機，輸入以下指令 🧙‍♂️：

ffmpeg -protocol_whitelist "file,http,https,tcp,tls" \
-i "將m3u8網址貼上到這邊" \
-c copy "你想儲存的檔案路徑/test.mp4"

 
以 Windows 路徑為例 (Windows 換行符需更換為 ^)：

ffmpeg -protocol_whitelist "file,http,https,tcp,tls" ^
-i "https://xxx.xxx/m3u8" ^
-c copy "C:\Users\Jason\Desktop\test.mp4"

 
一般影片即可下載完成！
 
[註]：-i 參數意指 input； -c 參數意指 codec
 

Troubleshooting

然而，也是有可能下指令後出現錯誤 (假設路徑設置正確)，
這通常是因為 .M3U8 或 底下的 .ts 有受到防護，
可能是 HTTP 的 Referer 也或者是 CSRF Token…等。
 
以下提供兩種解決方案：
 

儲存 m3u8 為本地文件

首先，找個地方建立一個『xxx.m3u8』文字檔案：
(若有 txt 要記得去掉喔 😄)

 
將開發者工具的『回應內容』直接複製貼上後存檔：

 
最後，將 -i 參數 (input) 的對象，改為該檔案路徑，例如：

ffmpeg -protocol_whitelist "file,http,https,tcp,tls" \
-i "C:\Users\Jason\Desktop\test.m3u8" \
-c copy "C:\Users\Jason\Desktop\test.mp4"

註：Windows 系統需將 換行符 (\) 更換為 ^
 
此種做法較簡單但不可靠，適用於：

Server 未對 .ts 做進一步防護。

設置 HTTP 表頭

許多網站會透過 User-Agent, Origin, Referer， 甚至 Cookie 等表頭進行簡易的存取認證，
此時可透過 FFMPEG 的 -user_agent 及 -headers 等參數偽造 HTTP 表頭。
 
首先，透過「開發者工具」->「網路」找到目標 m3u8 檔，並將其連結填入 -i 參數中，
先別急著關閉視窗！去找到請求表/檔頭區塊：

 
分別將 User-Agent 填入 -user_agent 參數，其他「可疑」表頭填入 -headers 參數：
其中，-headers 的參數值格式建議為 (僅適用於 macOS, Linux 等作業系統)：

$'表頭1: 值\r\n表頭2: 值\r\n'

 
例如：

ffmpeg -protocol_whitelist "file,http,https,tcp,tls" \
-user_agent "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:61.0) Gecko/20100101 Firefox/61.0" \
-headers $'Origin: origin表頭值\r\nReferer: referer表頭值\r\nCookie: cookie值\r\n' \
-i "http://xxx.yyy/zzz.mp4/index.m3u8" \
-c copy "/Users/Jason/Desktop/example.mp4"

 
通常透過此法即可下載絕大多數的 m3u8 影音，
若不成功，就得想辦法獲取 Token, 網站授權…等 😄。
 
然而，Windows 作業系統的 命令提示字元 並不支援 $' ' 字串，使用此法將會造成錯誤！
解決方式很多，例如使用「適用於 Linux 的 Windows 子系統」，
或透過其他語言處理表頭字串再執行 FFMPEG。
 
以 Python 為例：

from subprocess import call

call(["ffmpeg",
      "-protocol_whitelist", proWhitelist,
      "-user_agent", userAgent,
      "-headers", headers,
      "-i", url,
      "-c", codec,
      outputUrl])

 
以 Java 為例：

ProcessBuilder processBuilder = new ProcessBuilder("ffmpeg",
        "-v", v,
        "-protocol_whitelist", protocol_whitelist,
        "-user_agent", user_agent,
        "-headers", headers,
        "-i", i,
        "-c", c,
        output_url);
Process p = processBuilder.start();