奈樂譜
奈樂譜 Project Nanoscore | |
奈樂譜(深藍水下蒼蒼夢)專輯封面 | |
作者 | 深藍水下蒼蒼夢 |
原作 | 取決於原曲 |
連載網站 | A,B,Y,T(天使二次元),S(soundcloud)等 |
發表期間 | 2017年12月至今 |
相關作品 | 黑樂譜,VOCALOID,特效鋼琴,MIDI音樂,8-bit |
奈樂譜(英語:Nanoscore)是由深藍水下蒼蒼夢(當前)製作中,以動漫歌曲為主的多風格歌曲改編。改編的內容包括主旋律改編,混音邏輯,人聲轉鋼琴,轉鋼琴曲,風格化Remix等範圍。針對複雜原曲開發的小型,大型高精度泛音列樂譜扒譜與混音技術,滿足將各種原曲樂譜化,動機類似黑樂譜,MIDI樂的音樂類型。
記載
- 2017年,通過機器扒譜+人力整理,世界上第一首奈樂譜《超級鋼琴還原 火葬曲》(AV17640218,AC4157510)被製作出來。這種鋼琴曲實現了早期黑樂譜夢寐以求的還原度,也實現了「耳copy」達不到的速度。
- 2018年,約有35首平均4分鐘的曲子完成,但由於技術和設備欠佳,更多的作品成為廢案,沒有發佈。其中最佳的視頻是還原了原曲不同音量下,如何做好打擊樂扒譜的The Snippet
- 2019年,約有9首曲子完成,設備升級完成。由於一直在克服混音問題,所以中間有3首大型泛音列鋼琴曲成為廢案。
- 2020年,混音問題得到克服,(截止到2月12日)已經有2首大型泛音列鋼琴曲,8首小型泛音列鋼琴曲完成,4首小型泛音列鋼琴曲處於扒譜階段。
- 2022年,幾乎解決了以往的所有技術性問題,開發出了超大型泛音列鋼琴曲,且由於作品間代差(音響效果和扒譜技術)過大,所以不再推薦2022.1之前的樂譜
- 2022年中旬,發佈了首個全曲配器+鋼琴人聲的類商業級樂譜。在配器,聽感和混音都達到或運氣好時超出原曲級別的情形下仍然通過旋律,段落,混音邏輯上的改動保持了原創性
名字來源
奈樂譜的名稱來自普通話中的納秒:奈秒,以及暗示開發新技術過程中的各種無奈和辛酸。奈樂譜看中精確的原因是人聲的咬字細節最少也要在1/4毫秒的精度下才能從琴聲中聽出歌詞,而穩定的發揮則要求1/8~1/16毫秒的扒譜精度才能提取出大部分細節。技術角度上稱為「泛音列樂譜音樂」。
泛音列
描述「任何一個音符的發聲,都是由一組音量不同的和弦組成」的樂理知識。
實踐中,賦予極高的精度後,即可用於讓鋼琴發出「不可能的聲音」,比如通過超高音泛音和弦+本音可以讓鋼琴彈出電音,通過高音咬字+本音讓鋼琴還原不同歌手的腔調口型。
小型泛音列鋼琴曲
工程平均20小時,一架鋼琴,通過一般混音來使其接近原曲(亮度激勵和低音激勵)並儘可能還原主要的聲音,音頻製作時間平均為10小時,加上視頻,上傳時間平均為12小時。
大型泛音列鋼琴曲
工程平均50小時,多架不同的鋼琴(音源),在每個音源所擅長的音高演奏。例如,Truepianos能夠完美還原初音未來的咬字和歌聲;
Kawaii Grand還原高音,Keyzone Classic還原弦樂,Choomay Piano還原Hat,掃弦,砸琴和重低音,SGPN還原貝斯等等。
超大型泛音列鋼琴曲 (失敗)
工程平均160小時,多架不同的鋼琴,振盪器,小提琴,打擊樂器,8-bit樂器。使用雙聲道panning,多重側鏈壓縮,EQ篩選,副樂器音頭延遲讓位,母帶混音,明亮度控制,瞬時衝擊響應(transient)控制等技法打破鋼琴演奏不能發出更多聲音的限制,扒譜成功率只有40%,失敗的理由都是多架鋼琴和聲的衝突導致聽感驟降,已經扒譜工程量過大(3~6個月)以至於無法堅持下去的失敗。
超大型鋼琴樂譜對混音的要求極高,也開發出了大量技術手段。其中的原因就是2/3的樂器是鋼琴,而它們演奏的頻率相同,即需要繁瑣的處理來消除干涉和爆音,以至於後面多樂器扒譜的混音輕鬆就達到了類商業級的聽感。大師級混音的配圖:日本電車高峰期的推人工
曲長與段落
- 動漫OP分為TV-Size與Full-Size兩種,對應1分30秒以及3~5分鐘。
- 由於需要反覆循環聽原曲扒譜,所以曲長不同會因為洗腦效應指數倍地影響扒譜,混音的時長,最終成品的統一質量。
- 一般情況下,動漫片頭OP片尾ED曲實際長度/段落為1.5分鐘/AB段(主歌和過渡-副歌),而完整的曲長/段落為3~4分鐘/ABABCBB段(主歌和過渡-副歌-主歌和過渡-副歌-其它-副歌-副歌)
- 在2022.8中,開發出了abAB段落結構:主歌-副歌-主歌改-副歌改,保證了還原度和原創性
困境
- 視頻部分必須做的很好看才能有播放量,進一步因為渲染視頻增加了製作周期。
- 人聲鋼琴/Vocaloid部分完全脫離了傳統樂理的範疇,因此扒譜做的一旦不好聽就會損失大量潛在觀眾,因此樂譜的發展過程經歷了幾個低谷期。
- 由於嘗試和紅石作對比以增加受眾面在bilibili引發了爭議,爭論結果是紅石是不可比較或評價之物;因此取消了紅石音樂的轉型方式,且聲明今後與國內紅石音樂,Minecraft愛好者劃清界限。
- 在2022.2中發生了理念上的徹底失敗,原因是長期一味的嘗試將純鋼琴曲大型化的結果;導致了後作的轉型。
聽感
- 將揚聲器利用到極致,讓所有參與的樂器都清楚發出本音的程度,一般通過母帶混音或音樂商專門的混音師完成。在技術手段和軟硬件先進程度兩方面競爭。奈樂譜的製作中主要用到以下幾點:
- EQ削減每個樂器不需要的頻率
- 側鏈壓縮來消除同頻樂器的干涉(主蓋過次)
- 左右聲道控制同頻率樂器間於左右耳的主次
- 衝擊響應(Transient)處理控制同頻率樂器在演奏瞬間的主次
- 包絡控制來實現如哇音的效果
- 疊樂器並通過EQ分配頻率來合成兩件樂器(或彌補主要樂器的功能缺陷,如添加原本不存在的顫音等)
- 明亮度控制(增加頻率複雜度)來讓樂器的色彩更明亮,使其配得上主旋律;目前使用電子管Tube激勵插件實現
- 高頻比低頻優先控制:由於小體積揚聲器(手機,普通耳機等)發不出低音和重低音,所以通過降低其音量,明亮度,衝擊響應強度來將大量樂器間擠兌時,剩下有限的音量分給高音,解決了副歌音量超載到需要降低主歌音量補償的問題
斷音未來V1 (失敗)
奈樂譜往Vocaloid方向發展的契機,設定是嘗試維修損壞初音未來的成果,發聲和咬字極其接近初音未來。樂器包括薩克斯,OSC,鋼琴,單簧管和初音在5k-10k音高上殘留的一點呼吸聲組成。需要一定程度的混音來消除樂器頻段之間的干涉。目前已經有了世界第一的公主殿下的"翻唱",但已經被奈樂譜2022.8淘汰:
V2使用8-bit音源,加延遲疊在鋼琴後面,解決了鋼琴音量衰減(失去人聲特徵)快的問題,但演奏高音音符的失真較為嚴重。已經在奈樂譜2022.1中完美還原了IOSYS某歌手的聲音。但要求人聲明亮,相對模糊的咬字就彈不出來了。
V3[1]通過鋼琴還原人聲的音頭,搭配分別處理不同音高的多個波形振盪器來還原人聲音身,統一演奏解決了鋼琴沿音短,而其它樂器無法完美替代沿音的問題,由于振盪器已經分了音高,高音OSC的音量調小即可。
最終失敗的理由是音頻無法穩定發揮,且沒有繪畫功底完成視覺設定的限制;至少兩到三年後才能考慮重啟。
淘汰的技術
- 泛音和弦是為了用鋼琴和弦波還原原曲樂器特徵而存在的。由於被認為難聽,所以在已經以還原人聲為新特色的情況下淘汰
- 打擊樂器不使用,僅使用鋼琴還原打擊樂器的技術大幅延長了扒譜時間,聽感也不如普通鋼琴曲添加打擊樂的效果,所以淘汰
- 由於IEEE規定不能轉換超過1760Hz音高的MIDI,所以應對開發出了源音頻降低8或16度變換出MIDI文件,再導入音頻編輯軟件把音符升上去的技術。然而事實證明確實不好聽,故淘汰
- 和弦異性過濾:分為空間和時間過濾,空間代表限制和弦的最高-低音,空間權限取決於還原度;時間代以表旋律/和弦旋律走向發展為本,否則不允許時間範圍內出現任何其它聲音。該技術是在大型樂譜連續失敗的絕望中開發出來的破壞性方案,所以緊接着在2022.2的重大失敗後被淘汰了
待驗證技術
- 低音樂器明亮度權限:如果中高音樂器明亮,則完全砍掉低音樂器的中高頻段音量,或者降低中高樂器的中高頻段音量。
已驗證技術
- 左右耳獨立扒譜技術:用於左右聲道間移動樂器的扒譜,簡化多樂器扒譜中僅存於左/右聲道樂器造成的干擾。通過音頻編輯軟件將左右聲道單獨作為音軌導出實現。
- 人聲高精度機器扒譜:通過高精度插值算法將音頻拉長4~8倍,然後將機器扒譜給出midi文件的曲速除以4~8實現。
- 配器 + 鋼琴人聲:在其它所有方案宣告失敗後剩下的唯一方法,難度最高但結果最成功。
- 完整左右聲道轉移:FL Studio中,單純用旋鈕調節左右聲道只會提升一邊音量,降低一邊音量。立體聲音源的左右聲道本來就不同,這樣處理會丟失很多信息,這種情況下利用立體聲編輯器/FL Stereo Shaper就可以把另一聲道的信息搬過來了。
- 減法顫音:2022.2中開發,將調性內的顫音音符轉變為長音,剩下的顫音不變或降低音量,實現了更逼近人聲連續性的顫音表現。
- 人聲鋼琴與樂器鋼琴去干擾:人聲鋼琴用偏軟的頻響曲線;樂器鋼琴用偏硬的頻響曲線和混音;人聲通過側鏈壓縮壓制同頻率的樂器;人聲鋼琴在300Hz增加音量,其他所有樂器在300Hz降低音量等。
- 三段式人聲分層扒譜:2022.8中開發,將人聲部分的機器扒譜結果分為高頻咬字,中高頻口型,中頻鼻喉音的區分化;其中鼻喉音的部分可以選擇性的拷貝到歌詞不同但音調音長相同的段落;而不同段落需要的整理精度也不同,節省了人工用時且增加了樂譜還原度。
文件管理
視頻
- 按作品名分為多個文件夾,位於照創建時間排序的目錄下:
- Wallpapers文件夾內含有製作視頻和封面所需圖片,如工程截圖,原曲MV或相關作品壁紙等素材,一般4分鐘的工程含20~30個文件
- 兩個Photoshop工程分別用於製作視頻網站和音樂網站(目前僅Soundcloud)所需的16:9和1:1寬高比封面
- 幾張不同的封面版本分別用於不同視音頻網站
- 兩個.bat文件分別用於QAAC編碼器將視頻編輯軟件所導出波形轉碼為AAC;以及ffmpeg將Premiere用Voukoder所導出的視頻,加上編碼好的AAC封裝到mp4中的命令
- 兩個視頻渲染截圖用於製作封面,由於Photoshop工程能將圖片存起來,所以導入Photoshop後即可刪除。
音頻
- 按作品名分為多個文件夾(舊工程會被刪除),位於照創建時間排序的目錄下:
- 兩個未處理原曲音頻用於備份,一般為flac,mp3,aac等格式
- 用原曲或網上提供的純伴奏音頻反轉原曲,提取出純人聲波形,然後用音頻插值工具(此處為Audition)將人聲放慢到1/4或1/8,得到"曲名" "Vocal_曲速或編號".wav
- 用節拍器手工匹配原曲速度,用速度探測軟件加以確認後,將原曲通過音頻編輯軟件做小節對齊,裁剪空白,立體聲拆解後解壓縮為波形,命名為"LL或RR聲道" "曲名" "速度".wav
- 用音頻插值工具(此處為Audition)將原曲放慢,得到"LL或RR聲道" "曲名" "速度÷2".wav,此處為70
- 剩下的就是機器扒譜結果,同樣按照放慢後的速度設置MIDI本身的速度,以及文件名"伴奏或人聲" "速度.版本".mid(此處伴奏文件已被刪除)
硬件需求
- 首選薄膜鍵盤,其次是有恆定阻力,沒有咔噠聲的機械鍵盤,如櫻桃紅軸等。
- 使用數小時而不會造成疲勞的人體工學鼠標,摩擦力高於FPS競技用的布質鼠標墊。
- 27寸或更大面積,達到3840×2160的顯示器,以同時監視多個音頻插件的狀況而不累眼,及正常使用Kontakt這種字號小到哭的音頻插件。
- 32GB,至少2933Mbps/MTps下達到1T命令頻率(不是2T或Geardown模式)的雙面雙條晶片內存(內存PCB正反面都有顆粒,且是雙條2×16GB 配置),8~10層PCB(裸條明顯更重)以確保顯卡熱風持續吹12小時下的穩定性。
- 能輕鬆運行8核CPU重度負載12小時的主板,奈樂譜視頻渲染曾因為主板差出現過有規律的死機,C盤電壓失控報廢等嚴重故障。
- 重視純算力而不是新優化技術的CPU,因為渲染視頻時同時會運行視頻編碼(以至於系統都騰不開夠用的CPU周期),所以一開始就要從BIOS里關掉自動超頻(睿頻,PBO,XFR等),用傳統的頻率電壓控制以確保穩定;因為渲染時出的硬件故障就不是藍屏的小打小鬧了。
- 能運行水銀加速的顯卡,顯存容量至少8GB,由於遊戲顯卡的價格非常高,所以可以考慮專業卡。
- 能365×24×7運行的機械硬盤,至少需要近企業盤。
- 能帶動以上硬件的電源,由於HEDT平台的瞬時電壓變化大,所以對電源做工的要求較高。
- 能隨手拿來清灰的小型吸塵器,吸塵器太重會導致清灰頻率變低。
軟件需求
由於百科頁不是收錄教程的地方,所以此處只會留下需要的軟件,以及製作流程。
獲取資源
Torrent網站
音頻預處理
Adobe Audition,主要用於篩選特定頻段,反轉提取人聲,將原曲拉長來提高音頻轉MIDI的精度幾種用途
音頻轉MIDI
DAW與樂器
3xOSC
Fruity LSD(羅蘭GM/GS可下載聲音,主要用於打擊樂器和弦樂)
混音工具
Fruity Stereo Shaper
Fruity Limiter
Fruity Parametric EQ 2
Fruity Delay 2
Fruity Stereo Enhancer(特殊情況)
SF2音源播放器
SF2音源
Choomaypiano,Electric Grand HQ,FM Piano,Fazioli Grand Piano,Full GrandPiano,Giga Piano,Kawaii Grand Piano,Motif_Es6 Concert Piano,NiceKreys Steinway v2,Nokia 30,Piano Bass,Reverb Bell Piano,SC55 Piano,Stereo Piano,Timbres of Heaven,West Coast Piano,SGPN,Pianomix0921
MIDI可視化播放器與錄屏
Ultra Light MIDI Player
MIDITrail
Kiva MIDI Player
Synthesia
Piano From Above
一般情況下,能把背景修改為白色的MAMPlayer,MIDITrail相對好用。MIDITrail的配置文件在".\conf\PianoRoll3D.ini"中,通過修改ViewPoint參數並記錄下來,用時設為Viewpoint-2,Viewpoint-3即可。不過由於位置和視角是純參數設定,程序本身不現實設定,所以這個步驟需要一點點調,非常麻煩
視頻特效與插件
Adobe Premiere
Adobe After Effects使用貝塞爾曲線變形將MIDITrail的軌道轉彎,以及用色相濾鏡將顏色反轉,方便在查找邊緣濾鏡中翻轉回來。然而,該插件需要32GB內存,否則速度會很慢且容易假死。
音頻編碼器
QAAC (CVBR模式,320kbps)
qaac64.exe --cvbr 320 -b 16 -r 44100 --threading -o "導出壓縮為320kbps的aac.aac" "導入Premiere導出的波形.wav"
視音頻文件封裝抽取
ffmpeg
ffmpeg.exe -i "C:\文件夾\導入Premiere用Voukoder插件HEVC編碼器yuv444p10導出視頻.mp4" -i "C:\文件夾\導入Premiere導出波形然後用QAAC的CVBR壓縮成320k的aac.aac" -c copy "封裝出可上傳版本.mp4"
視頻封面製作
其他項目
版權與盜用
奈樂譜是原創同人作品,但除音頻文件,工程文件外,仍受版權主張影響。如果視頻內出現了原作的視頻段,則會被判為盜用。