重制《星际迷航》:《深空9》达到最高质量





我已经完成,或者至少做了足够的工作,以便可以将我的项目视为即将发布,而不是以模糊不清和无法理解的改进为借口。



从头到尾讲这是不习惯的,但是在这里否则将无法工作。在过去的九个月中,自AI辅助视频解析软件开始投放市场以来,我一直在研究Deep Space 9。在看到可以从旧的MKV文件中榨取什么质量之后,我决定从一开始就使用原始的更高质量的源DVD。九个月后,我实现了我的目标,即创建一种深空9重制和升频方法,该方法不依赖于手动对场景进行梳理和微调去交错算法,以最大程度地降低对图像质量的影响。在本文中,我将演示这项工作的结果。



我使用代号Rio Grande的模型创建了23.976的Deep Space 9渐进版本。我还没有在整个系列中测试过这种方法-但是它在第2、4、5和6季的精选情节中表现良好,非常感谢Cyril Niderprim在下面找到可笑的简单解决方案。尽管里奥格兰德(Rio Grande)可能会出错,但我会在下面举例说明。



我还使用代号为“ Orinoco”的模型将每秒转换为相同质量的59.94帧。 Orinoco可以在所有场景中正确保留运动,并出于保险目的将其附加到项目中。在质量方面,它可以与里奥格兰德媲美,但镜架数量要多出2.5倍,处理时间要长2.5倍。里奥格兰德(Rio Grande)应该可以工作-但如果不起作用,那么Orinoco可以。如果两种方法都不足以满足特定情节,我想出了一种方法来手动调整系统。



将文章中包含的所有YouTube视频设置为4K,以获得最佳播放质量-较低的分辨率不会传输图片质量。



我制作了两个标题,以演示Topaz提供的两个不同的分辨率缩放选项:Theia Detail(默认设置)和Gaia-CG。这是Gaia-CG的输出:





这不是分步指南,它描述了以任何人都可以处理的方式处理视频的过程。编写这样的指令将是一个单独的项目。但是,我将提供足够的信息,以便对AviSynth有所了解的人可以重复两种方法。



Theia Detail工作的结果:





当Bajoran货机在车站周围走动时,车架的一部分消失了几秒钟。这是一个独特的错误,我在演出中的其他地方都没有看到它,并且无论使用什么过滤器,它都经常发生。它总是出现在字幕中,并且几乎不会破坏图片-您不必担心视频中的随机帧会丢失块这一事实。



大多数视频都是通过至少两种不同的方式捕获的。如果您不喜欢Theia的输出,请尝试Gaia-CG。如果Gaia-CG不适合您,您可能会喜欢Gaia-HQ-在本文中,我仅提供了一个示例说明其工作原理。



最大翘曲



在图片质量方面,Rio Grande和Orinoco尝试尽可能减少折衷。流程的每个阶段都经过仔细考虑,以节省所有详细信息为代价,直到最后一次编码为止,之后您可以自由选择质量损失的程度。







此处显示的所有剪辑均以0.0 H.264编码,然后逐帧提高了分辨率,并且没有损失。我将这些剪辑编码为H.265格式,CRF为6,结果实在太多了。活到老,学到老。冻结帧中的CRF值14和20之间有细微的差别,而25看起来已经很丑了。



增加模型:避免阿尔emi弥斯和增加200%



除Artemis-LQ和Artemis-HQ外,我已经为Topaz的每种升级模式记录了至少一个示例。这些算法完全不适合Deep Space 9-并不是说它们会发出某种完美的垃圾,但是它们对本系列内容的反应很差。考虑它们不适合该任务。尽管我仍然举了一个例子,但盖亚总部的工作成果并没有给我留下深刻的印象。剩下两个模型,Theia和Gaia-CG。



我一直以来都比较喜欢Gaia-CG,尽管我也演示了Theia系列算法,但大多数都是使用此模型完成的。它们具有可配置的噪音,清晰度和细节还原设置-在尝试消除墙壁或地毯上的丑陋斑点上的噪音时,所有这些设置都非常有用。



应避免将分辨率提高200%。如果源中没有任何信号,它将产生错误,并且图像质量明显不如400%放大倍率获得的图像质量。请注意,修复过程具有特殊性-在框架的右侧或左侧形成接缝。然后可以很容易地将其切断,但是必须考虑到这一点。



Topaz提供了通过图像或有损MP4进行无损放大的选项。您看到的所有视频都是通过无损转换为PNG制作的。



再制造了多少个其他零件?



使我走这条路的疯狂想法是,我可以通过访问原始DVD源而不是旧的备份文件来提取其他视觉信息。这是我从一月份开始提高分辨率的最佳尝试的一个示例:





这就是过去的样子。



虽然通过对AI程序进行低级改进来提高分辨率可以实现一些改进,但该程序需要获取足够的信息来提高图片的分辨率,而又不会使图片变得混乱。想象一下,以DVD分辨率渲染所有内容而Odo的头发以4K渲染的镜头。看起来很奇怪。程序能够提取的细节越多,产生美丽的东西的机会就越大。返回DVD给程序提供了更多的素材。





今天就是这样。



为了让您对进度有个大概的了解,这里有3帧``定义''-DVD上的样子,2月我可以达到的最佳放大倍率以及迄今为止最好的结果:





DVD上的``定义''。比Netflix更好。





2020年2月:更好,但我认为可以做得更好。





那好多了。编码器Orinoco。



这是整个系列中我最喜欢的“设计”镜头。在四月份,我为由此产生的一切感到自豪。而且看起来还是不错的。





我仍然喜欢它,但是我们仍然可以做得更好,正确调整AI模型





帮助是显而易见的。改进的机加工可能会导致清理模型的方式有所不同,但是某些身体部位的形状已更改。



好处显而易见。每当我将由旧的MKV文件制作的高档视频与由DVD制作的视频进行比较时,后者就是胜利。



那么结果如何呢?



在我看来,精心处理和良好的分辨率提升能够使Deep Space 9拥有通常被称为HD内容的清晰度-尽管与后来的标准(例如Rec。)相比,图片仍然受到NTSC色域细节的限制。709”。至少,它偏离了理想状态,看起来比您见过的任何DVD都要好。在最佳情况下-我认为使用Sisko的镜架是最好的-至少在最终图片中,细节达到了高清水平。



我在恢复过程中采取的步骤已修复了某些来源的缺陷,但并非全部。在“勇士的方式”这一集中,有一连串的镜头看起来像是磁带上溅出了一些东西-我不知道该如何解决。以下所有编码结果均取自里奥格兰德河。



战士的道路:这不是幻想



这一集以第四季中的两个最佳战斗场景为特色。在第一个中,Sisko使用Defynt营救了由克林贡人开火的Cardassian船。可以看出,特殊效果专家尝试从外部角度重新显示角色的死亡-而“下一代”则不是这样。显然,特技人员在“ Defynt”中获得了很多乐趣。





第二个大型战斗场景如下所示。它向节目的飞行员表示了敬意,基拉虚张声势让卡达西舰队中队相信该站的武装比实际情况要好得多。



但是这次所有的事情都不同了。首先,使用Theia Fidelity在默认设置下对视频进行放大,然后在Gaia-CG中进行处理。我以前用来截屏的最后一个:





我在评论中包括了角色的交流场景,以证明这些处理技术不仅可以在太空或飞船中战斗,还可以发挥更大的作用。Deep Space 9不仅涉及在计算机上拍摄的战斗,而且该节目提供了一些此类战斗的出色示例,尤其是以90年代的标准。以下是Gaia-CG:





失落的天堂



在这场星战舰队的一部分正在发动政变的同时,反抗军在这场战斗中与拉科塔作战。该剪辑专门显示了当里奥格兰德(Rio Grande)无法完全正确处理场景时发生的情况。在大多数情况下,它是有效的,但最后它会明显抽搐。而且我确保在里奥格兰德州-奥里诺科的案件能够完美地处理所有事情。如果您不担心抽搐,请使用Rio Grande。如果担心,请尝试Orinoco。





远远超出了星星



科幻小说的好处之一是,节目创作者可以轻松解决时空旅行的问题。在本集中,本杰明·西斯科(Benjamin Sisko)在1950年代被抛弃了-至少从他的角度来看-他面临着那个时代的种族不公。在Gaia-CG中分辨率提高了:





在苍白的月光下



《深空9号》最伟大的一集以令人毛骨悚然的独白结尾。在Gaia-CG中分辨率提高了:





Theia Detail中渲染的同一场景具有10%的锐化,20%的噪声去除和20%的细节还原。



奉献天使



您知道我们要回到这一集吗?在“第一支舰队”一集中(下图,在Gaia-CG中渲染),联邦决定与Cardassians和Dominions的上等联合军事力量作战。我喜欢银河级飞船的机动。从某些角度来看,它们通常看起来很笨拙,而从其他角度来看,它们看起来非常不错。在“深空9号”中,这种情况要比“下一代”中的情况要好得多。





第一次攻击使Defynt无法取得所需的差距。尽管敌人的力量是敌人的两倍,但星际舰队决定尝试突破敌人的前沿。我决定以不同的方式渲染此场景。首先-Gaia-CG:





然后Gaia-CG的CRF = 20。原来质量损失很小,但我不建议进一步提高该值。使用DVD作为源的问题在于,仅损失少量细节之后,质量开始下降,并且从插值和放大图片获得的信息无论如何并不是特别好。随着质量的逐渐下降,在某些时候,它会急剧下降。CRF = 25实在太多了。





盖亚总部:





Theia Detail,默认设置:





最后,Theia Fidelity具有20%的锐度,30%的细节还原,20%的降噪:





尽管我专注于节目的后期,但这种编码和升级在早期的季节中仍然有效。请注意,我们可以使用的早期季节的原始资料质量不高。



演示结束。让我们谈谈实现。



如何编码里奥格兰德州



由于我不了解的原因,StaxRip使用这些方法创建的文件无法在Windows Media Player或Apple Quicktime中正常播放。但是它们在VLC或MPC-HC中表现良好。如果以下脚本返回错误,请确保编辑器未替换引号。



对于Rio Grande编码,您需要使用DVD Decrypter翻录DVD,并使用DGIndex或其他类似程序创建D2V索引文件。如果您正在使用它,请启动您喜欢的AviSynth界面。我个人使用StaxRip。



AviSynth的脚本如下:



    TFM()
    TDecimate()
    QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, InputType=2, Lossless=2, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
    QTGMC3 = QTGMC(preset="Very Slow", inputType=3, prevGlobals="Reuse")
    Repair(QTGMC2, QTGMC3, 9)


我无法长期测试Rio Grande和Orinoco模型的替代品:



    TFM()
    TDecimate()
    QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, TR2=5, InputType=2, Lossless=2, noiserestore=0.1, NoiseDeint="Generate", grainrestore=0.1, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
    QTGMC3 = QTGMC(preset="Very Slow", SourceMatch=3, Lossless=2, InputType=3, TR2=5)
    Repair(QTGMC2, QTGMC3, 9)


就涟漪而言,这样的脚本似乎比Orinoco Standard更好。



如果图片失真,请尝试回滚到TR2 = 4。奥里诺科公司也是如此,只是需要将其InputType=2 InputType=3从里奥格兰德州移除



就这样。在这些脚本运行时,您还可以将噪声插入视频中。恢复到QTGMC通道之一后的噪声将保留在图像中。里奥格兰德(Rio Grande)不能提供100%完美的图像,但是在29.976 fps时,它在我测试过的所有场景(除了一个场景)上几乎都可以完美地工作。如果他遇到的问题比我预期的要多,这就是我制造Orinoco的原因。从技术上讲,可以将特定的场景渲染为59.94 fps,然后在将生成的图像编译为视频的过程中组装VFR文件,将其包括在23.976 fps版本中。



需要运行QTGMC来改善图像,尽管我愿意提出建议,但到目前为止,我尝试过的任何事情都无法接近此脚本产生的质量。可以根据对图片的影响深度和处理时间进行调整,但是您会注意到,当从“非常慢”变为“慢”或“中等”时,质量会明显下降。如果您喜欢图片中的噪点并且不介意花费时间寻找人工痕迹(或知道如何以其他方式消除它们),那么“慢”是您的选择。



这种运行QTGMC的方式的唯一缺点是,有时它会在场景的某些部分产生波纹。对于我来说,忽略它更容易,最终,我试图找到的所有解决该问题的方法甚至带来更大的危害。尽管我想摆脱这种情况,但目前它属于可容忍的“功能”类别。







顺序InputType=2 InputType=3非常重要。运行单个QTGMC副本将不会具有相同的效果。使用运行两个副本InputType=2不会产生相同的效果。运行映像恢复时,有九种可能的方法来组合输入类型,而我已经尝试了所有这些方法。 2,3组合效果最好-从情节“使者”到“你留下的东西”。



我还测试了AviSynth支持的所有25种修复功能模式。您需要一个模式,9。如果由于某种原因它不适合您,请尝试,1。其他大多数几乎对结果没有影响,其中一些甚至以有趣的方式破坏了画面。我已经对所有这些进行了多次检查,只是为了查看最终结果如何根据我选择的模式而变化。



如何编码Orinoco



Orinoco并不容易编写代码,但是它比我预期的要好得多。



一切始于我们创建两个文件而不是一个文件。使用以下脚本编码序列的第一个版本:



    TDeint(mode=1, type=2, tryweave=true, mtnmode=3, full=false, ap=10, aptype=2, slow=2)


它指示TDeint发出一组加倍的帧,以对内核进行插值[内核插值],如果结果比使用反交错的伪像少,则尝试使用编织来恢复该帧,并对那些存在交错的帧应用反交错。此模式保留NTSC源中包含的逐行帧。 Type = 2之后的第二个最佳选择是Type = 5,但是它带来的问题多于解决的问题。







现在,让我们将生成的剪辑放在一边,然后转到另一个剪辑。它需要通过以下脚本运行:



    QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, Lossless=2, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
    QTGMC3 = QTGMC(preset="Very Slow", prevGlobals=”Reuse”)
    Repair(QTGMC2, QTGMC3, 9)


该脚本与我们在里奥格兰德(Rio Grande)所使用的脚本相似但不相同。 QTGMC实现以渐进模式运行。对于Orinoco,我们需要将帧速率加倍,从基本29.97 fps到59.94 fps。在QTGMC和TDeint的帧率匹配之后,我们也对它们进行恢复。如果在“修复”模式下运行两个具有不同帧速率的剪辑,您将立即看到它-屏幕上会出现一个奇怪的移动缝。



据我所知,这当然是一种颠倒的视频编辑方法,但我的疯狂是有道理的。人们通常不插入一堆视频帧以将VFR从23.976 / 29.97 fps提升到59.94 fps的原因是,以这种方式插值的插卡会增加频率,可能会导致视觉错误和其他问题。有catch 22:如果不包括它们,则输出文件将变得生涩。如果启用,则边框边界的更改有时看起来会很奇怪,或者帧的不同部分会合并在一起。情况一般。



但是有一种解决方法。



    clip1=FFVideoSource(“C:\DS9S6D2\Sacrifice-TDeint.mkv”)
    clip2=FFVideoSource(“C:\DS9S6D2\Sacrifice-QTGMC-ToPairWithTDeint.mkv”)
    Repair(clip1, clip2, 9)


我们创建一个内插的QTGMC文件,以使其成为牺牲品-TDeint的简洁明了的资源。就像我说的,我使用QTGMC是因为我还没有找到另外一种获取干净视频的方法。使用非常慢的设置可以减少图像中的噪点。



在生成的视频上,您可以有选择地再次运行QTGMC,但是视频看起来处理得太好了。由于相当有效的降噪算法,Theia模型能够在某种程度上补偿这种影响。



在质量方面,Orinoco和Rio Grande给出的结果大致相同,而且当逐帧比较它们时(即使是插值帧除外),我什至常常没有注意到它们的区别。我更喜欢里奥格兰德(Rio Grande),因为它更简单,更快捷,但是我不能保证它可以在节目的所有176集中使用。如果遇到机芯晃动或跳跃的情节,请尝试通过Orinoco(而不是Rio Grande)驾驶它。



缺点与问题



奥里诺科和里奥格兰德并不完美。我仍在寻找消除波纹的方法。这是一个小问题,但实际上是唯一要解决的问题。今天最好的解决方案是使用MCTemporalDenoise,但是这种方法似乎是完全单线程的,还给我带来了其他质量问题。



如果要尝试使用MCTemporalDenoise,建议将像素数设置为7,并且效果强度不要超过2-3。涟漪并没有完全消失,但是在某些地方它们会变得更好。如果您不喜欢这种效果,请避开Theia的分辨率提升模型,并尝试应用10-20%的降噪效果。



我的目标是为整个项目创建一个通用模板,但是我将记录为应对有问题的情节而需要对模型进行的所有更改。



关于阅读第1季DVD的重要通知



加载包含98%至99%视频的D2V文件时,StaxRip的行为非常奇怪。他多次为我更改了帧频-从29.97自动更改为23.976。在这种情况下,它将覆盖DGIndex生成的文件。如果将Rio Grande模型应用于23.976文件,则会获得看起来非常糟糕的19fps内容。



我仍在尝试找出原因。在视频占98.5-99.5%的情节中,通常可以假设只有标题的频率为29.97,并通过省略TFM / TDecimate片段对这些情节进行编码。



下次...关于Deep Space 9分辨率增强项目



完成项目后,我可以开始从光盘中掠夺情节并进行编码。我将编写一个培训工具包,其中包含有关如何执行此操作,对工作站进行速度测试以及解决特定情节问题的说明。我想出了一种完全免费的方法来提高分辨率,尽管它不如Topaz那样好用,但显然可以改善图像质量。我也想和PAL打交道。







ViacomCBS认为Deep Space 9不值得重新制作。我认为他们错了。 DVD可以压缩的质量并不理想,因此我不称我的作品为4K或UHD的结果,尽管在这样的项目中人们经常抛出这样的术语。您可以将Deep Space 9扩展到4K,但不能从DVD源中挤出这种质量。该解决方案不是完美的,但比所有以前的选择要晚很多光年。如果事实证明里约热内卢经常以23.976的频率犯错,我们将为这些流行病找到解决方案。完全有理由相信,新的Nvidia GeForce RTX 3080卡将显着加速分辨率的提高,这将有助于转换为59.94的帧速率。



没有其他星际迷航狂热者将需要等待ViacomCBS在投资自己的档案馆中发现财务价值。 DVD和软件将花费您的钱,并且您将不得不在该项目上花费大量的计算时间。在RTX 2080卡上,以23.976的帧频提高一集的分辨率大约需要8-11个小时。尽管可以根据需要暂停和继续编码,但59.94的频率会成比例地花费更多时间。迄今为止,最好的速度是每集10-14小时。这大约需要2464小时,或者整个系列大约需要103天。该项目大约在一个人可能拥有的边界上。



同样,您可以通过AviSynth来运行DVD,以极大地提高单个片段的质量和分辨率。例如,我考虑过完全跳过第一季和第二季。我也希望Ampere能够显着提高其AI引擎的效率。



大多数人会这样做吗?没有。多数人会在Netflix上观看该系列节目,而其质量将远远低于DVD上的质量。



但是从今天起,没有人有义务这样做。现在,您可以看到视觉效果专家和演员的预期工作。Orinoco和Rio Grande并不完美,但它们显示了您可以从90年代后期的DVD中挤出多少质量。GPU越来越快。AI0分辨率增强器越来越智能。即使您当前的计算机或GPU无法应付这样的项目,下一个项目也可能在肩上。



All Articles