在本文中，我们将讨论最新的创新TCN解决方案。首先，以运动检测器为例，我们将考虑时间卷积网络的体系结构及其相对于传统方法（如卷积神经网络（CNN）和递归神经网络（RNN））的优势。然后，我们将讨论TCN应用的最新示例，包括改进的流量预测，声音定位器和检测器以及概率预测。
TCN的简要概述
Lea等人（2016）的基础工作率先使用了时间卷积网络来分割基于视频的动作。通常，该过程分为两个阶段：首先，使用（最常见的）CNN计算低层特征，该CNN对时空信息进行编码；其次，将低层特征输入分类器，分类器使用（通常）RNN。这种方法的主要缺点是需要两个单独的模型。 TCN提供了一种统一的方法，可以以分层的方式覆盖两个信息级别。
下图显示了编码器-解码器的结构，有关体系结构的信息可以在文章结尾的前两个链接中找到。解决最关键的问题的方法如下：TCN可以采用任意长度的序列，并在输出中获得相同的长度。在存在完全卷积的一维网络架构的情况下，使用偶然卷积。关键特征是，时间t的输出值仅使用在它之前的时间发生的那些项折叠。
关于TCN的热议甚至一直延伸到自然界，Jan等人（2020年）最近发表了有关在天气预报中使用TCN的报道。在他们的工作中，作者进行了比较TCN和LSTM的实验。结果之一是得出结论，TCN可以很好地预测时间序列。
以下各节介绍了传统TCN的实现和扩展。
更好的交通预测
拼车和在线导航服务可以改善交通预测并改善道路体验。减少交通拥堵，减少污染，安全快速地行驶只是改善交通预测可以实现的一些目标。由于此问题基于实时数据，因此必须使用累积的交通数据。由于这个原因，Dai等人（2020年）最近引入了一种混合时空图卷积网络（H-STGCN）。基本思想是利用分段线性滑流密度比，并将即将到来的交通量转换为其等效的交通时间。他们在工作中使用的最有趣的方法之一是图卷积以获得时间依赖性。复合邻接矩阵反映了流量近似的固有特征（有关更多信息，请参阅Lee的2017年文章）。以下体系结构提供了四个模块来描述整个预测过程。
声音事件的定位和检测
音频定位和检测（SELF）的领域持续增长。在自主导航中，了解环境起着重要作用。Girjis等人（2020年）最近提出了一种新的SELF-TCN音频事件架构。一组研究人员声称，他们的框架在该领域的性能优于现有解决方案，从而减少了培训时间。在其SELDnet（结构如下所示）中，以44.1 kHz采样的多声道音频使用短期傅立叶变换提取相位和频谱幅度，并将其提取为单独的输入特征。然后将卷积块和循环块（双向GRU）连接起来，然后出现完全连接的块。从SELDnet退出时，您可以检测到音频事件以及音频的来源。
为了超越现有解决方案，作者介绍了SELD-TCN：
由于扩展卷积允许网络处理不同的输入，因此可能需要更深的网络（错误反向传播期间，不稳定的梯度会影响网络）。该研究的作者能够通过调整WaveNet架构来解决此问题（Dario等，2017）。他们表明SELD任务不需要循环层，并且他们能够确定活动声音事件的开始和结束时间。
概率预测
Chen等人（2020年）开发的新框架可用于估计概率密度。时间序列预测可改善许多业务决策方案（例如，资源管理）。概率预测使您可以从历史数据中提取信息，并最大程度地减少未来事件的不确定性。当预测任务是预测数百万个相关时间序列时（例如在零售业务中），需要花费大量的人力和计算资源来估计参数。为了解决这些困难，作者提出了一个基于CNN的密度估计和预测系统。它们的结构可以了解序列之间的隐藏关联。他们工作中的科学新颖之处在于他们提出的深层TCN，以其架构为代表：
编解码器模块的实现可以帮助开发大型应用程序。
结论
在本文中，我们回顾了与时间卷积网络相关的最新工作，它们在解决时间序列问题方面以一种或另一种方式优于经典的CNN和RNN方法。
资料来源
- Lea，Colin等。“时间卷积网络：统一的动作分割方法。” 欧洲计算机视觉会议。占卜·斯普林格，2016年。
- Lea，Colin等。“用于动作分割和检测的时间卷积网络。” IEEE计算机视觉和模式识别会议的论文集。2017。
- 严济宁，等。“用于enSo的高级预测的时间卷积网络。” 科学报告10.1（2020）：1-15。
- Li, Yaguang, et al. “Diffusion convolutional recurrent neural network: Data-driven traffic forecasting.” arXiv preprint arXiv:1707.01926 (2017).
- Rethage, Dario, Jordi Pons, and Xavier Serra. “A wavenet for speech denoising.” 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018.
- Chen, Yitian, et al. “Probabilistic forecasting with temporal convolutional neural network.” Neurocomputing (2020).
- Guirguis, Karim, et al. “SELD-TCN: Sound Event Localization & Detection via Temporal Convolutional Networks.” arXiv preprint arXiv:2003.01609 (2020).
