在本文中，我们将介绍用于将数据上传到Google BigQuery云存储的选项。这包括从CSV / JSON文件加载数据的简单方法，以及通过API或扩展程序加载的方法。
使用Google BigQuery（GBQ），您可以从各种来源收集数据并使用SQL查询对其进行分析。 GBQ的优点包括即使在大数据量和低成本下也具有很高的计算速度。
为什么需要将数据上传到单个存储库？如果您想使用端到端分析，从原始数据生成报告并衡量营销的有效性，则需要Google BigQuery。
如果您需要在几秒钟内分析数TB的数据，则Google BigQuery是最简单，最实惠的选择。您可以通过在Google Developers YouTube频道上观看简短视频来了解有关此服务的更多信息。
创建数据集和表
上传任何数据之前，您首先需要在Google BigQuery中创建数据集和表格。为此，请在BigQuery主页上，选择要在其中创建数据集的资源。
本文中使用的图像由作者提供，
请在“创建数据集”窗口中指定数据集ID，选择数据处理位置并设置表的默认存储期限。
注意：如果选择“从不”作为表的到期日期，则不会定义任何物理存储。对于临时表，您可以指定保留它们的天数。
然后在数据集中创建一个表。
做完了！现在，您可以开始下载数据了。
使用Google表格（OWOX BI BigQuery报告扩展）加载数据。
如果您需要将数据从Google表格上传到Google BigQuery，最简单的方法是安装免费的OWOX BI BigQuery Reports扩展程序。
您可以直接从Google表格或Chrome网上应用店安装此扩展程序。
安装后，将出现一个对话框，提示您并询问权限。
现在是时候回到Google表格。要将数据上传到BigQuery，只需选择从加载项-> OWOX BI BigQuery报告将数据上传到BigQuery。
指定项目，数据集和表名称以将数据加载到其中。仅
此而已:) OWOX BI BigQuery Reports扩展的无可争议的优势是其易用性。您也可以使用扩展程序自定义计划的报告。
要基于所有来源的准确原始数据生成报告并将其自动上传到Google BigQuery存储库，我们建议使用OWOX BI Pipeline服务。
借助Pipeline，您可以从广告服务，呼叫跟踪系统和CRM中设置自动数据收集。这使您可以快速轻松地从您选择的源中检索完整的数据集。
只需选择您的数据源并允许访问；剩下的交给OWOX BI。
借助OWOX BI，您可以创建任何口味和颜色的报告，从ROI，ROPO效果和队列分析到LTV和RFM分析。
从CSV文件加载数据
要从CSV文件上传数据，请在“创建表格”窗口中选择一个数据源，然后使用“上传”选项。
然后选择文件及其格式。
接下来，您需要通过指定项目名称和数据集来定义数据的目的地。
注意：在Google BigQuery中，您可以选择两种类型的表：本机表和外部表。
Google BigQuery会自动检测表格的结构，但是如果您想手动添加字段，则可以使用文本编辑功能或+添加字段按钮。
注意：如果您想干扰Google BigQuery中CSV文件中数据的解析，则可以使用高级选项。
有关CSV格式的更多信息，请参见Internet Society的详细文档。
从JSON文件加载数据
要从JSON文件加载数据，请重复上述所有步骤：创建或选择要使用的数据集和表-仅选择JSON作为文件格式。
您可以从计算机，Google云存储或Google云端硬盘上传JSON文件。
注意：有关JSON格式的更多信息，请参阅Google Cloud文档。
从Google Cloud Storage下载数据。
Google云端存储可让您安全地在线存储和传输数据。
有关使用此服务的有用信息：
Google Cloud Storage入门Cloud Storage
文档
快速入门指南
在Google Cloud Platform上选择存储和数据库
您可以采用以下格式将文件从Google Cloud Storage上传到Google BigQuery：
- CSV
- JSON（以换行符分隔）
- 阿夫罗
- 木地板
- 兽人
- 云数据存储
您可以在官方文档中了解有关将Cloud Storage与大数据结合使用的更多信息。
您还可以在Google Cloud帮助中心中了解Cloud Storage上传限制和权限。
从其他Google服务（例如Google Ads和Google Ad Manager）加载数据。
要从各种Google服务下载数据，您首先需要设置BigQuery数据传输服务。在使用它之前，您必须选择或创建一个数据项目，并且在大多数情况下，请为它启用计费。例如，以下服务需要计费：
- 广告活动经理
- Google广告经理
- Google Ads
- Google Play（测试版）
- YouTube-频道报告
- YouTube-内容所有者报告
注意：有关设置和更改帐单的更多信息，请参阅Google Cloud帮助中心。
要启动BigQuery Data Transfer Service，请在BigQuery主页上，从左侧菜单中选择Transfers。
注意：您需要管理员权限才能创建转移。
在下一个窗口中，您要做的就是选择所需的数据源。
注意：BigQuery Data Transfer Service不仅可以从平台控制台访问，还可以从以下位置访问：
- slasicbq_ui
- bq命令行工具
- BigQuery数据传输服务API
设置完成后，该服务将自动定期将数据上传到BigQuery。但是，您不能使用它从BigQuery下载数据。
使用API加载数据
借助Cloud Client Libraries，您可以使用自己喜欢的编程语言来使用Google BigQuery API。
注意：有关使用API加载数据的更多信息，请参见Google Cloud文档。
首先，您需要创建或选择要使用的项目。然后在主页上转到“ API”部分。
在“ API概述”窗口中，您可以连接API和服务。您需要从库中选择所需的API。
在库中，您可以按字段搜索或按类别过滤API。
您可以使用OWOX BI中的一组Python脚本来自动将数据导入Google BigQuery。
有一些脚本可以自动从以下来源将数据导入Google BigQuery：
- amoCRM
- 的FTP
- FTPS
- HTTP（S）
- 对讲机
- 专家发件人
- 的MySQL
- SFTP
这些Python脚本可以从GitHub下载。
注意：本视频教程（来自YouTube上的Google Developers）提供了如何将Python与Google API结合使用的信息。
结论
在本文中，我们介绍了将数据加载到Google BigQuery的最流行方法。从简单的数据文件上传到通过API上传数据，任何用户都可以找到合适的选项。
