本文介绍了您在KDPV上使用的最简单，最快的数据发现工具。有趣的是，鲸鱼被设计为托管在远程git服务器上。细节剪下。
Airbnb的数据发现工具如何改变了我的生活
在我的职业生涯中，我很幸运地能够解决一些有趣的问题：在麻省理工学院攻读学位期间，我研究了流量数学，在Wayfair从事增量模型和pylift开源项目的工作，并介绍了新的首页定位模型和对CUPED的改进爱彼迎。但是，所有这些工作从来都不是迷人的-实际上，我经常将大部分时间都花在搜索，探索和验证数据上。尽管这是工作中持续存在的状况，但直到我到达Airbnb时，我才意识到这是个问题，在那里使用数据发现工具Dataportal解决了该问题。
在哪里可以找到{{data}}？数据门户。
该列是什么意思？数据门户。
{{metric}}今天的状况如何？数据门户。
什么是生活感？在Dataportal中，大概。
好的，您展示了一张图片。查找数据并理解其含义，如何创建以及如何使用-所有这些仅需几分钟，而不是几个小时。我可以花时间来得出简单的结论或新的算法（...或回答有关数据的随机问题），而不是翻遍注释，编写重复的SQL查询以及在Slack中提及同事来尝试重建上下文。别人已经有的
有什么问题？
我意识到我的大多数朋友都无法使用这种工具。很少有公司愿意投入大量资源来构建和维护诸如Dataportal之类的平台工具。尽管有几种开源解决方案可用，但是它们通常是按比例设计的，因此如果没有专门的DevOps工程师，则很难设置和维护。所以我决定创造一些新东西。
鲸鱼：愚蠢的数据发现工具
是的，从简单到愚蠢，我的意思是从简单到愚蠢。鲸鱼只有两个组成部分：
- 一个Python库，用于收集元数据并在MarkDown中对其进行格式化。
- Rust命令行界面，用于搜索此数据。
从内部基础结构的角度来看，只有许多文本文件和用于维护的文本更新程序。就是这样，因此在像Github这样的git服务器上托管是微不足道的。无需学习新的查询语言，无需管理基础架构，无需备份。Git是众所周知的，因此同步和协作是免费的。让我们仔细看看Whale v1.0的功能。
全功能基于git的GUI
鲸鱼是为在远程git服务器上航行而构建的。它的配置非常容易：定义一些连接，复制Github Actions脚本（或为您选择的CI / CD平台编写脚本），您马上就可以使用基于Web的数据发现工具。您将可以直接在Github上搜索，查看，记录和共享表格。
使用Github Actions生成的存根表的示例。请参阅本节以获取完整的工作演示。
快速的CLI搜索您的存储库
鲸鱼在命令行上生活和呼吸，在整个表中提供强大的毫秒级查询。即使有数百万个表，我们仍通过使用一些巧妙的缓存机制并在Rust中重建后端使鲸表现出令人难以置信的性能。您不会发现任何搜索滞后[hello Google DS]。
演示鲸，搜索超过一百万张桌子。
自动计算指标[测试版]
作为数据科学家，我最不喜欢的事情之一是一遍又一遍地运行相同的查询，只是为了检查所使用数据的质量。鲸鱼支持在普通SQL中定义指标的功能，该指标将与您的元数据清除管道一起按计划运行。在存根表中以YAML格式定义指标块，Whale将按计划自动执行并运行嵌套指标查询。
```metrics
metric-name:
sql: |
select count(*) from table
```
与Github结合使用，这种方法意味着鲸鱼可以轻松地成为度量标准定义的中心事实来源。鲸甚至将值与时间戳一起存储在〜/中。鲸/指标”，如果您想进行某种图形或更深入的研究。
未来
在与我们的鲸鱼的预发行版本的用户交谈之后，我们意识到人们需要更多的功能。为什么要使用表格查询工具？为什么不使用指标搜索工具？为什么不监视？为什么不使用SQL查询执行工具？虽然鲸鱼v1最初被认为是一个简单的CLI辅助工具
Dataportal/Amundsen，但它已经发展成为一个功能齐全的独立平台，我们希望它将成为数据科学家工具箱的组成部分。
如果您想在开发过程中看到任何内容，请加入我们的Slack社区，在Github上打开Issues ，甚至直接联系LinkedIn。... 我们已经拥有许多很酷的功能-Jinja模板，书签，搜索过滤器，Slack警报，Jupyter集成，甚至还有一个用于度量标准的CLI面板-但我们很乐意您的输入。
结论
Whale由Dataframe开发和支持，Dataframe是我最近很高兴与其他人一起开始的一家初创公司。鲸鱼是给数据科学家的，而Dataframe是给数据团队的。对于那些想要更加紧密合作的人-请随时与我们联系，我们会将您添加到等待名单中。
通过HABR促销代码，您可以在横幅上显示的折扣中获得10％的额外折扣。
E