以数据为中心的公司利用智能索引解决雅典娜的缺陷

shukla1551

作为数据驱动型企业，您必须考虑 Athena 的一些缺点，因此这些指南将对您有所帮助。
赖安·克
赖安·克
7 分钟阅读
使用 Athena 处理数据限制
Shutterstock 照片许可 - Billion Photos

数据可扩展性有很多好处。企业需要处理的数据规模 法国手机号码数据库 和种类变得越来越复杂，越来越庞大。

内容
AWS Athena 和 S3
雅典娜的局限性
共享资源
索引功能
分区限制
如何改进索引
总结
传统关系数据库提供了某些好处，但它们不适合处理大量和各种数据。从那时起，数据湖产品开始流行起来，从那时起，越来越多的公司将湖解决方案作为其数据基础设施的一部分引入。随着对数据解决方案的需求增加，AWS 等云计算公司也加入进来，开始通过 AWS Athena 和 S3 提供托管数据湖解决方案。这些服务具有强大而便捷的功能。但是，它们并不适合所有用户和用例。在本文中，我们将讨论 Athena 和 S3 中索引的缺点以及我们如何处理它们。

AWS Athena 和 S3
AWS Athena 和 S3 是独立的服务。AWS Athena 是一种查询服务，允许用户使用标准 SQL 语法分析 S3 中的数据。Athena 是无服务器的，由 AWS 管理。Athena 和其他 AWS 无服务器服务具有类似的定价结构 - 它允许您仅按使用量付费。S3 是 AWS 的第一代服务之一。您可以存储不同类型的文件并像云存储一样使用它们。两者结合，您可以使用 SQL 查询 S3 中存储的内容。


雅典娜的局限性
虽然 Athena 具有强大的功能并具有成本效益，但随着使用，您会发现 Athena 存在一些局限性。

阅读更多
首次亮相 – IDIOM 决策管理器
供应商安全是防止未来数据泄露的关键
可视化人口普查
1933 年冬天，关于历史上我第二喜欢的木匠的故事
大数据和 Hadoop 能够养活世界吗？
共享资源
当您使用 Athena 时，运行查询所需的计算资源并不是您可以控制的。当您执行 Athena 查询时，请求将进入来自您所在区域的所有 Athena 用户的共享队列，AWS 将按顺序处理请求的查询。这意味着当您在繁忙时间执行查询时，您将不得不等待更长时间才能处理查询并返回结果。在这种环境下，您无法保证一致的性能，这可能会对与客户的服务协议产生负面影响。

索引功能
在传统的关系数据库引擎中，用户可以规划索引以提高性能。但是，Athena 默认不使用索引。当您运行查询时，Athena 会转到目标 S3 存储桶并开始打开每个文件，直到满足查询的请求。例如，当数据位于最后一个文件时，您的查询将比从第一个扫描文件中找到数据时花费的时间更长。当您的数据量较小时，这可能没有太大区别。但是，当您的数据很大时，这会产生很大的区别。为了缓解这个性能问题，AWS 建议进行分区。

分区限制
您可以通过对数据进行分区来提高查询性能。但是，分区也有限制，而且使用起来并不方便。您必须根据要分区的列仔细决定。当您选择了错误的列时，重新分区可能会让您将整个数据移动到新的存储桶位置，更改表以引用新的存储桶位置，然后删除旧数据。


由于 Athena 使用类似文件系统的数据存储，因此它不允许您以行或列级别更新或删除。或者，您可以运行 CTAS（Create Table AS）或 INSERT INTO 查询。但是，当您使用它们时，您只能在目标表中创建最多 100 个分区。这听起来可能足够大。根据您用于分区的基本列，该限制可能会以意想不到的速度达到。