无损压缩和有损压缩的区别无损压缩( 二 )

一个解决方案是通过额外保存collation结果，可以加速使用列默认collation进行比较的查询。通过存储collation结果，可以在字符串比较时节省计算，缺点是存储collation编码需要额外内存和存储空间，对压缩比有更高的要求。在IMCI中，我们验证了压缩数据SCAN的谓词下推效果，在不同的scan查询场景中获得了3 ~ 20倍的查询加速。
总结以及后续工作数据压缩作为数据库一项重要技术，在列存执行中结合延迟解压，在系统性能和成本的平衡中起到关键作用。本文首先介绍数据压缩的理论基础，信息论，其为压缩效果定义了边界，然后分析了数据压缩在行存和列存数据库中的不同。压缩方法分为通用压缩和轻量压缩，数据库中最常见的通用压缩算法LZ4和ZSTD都基于LZ77算法，然后我们逐一介绍轻量压缩方法。随后我们讨论轻量压缩数据上的直接查询技术，在该部分我们介绍基于字典压缩实现字符串延迟解压的原理，对性能的影响以及需要解决的问题。
【无损压缩和有损压缩的区别无损压缩】IMCI是PolarDB迈向数据分析市场的第一步，接下来我们将始终如一地深挖技术，结合业务场景，优化HTAP细节并落实到客户的实际应用，为客户降本增效持续赋能。最后，我们展望PolarDB HTAP在压缩技术方面的后续工作：
探索压缩相关的最新的学术研究成果在用户实际场景的最佳实践。在基于规则的列压缩选择算法上，探索并落地基于schema和数据特征实现按列的智能压缩算法选择。探索数据内存压缩技术，增大内存的数据密度，同时利用延迟解压的技术方案，加速查询，实现性能和成本的兼得。参考400倍加速, PolarDB HTAP实时数据分析技术解密阿里云社区Introduction to Data Compression. Guy E. Blelloch.Daniel J. Abadi, Samuel R. Madden, and Nabil Hachem. 2008. Column-stores vs. row-stores: how different are they really? In Proceedings of the 2008 ACM SIGMOD international conference on Management of data (SIGMOD '08). Association for Computing Machinery, New York, NY, USA, 967–980.Peter Boncz, Thomas Neumann, and Viktor Leis. 2020. FSST: fast random access string compression. Proc. VLDB Endow. 13, 12 (August 2020), 2649–2661.Daniel Abadi, Samuel Madden, and Miguel Ferreira. 2006. Integrating compression and execution in column-oriented database systems. In Proceedings of the 2006 ACM SIGMOD international conference on Management of data (SIGMOD '06). Association for Computing Machinery, New York, NY, USA, 671–682.原文链接：https://click.aliyun.com/m/1000352907/
本文为阿里云原创内容，未经允许不得转载。

无损压缩和有损压缩的区别无损压缩( 二 )

推荐阅读

涂口红不掉色的小妙招涂口红不掉色的小妙招有哪些

ai要如何绘画波浪线

什么是股票大笔买入

成都米其林餐厅有哪些

梦见去世的爸爸躺在棺材里

探寻曼珠沙华花语的深层意义曼珠沙华花语

非文化物质遗产是什么意思

短发如何扎头发

郭麒麟为什么退出跑男王宝强为什么退出跑男

SkinCeuticals档次怎么样？修丽可也是欧莱雅的！

无损压缩和有损压缩的区别 无损压缩( 二 )

推荐阅读

无损压缩和有损压缩的区别无损压缩( 二 )