大部分公司只是单纯的对数据进行了处理,而数据的血缘,分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atlas应运而生。
Atlas官网地址:https://atlas.apache.org
Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。
Atlas官网地址:https://atlas.apache.org
Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。
来自频道: @lover_links
直接点讲,就是大部分(80%以上)的需求,都用DWS的表来支持就行,DWS支持不了的,就用DWM和DWD的表来支持,这些都支持不了的极少一部分数据需要从原始日志中捞取。
来自频道: @lover_links
数据层的存储一般如下:
1 Data Source:数据源一般是业务库和埋点,当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。
2 ODS 层:ODS 的数据量一般非常大,所以大多数公司会选择存在HDFS上,即Hive或者Hbase,Hive居多。
3 DW 层:一般和 ODS 的存储一致,但是为了满足更多的需求,也会有存放在 PG 和 ES 中的情况。
4 APP 层:应用层的数据,一般都要求比较快的响应速度,因此一般是放在 Mysql、PG、Redis中。
1 Data Source:数据源一般是业务库和埋点,当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。
2 ODS 层:ODS 的数据量一般非常大,所以大多数公司会选择存在HDFS上,即Hive或者Hbase,Hive居多。
3 DW 层:一般和 ODS 的存储一致,但是为了满足更多的需求,也会有存放在 PG 和 ES 中的情况。
4 APP 层:应用层的数据,一般都要求比较快的响应速度,因此一般是放在 Mysql、PG、Redis中。
来自频道: @lover_links
来自频道: @lover_links
来自频道: @lover_links
我在大学的时候到过北京和上海,吃的也不好,住的也不好,遇到的大部分人也不好。这打破了我对一线城市的美好幻想,从那以后我就再也没去过这两座城市。
有人说这次上海疫情,上海那么多作家、专家、教授居然都没有发声。这也印证了我以前的观点,这个国家只有不分是非的岁静婊才可以担任重要的工作,这些人每个人帮邪恶的权贵做一点小恶,就会对所有底层的人造成重大的伤害,他们还没有一点羞愧之心。
我对北京、上海高人一等的当地大爷大妈没有一点同情,我只同情这个时代的年轻人。
有人说这次上海疫情,上海那么多作家、专家、教授居然都没有发声。这也印证了我以前的观点,这个国家只有不分是非的岁静婊才可以担任重要的工作,这些人每个人帮邪恶的权贵做一点小恶,就会对所有底层的人造成重大的伤害,他们还没有一点羞愧之心。
我对北京、上海高人一等的当地大爷大妈没有一点同情,我只同情这个时代的年轻人。
来自频道: @lover_links
上海如今的地位并不是偶然的,也不是什么政策影响,它天然得天独厚,天生的超级大港口背靠巨大平坦的腹地,之前有城市学大佬说,中国从现代文明角度来说,只有两个天然超级城市,一个广州,一个上海,当然了,深圳和广州其实差不多,他俩占着相同的地利。
来自频道: @lover_links