将mysql数据库表导入到hdfs sparksql可以处理外部数据库吗?

[更新]
·
·
分类:互联网
4803 阅读

将mysql数据库表导入到hdfs

sparksql可以处理外部数据库吗?

sparksql可以处理外部数据库吗?

可以处理外部数据
Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现Spark SQL可以加载任何地方的数据,例如mysql,hive,hdfs,hbase等,而且支持很多种格式如json, parquet, avro, csv格式…
Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作,也可以被注册为临时表。把DataFrame注册为临时表之后,就可以对该DataFrame执行SQL查询。

软件开发时数据在后台是如何保存的?

你说的是代码保存,还是成品软件保存数据,一般有以下方式保存数据。
1.保存软件设置信息,一般为配置文件形式,比如.ini,.config等等,直接写文件到磁盘里,软件每次启动时读取文件里面相关健值。或者直接写注册表里。
2.数据信息,一般都是以数据库形式保存到文件或者连接数据库保存到数据库里面的,读的时候直接从数据库文件或者连接数据库读。