2024-08-24 23:08:10
231
284
上节研究了SparkSQL的核心操作，Action详细解释 测试案例，与Transformation详细解释 测试案例。本节研究SparkSQL的数据源操作，输入与输出数据。df.write.format(“jdbc”).option(“url”, “jdbc:mysql://host/db”).option(“dbtable”, “table”).option(“user”, “username”).option(“password”, “password”).save()
2024-05-20 15:05:09
251
740
本文介绍了Spark中解析复杂和嵌套数据结构的方法，包括使用get_json_object()和from_json()函数。通过这些方法可以从JSON字符串中提取出特定的JSON对象，并将其作为DataFrame的列。同时，还介绍了使用下标元素的方法来处理数据。