基于AWS Serverless的Glue服务进行ETL(提取、转换和加载)数据分析（三）——serverless数据分析

原创

已于 2022-08-29 20:06:08 修改 · 804 阅读

标签

#数据分析 #serverless #数据挖掘 #python #无服务器

于 2022-08-23 22:03:09 首次发布

本文详细介绍了如何使用AWS Serverless架构，结合Lambda和API Gateway进行ETL数据分析。通过创建Lambda函数，利用Python3处理数据，再创建API Gateway以实现无服务器的数据操作接口。案例展示了查询特定ID在指定时间段内的数据。

3 serverless数据分析

3.1 创建Lambda

在Lambda中，我们将使用python3作为代码语言。

步骤	图例
1、入口
2、创建（我们选择使用python3.7）
3、IAM权限（权限可信实体需要包括Lambda才能将角色绑定到Lambda上）	见下方“IAM可信实体描述”
4、指定处理函数（处理程序要为用户程序的入口）
5、添加层（层为我们的代码运行时的环境，并且，兼容运行时要包含上一步中的运行时环境）
6、代码（在此代码中使用了boto3来连接Athena，可自定义sql，使用方法请看官方文档）	见下方“Lambda代码”

IAM可信实体描述：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Lambda代码

import boto3, os, json
import pandas as pd

from pyathena import connect
import time
REGION =

最低0.47元/天解锁文章