- 当前位置：首页 >IT科技 >聊聊 Airflow 2.2.3 容器化安装
聊聊 Airflow 2.2.3 容器化安装
发布时间：2025-11-05 13:19:37 来源：码上建站 作者：IT科技
上文简单的聊聊了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,器化在使用中在深入的了解一下airflow有哪些具体的功能。
1Airflow容器化部署
阿里云的安装宿主机环境：
操作系统: Ubuntu 20.04.3 LTS 内核版本: Linux 5.4.0-91-generic安装docker
安装Docker可参考官方文档[1],纯净系统，就没必要卸载旧版本了，聊聊因为是器化云上平台，为防止配置搞坏环境，安装你可以先提前进行快照。聊聊
# 更新repo sudo apt-get update sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release # 添加docker gpg key curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 设置docker stable仓库地址 echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 查看可安装的器化docker-ce版本 root@bigdata1:~# apt-cache madison docker-ce docker-ce | 5:20.10.12~3-0~ubuntu-focal | https://download.docker.com/linux/ubuntu focal/stable amd64 Packages docker-ce | 5:20.10.11~3-0~ubuntu-focal | https://download.docker.com/linux/ubuntu focal/stable amd64 Packages docker-ce | 5:20.10.10~3-0~ubuntu-focal | https://download.docker.com/linux/ubuntu focal/stable amd64 Packages docker-ce | 5:20.10.9~3-0~ubuntu-focal | https://download.docker.com/linux/ubuntu focal/stable amd64 Packages # 安装命令格式 #sudo apt-get install docker-ce=<VERSION_STRING> docker-ce-cli=<VERSION_STRING> containerd.io # 安装指定版本 sudo apt-get install docker-ce=5:20.10.12~3-0~ubuntu-focal docker-ce-cli=5:20.10.12~3-0~ubuntu-focal containerd.io优化Docker配置
{ "data-root": "/var/lib/docker", "exec-opts": [ "native.cgroupdriver=systemd" ], "registry-mirrors": [ "https://****.mirror.aliyuncs.com" #此处配置一些加速的地址，比如阿里云的香港云服务器安装等等... ], "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], "log-driver": "json-file", "log-opts": { "max-size": "100m", "max-file": "3" } }配置开机自己
systemctl daemon-reload systemctl enable --now docker.service容器化安装Airflow
数据库选型
根据官网的说明，数据库建议使用MySQL8+和postgresql 9.6+，聊聊在官方的器化docker-compose脚本[2]中使用是PostgreSQL,因此我们需要调整一下docker-compose.yml的内容
在官方docker-compose.yaml基础上只修改了x-airflow-common,MySQL,Redis相关配置，接下来就应该启动容器了，器化在启动之前，安装需要创建几个持久化目录:
mkdir -p ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)" > .env # 注意，此处一定要保证AIRFLOW_UID是普通用户的IT技术网UID,且保证此用户有创建这些持久化目录的权限如果不是普通用户，在运行容器的时候，会报错，找不到airflow模块
docker-compose up airflow-init #初始化数据库，以及创建表 docker-compose up -d #创建airflow容器
当出现容器的状态为unhealthy的时候，要通过docker inspect $container_name查看报错的原因，至此airflow的安装就已经完成了。
参考资料
[1]Install Docker Engine on Ubuntu: https://docs.docker.com/engine/install/ubuntu/
[2]官方docker-compose.yaml: https://airflow.apache.org/docs/apache-airflow/2.2.3/docker-compose.yaml
- 电脑操作教程（解决问题快速简便，让你轻松上网畅享无忧）
- 听叔一句劝，消息队列的水太深，你把握不住！
- 实现同样逻辑，代码量减少90%，这些Java工具库太强大了！
- 一篇文章带你搞懂Python中的继承和多态
- 安装Ubuntu/Debian 提供了三个不同的 Pure-FTPd 的 deb 安装包，分别是 pure-ftpd、pure-ftpd-ldap 和 pure- ftpd-mysql，其中 ldap 和 mysql 分别表示 Pure-FTPd 跟 ldap 和 mysql 集成，另外这三个包都依赖于 pure-ftpd-common。假如我们不需要 ldap 和 mysql 的话，选择 pure-ftpd 就可以了。通过 pure-ftpd-wrapper 的手册页我们可以得到可用的配置文件选项列表：下面是前面我们介绍的第二种方式的配置文件，我们这儿可以将其作为第三种方式来理解。比如要限制所有用户在其主目录中，在 /etc/pure-ftpd/conf 中创建一个名为 ChrootEveryone 的文件，里面加入一行内容：yes 即可。# 限制所有用户在其主目录中ChrootEveryone yes# 假如前一个指令被设置为了 no，下面组的成员(GID)就不受主目录的限制了。而其他的用户还是# 会被限制在自己的主目录里。假如你不想把任何用户限制在自己的主目录里，只要注释掉 ChrootEveryone# 和 TrustedGID 就可以了。# TrustedGID 100# 兼容ie等比较非正规化的ftp客户端BrokenClientsCompatibility no# 服务器总共允许同时连接的最大用户数MaxClientsNumber 50# 做为守护(doemon)进程运行(Fork in background)Daemonize yes# 同一IP允许同时连接的用户数（Maximum number of sim clients with the same IP address）MaxClientsPerIP 8# 假如你要记录所有的客户命令，设置这个指令为 yes。# This directive can be duplicated to also log server responses.VerboseLog no# 即使客户端没有发送 -a 选项也列出隐藏文件( dot-files )。DisplayDotFiles yes# 不允许认证用户 - 仅作为一个公共的匿名FTP。AnonymousOnly no# 不允许匿名连接，仅允许认证用户使用。NoAnonymous no# Syslog facility (auth, authpriv, daemon, ftp, security, user, local*)# 缺省的功能( facility )是 ftp。 none 将禁止日志。SyslogFacility ftp# 定制用户登陆后的显示信息（Display fortune cookies）# FortunesFile /usr/share/fortune/zippy# 在日志文件中不解析主机名。日志没那么详细的话，就使用更少的带宽。在一个访问量很大# 的站点中，设置这个指令为 yes ，假如你没有一个能工作的DNS的话。DontResolve yes# 客户端允许的最大的空闲时间（分钟，缺省15分钟）MaxIdleTime 15# LDAP 配置文件 (参考 README.LDAP)# LDAPConfigFile /etc/pureftpd-ldap.conf# MySQL 配置文件 (参考 README.MySQL)# MySQLConfigFile /etc/pureftpd-mysql.conf# Postgres 配置文件 (参考 README.PGSQL)# PGSQLConfigFile /etc/pureftpd-pgsql.conf# PureDB 用户数据库 (参考 README.Virtual-Users)# PureDB /etc/pureftpd.pdb# pure-authd 的socket 路径(参考 README.Authentication-Modules)# ExtAuth /var/run/ftpd.sock# 假如你要启用 PAM 认证方式, 去掉下面行的注释。# PAMAuthentication yes# 假如你要启用 简单的 Unix系统 认证方式(/etc/passwd), 去掉下面行的注释。# UnixAuthentication yes# 请注意，LDAPConfigFile, MySQLConfigFile, PAMAuthentication 和# UnixAuthentication 这些指令只能被使用一次，不过，他们能被混合在一起用。例如：假如你使用了# MySQLConfigFile 和 UnixAuthentication，那么 SQL 服务器将被访问。假如因为用户名未找# 到而使 SQL 认证失败的话，就会在/etc/passwd 和 /etc/shadow 中尝试另外一种认证，假如因# 为密码错误而使 SQL 认证失败的话，认证就会在此结束了。认证方式由它们被给出来的顺序而被链# 接了起来。# ls 命令的递归限制。第一个参数给出文件显示的最大数目。第二个参数给出最大的子目录深度。LimitRecursion 2000 8# 允许匿名用户创建新目录？AnonymousCanCreateDirs no# 假如系统被 loaded 超过下面的值，匿名用户会被禁止下载。MaxLoad 4# 被动连接响应的端口范围。- for firewalling.# PassivePortRange 30000 50000# 强制一个IP地址使用被动响应（ PASV/EPSV/SPSV replies）。 - for NAT.# Symbolic host names are also accepted for gateways with dynamic IP# addresses.# ForcePassiveIP 192.168.0.1# 匿名用户的上传/下载的比率。# AnonymousRatio 1 10# 所有用户的上传/下载的比率。# This directive superscedes the previous one.# UserRatio 1 10# 不接受所有者为 ftp 的文件的下载。例如：那些匿名用户上传后未被本地管理员验证的文件。AntiWarez yes第二个文件# 客户端登录的时候的默认编码，开启这个选项的话，windows登录时就不会显示不了中文的了ClientCharset gbk# 服务监听的IP 地址和端口。(缺省是所有IP地址和21端口)# Bind 127.0.0.1,21# 匿名用户的最大带宽（KB/s）。# AnonymousBandwidth 8# 所有用户的最大带宽（KB/s），包括匿名用户。# Use AnonymousBandwidth *or* UserBandwidth, both makes no sense.# UserBandwidth 8# 新建目录及文件的属性掩码值。<文件掩码>;:<目录掩码>; .# 177:077 if you feel paranoid.Umask 133:022# 认证用户允许登陆的最小组ID（UID） 。MinUID 100# 仅允许认证用户进行 FXP 传输。AllowUserFXP yes# 对匿名用户和非匿名用户允许进行匿名 FXP 传输。AllowAnonymousFXP no# 用户不能删除和写点文件（文件名以 . 开头的文件），即使用户是文件的所有者也不行。# 假如 TrustedGID 指令是 enabled ，文件所属组用户能够访问点文件(dot-files)。ProhibitDotFilesWrite no# 禁止读点文件（文件名以 . 开头的文件） (.history, .ssh...)ProhibitDotFilesRead no# 永不覆盖文件。当上传的文件，其文件名已经存在时，自动重命名，如： file.1, file.2, file.3, ...AutoRename no# 不接受匿名用户上传新文件( no = 允许上传)AnonymousCantUpload no# 仅允许来自以下IP地址的非匿名用户连接。你可以使用这个指令来打开几个公网IP来提供匿名FTP，# 而保留一个私有的防火墙保护的IP来进行远程管理。你还可以只允许一内网地址进行认证，而在另外# 一个IP上提供纯匿名的FTP服务。#TrustedIP 10.1.1.1# 假如你要为日志每一行添加 PID 去掉下面行的注释。# LogPID yes# 使用类似于Apache的格式创建一个额外的日志文件，如：# fw.c9x.org - jedi [13/Dec/1975] GET /ftp/linux.tar.bz2 200 21809338# 这个日志文件能被 www 流量分析器处理。# AltLog clf:/var/log/pureftpd.log# 使用优化过的格式为统计报告创建一个额外的日志文件。# AltLog stats:/var/log/pureftpd.log# 使用标准的W3C格式创建一个额外的日志文件。（与大部分的商业日志分析器兼容）# AltLog w3c:/var/log/pureftpd.log# 不接受 CHMOD 命令。用户不能更改他们文件的属性。# NoChmod yes# 允许用户恢复和上传文件，却不允许删除他们。# KeepAllFiles yes# 用户主目录不存在的话，自动创建。# CreateHomeDir yes# 启用虚拟的磁盘限额。第一个数字是最大的文件数。# 第二个数字是最大的总的文件大小(单位：Mb)。# 所以，1000:10 就限制每一个用户只能使用 1000 个文件，共10Mb。# Quota 1000:10# 假如你的 pure-ftpd 编译时加入了独立服务器( standalone )支持，你能够改变 pid 文件# 的位置。缺省位置是 /var/run/pure-ftpd.pid 。# PIDFile /var/run/pure-ftpd.pid# 假如你的 pure-ftpd 编译时加入了 pure-uploadscript 支持，这个指令将会使 pure-ftpd# 发送关于新上传的情况信息到 /var/run/pure-ftpd.upload.pipe，这样 pure-uploadscript# 就能读然后调用一个脚本去处理新的上传。# CallUploadScript yes# 这个选项对允许匿名上传的服务器是有用的。当 /var/ftp 在 /var 里时，需要保留一定磁盘空间# 来保护日志文件。当所在磁盘分区使用超过百分之 X 时，将不在接受新的上传。MaxDiskUsage 99# 假如你不想要你的用户重命名文件的话，就设置为 yes 。# NoRename yes# 是 customer proof : 工作区(workaround)反对普通的客户错误，类似于：chmod 0 public_html 的错误。# 那是一个有效的命令，不过，将导致无知的客户所定他们自己的文件，将使你的技术支持忙于愚蠢的的问题中。# 假如你确信你所有的用户都有基本的Unix知识的话，这个特性将没什么用了。不过，假如你是一个主机提供商# 的话，启用它。CustomerProof yes# 每一个用户的并发限制。只有在添加了 --with-peruserlimits 编译选项进行编译后，这个指令才起# 作用。(大部分的二进制的发布版本就是例子)# 格式是 : <每一个用户最大允许的进程>;:<最大的匿名用户进程>;# 例如： 3:20 意思是同一个认证用户最大可以有3个同时活动的进程。而且同时最多只能有20个匿名用户进程。# PerUserLimits 3:20
- 前端百题斩——从基本类型、引用类型到包装对象
- 实战！用 Python 给母亲送祝福!
- 在 Vue 中用 Axios 异步请求API
- 创维D300T超高清电视评测（探寻创维D300T的画质、音效及智能体验表现）
- JavaScript 如何压缩目录并上传？
源码库IT技术网亿华云IT资讯网源码下载香港云服务器服务器租用企商汇益华科技亿华科技亿华灵动益华科技益强智未来智能时代益强科技码力社汇智坊IT资讯网码上建站亿华云计算亿华智慧云极客码头亿华互联益强前沿资讯益强资讯优选运维纵横全栈开发极客编程益强数据堂思维库益强编程舍亿华云创站工坊科技前瞻云智核益华科技益强科技益强编程堂益华IT技术论坛云站无忧益强智囊团亿华智造编程之道
- Copyright © 2025 Powered by 聊聊 Airflow 2.2.3 容器化安装,码上建站 滇ICP备2023006006号-47sitemap