- 当前位置：首页 >人工智能 >使用Shell构建多进程的CommandlineFu爬虫
使用Shell构建多进程的CommandlineFu爬虫
发布时间：2025-11-05 12:45:07 来源：码上建站 作者：系统运维
CommandlineFu 是使用一个记录脚本片段的网站，每个片段都有对应的建多进程功能说明和对应的标签。我想要做的爬虫就是尝试用 shell 写一个多进程的爬虫把这些代码片段记录在一个 org 文件中。
参数定义
这个脚本需要能够通过 -n 参数指定并发的使用爬虫数（默认为 CPU 核的数量），还要能通过 -f 指定保存的建多进程 org 文件路径（默认输出到 stdout）。
#!/usr/bin/env bashproc_num=$(nproc)store_file=/dev/stdoutwhile getopts :n:f: OPT; do 爬虫case $OPT in n|+n) proc_num="$OPTARG" ;; f|+f) store_file="$OPTARG" ;; *) echo "usage: ${0##*/} [+-n proc_num] [+-f org_file} [--]" exit 2 esacdoneshift $(( OPTIND - 1 ))OPTIND=1解析命令浏览页面
我们需要一个进程从 CommandlineFu 的浏览列表中抽取各个脚本片段的 URL，这个进程将抽取出来的使用 URL 存放到一个队列中，再由各个爬虫进程从进程中读取 URL 并从中抽取出对应的建多进程代码片段、描述说明和标签信息写入 org 文件中。爬虫
这里就会遇到三个问题:
进程之间通讯的使用队列如何实现 如何从页面中抽取出 URL、代码片段、建多进程描述说明、爬虫标签等信息 多进程对同一文件进行读写时的使用乱序问题 实现进程之间的通讯队列这个问题比较好解决，我们可以通过一个命名管道来实现：
queue=$(mktemp --dry-run)mkfifo ${queue}exec 99<>${queue}trap "rm ${queue} 2>/dev/null" EXIT 从页面中抽取想要的建多进程信息从页面中提取元素内容主要有两种方法：
对于简单的 HTML 页面，我们可以通过 sed、亿华云爬虫grep、awk 等工具通过正则表达式匹配的方式来从 HTML 中抽取信息。 通过 html-xml-utils 工具集中的 hxselect 来根据 CSS 选择器提取相关元素。这里我们使用 html-xml-utils 工具来提取：
function extract_views_from_browse_page(){ if [[ $# -eq 0 ]];then local html=$(cat -) else local html="$*" fi echo ${html} |hxclean |hxselect -c -s "\n" "li.list-group-item > div:nth-child(1) > div:nth-child(1) > a:nth-child(1)::attr(href)"|sed s@^@https://www.commandlinefu.com/@}function extract_nextpage_from_browse_page(){ if [[ $# -eq 0 ]];then local html=$(cat -) else local html="$*" fi echo ${html} |hxclean |hxselect -s "\n" "li.list-group-item:nth-child(26) > a"|grep >|hxselect -c "::attr(href)"|sed s@^@https://www.commandlinefu.com/@}这里需要注意的是：hxselect 对 HTML 解析时要求遵循严格的 XML 规范，因此在用 hxselect 解析之前需要先经过 hxclean 矫正。另外，为了防止 HTML 过大，超过参数列表长度，这里允许通过管道的形式将 HTML 内容传入。
循环读取下一页的浏览页面，不断抽取代码片段 URL 写入队列这里要解决的是上面提到的第三个问题: 多进程对管道进行读写时如何保障不出现乱序? 为此，我们需要在写入文件时对文件加锁，然后在写完文件后对文件解锁，在 shell 中我们可以使用 flock 来对文件进行枷锁。 关于 flock 的使用方法和注意事项，请参见另一篇博文 Linux shell flock 文件锁的用法及注意事项。
由于需要在 flock 子进程中使用函数 extract_views_from_browse_page，因此需要先导出该函数：
export -f extract_views_from_browse_page由于网络问题，使用 curl 获取内容可能失败，需要重复获取：
function fetch(){ local url="$1" while ! curl -L ${url} 2>/dev/null;do : done}collector 用来从种子 URL 中抓取待爬的 URL，免费信息发布网写入管道文件中，写操作期间管道文件同时作为锁文件：
function collector(){ url="$*" while [[ -n ${url} ]];do echo "从$url中抽取" html=$(fetch "${url}") echo "${html}"|flock ${queue} -c "extract_views_from_browse_page >${queue}" url=$(echo "${html}"|extract_nextpage_from_browse_page) done # 让后面解析代码片段的爬虫进程能够正常退出，而不至于被阻塞. for ((i=0;i<${proc_num};i++)) do echo >${queue} done}这里要注意的是， 在找不到下一页 URL 后，我们用一个 for 循环往队列里写入了 =proc_num= 个空行，这一步的目的是让后面解析代码片段的爬虫进程能够正常退出，而不至于被阻塞。
解析脚本片段页面
我们需要从脚本片段的页面中抽取标题、代码片段、描述说明以及标签信息，同时将这些内容按 org 模式的格式写入存储文件中。
function view_page_handler() { local url="$1" local html="$(fetch "${url}")" # headline local headline="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > h1:nth-child(1)")" # command local command="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > div:nth-child(2) > span:nth-child(2)"|pandoc -f html -t org)" # description local description="$(echo ${html} |hxclean |hxselect -c -s "\n" ".col-md-8 > div.description"|pandoc -f html -t org)" # tags local tags="$(echo ${html} |hxclean |hxselect -c -s ":" ".functions > a")" if [[ -n "${tags}" ]];then tags=":${tags}" fi # build org content cat <<EOF |flock -x ${store_file} tee -a ${store_file}* ${headline} ${tags}:PROPERTIES::URL: ${url}:END:${description}#+begin_src shell${command}#+end_srcEOF }这里抽取信息的方法跟上面的类似，不过代码片段和描述说明中可能有一些 HTML 代码，因此通过 pandoc 将之转换为 org 格式的内容。
注意***输出 org 模式的格式并写入存储文件中的代码不要写成下面这样：
flock -x ${store_file} cat <<EOF >${store_file} * ${headline}\t\t ${tags} ${description} #+begin_src shell ${command} #+end_srcEOF它的意思是使用 flock 对 cat 命令进行加锁，再把 flock 整个命令的结果通过重定向输出到存储文件中，网站模板而重定向输出的这个过程是没有加锁的。
spider 从管道文件中读取待抓取的 URL，然后实施真正的抓取动作。
function spider(){ while : do if ! url=$(flock ${queue} -c read -t 1 -u 99 url && echo $url) then sleep 1 continue fi if [[ -z "$url" ]];then break fi view_page_handler ${url} done}这里要注意的是，为了防止发生死锁，从管道中读取 URL 时设置了超时，当出现超时就意味着生产进程赶不上消费进程的消费速度,因此消费进程休眠一秒后再次检查队列中的 URL。
组合起来
collector "https://www.commandlinefu.com/commands/browse" &for ((i=0;i<${proc_num};i++))do spider &donewait抓取其他网站
通过重新定义 extract_views_from_browse_page、 extract_nextpage_from-browse_page、 view_page_handler 这几个函数， 以及提供一个新的种子 URL，我们可以很容易将其改造成抓取其他网站的多进程爬虫。
例如通过下面这段代码，就可以用来爬取 xkcd 上的漫画：
function extract_views_from_browse_page(){ if [[ $# -eq 0 ]];then local html=$(cat -) else local html="$*" fi max=$(echo "${html}"|hxclean |hxselect -c -s "\n" "#middleContainer"|grep "Permanent link to this comic" |awk -F "/" {print $4}) seq 1 ${max}|sed s@^@https://xkcd.com/@}function extract_nextpage_from_browse_page(){ echo ""}function view_page_handler(){ local url="$1" local html="$(fetch "${url}/")" local image="https:$(echo ${html} |hxclean |hxselect -c -s "\n" "#comic > img:nth-child(1)::attr(src)")" echo ${image} wget ${image}}collector "https://xkcd.com/" &- 魅族耳机音质如何？一探其音乐天地（揭秘魅族耳机音质，解读音乐细腻度与震撼力）
- 夏普830a手机的全面评测（探索夏普830a的功能和性能，解读其优势和不足）
- 博朗面包机的优势和使用体验（为您带来美味健康的早餐享受）
- 三星A8升级后的惊喜与改进（解锁无限可能，畅享全新体验）
- 亿林云光纤（拥抱高速互联网时代，畅游无限可能）
- LGV30系统评测（一款功能强大的智能手机引领潮流）
- 32GB内存游戏畅玩，带来极致游戏体验！（探索32GB内存游戏玩法，让游戏更流畅、更快速、更精彩！）
- 探寻清远佳的美（发现清远之美，感受纯净自然魅力）
- 神舟战神Z6（探索神舟战神Z6的惊艳性能和令人陶醉的游戏体验）
- 佳源电热水器（舒适洗浴体验，低能耗高效率的佳源电热水器）
- 本文记录配置Linux服务器的初步流程，也就是系统安装完成后，下一步要做的事情。这主要是我自己的总结和备忘，假如有遗漏，欢迎大家补充。下面的操作针对Debian/Ubuntu系统，其他Linux系统也类似，就是部分命令稍有不同。 第一步：root用户登录 首先，使用root用户登录远程主机（假定IP地址是128.199.209.242）。 ssh root@128.199.209.242这时，命令行会出现警告，表示这是一个新的地址，存在安全风险。键入yes，表示接受。然后，就应该可以顺利登入远程主机。接着，修改root用户的密码。 passwd第二步：新建用户 首先，添加一个用户组（这里假定为admin用户组）。 addgroup admin然后，添加一个新用户（假定为bill）。useradd -d /home/bill -s /bin/bash -m bill 上面命令中，参数d指定用户的主目录，参数s指定用户的shell，参数m表示假如该目录不存在，则创建该目录。接着，设置新用户的密码。 passwd bill 将新用户（bill）添加到用户组（admin）。usermod -a -G admin bill 接着，为新用户设定sudo权限。visudovisudo命令会打开sudo设置文件/etc/sudoers，找到下面这一行。root ALL=(ALL:ALL) ALL在这一行的下面，再添加一行。root ALL=(ALL:ALL) ALLbill ALL=(ALL) NOPASSWD: ALL上面的NOPASSWD表示，切换sudo的时候，不需要输入密码，我喜欢这样比较省事。假如出于安全考虑，也可以强制要求输入密码。root ALL=(ALL:ALL) ALLbill ALL=(ALL:ALL) ALL然后，先退出root用户的登录，再用新用户的身份登录，检查到这一步为止，是否一切正常。exitssh bill@128.199.209.242第三步：SSH设置 首先，确定本机有SSH公钥（一般是文件~/.ssh/id_rsa.pub），假如没有的话，使用ssh-keygen命令生成一个（可参考我写的SSH教程）。 在本机上另开一个shell窗口，将本机的公钥拷贝到服务器的authorized_keys文件。 cat ~/.ssh/id_rsa.pub | ssh bill@128.199.209.242 mkdir -p .ssh && cat - >>~/.ssh/authorized_keys# 或者在服务器端，运行下面命令echo ssh-rsa [your public key] >~/.ssh/authorized_keys然后，进入服务器，编辑SSH配置文件/etc/ssh/sshd_config。sudo cp /etc/ssh/sshd_config ~sudo nano /etc/ssh/sshd_config在配置文件中，将SSH的默认端口22改掉，可以改成从1025到65536之间的任意一个整数（这里假定为25000）。Port 25000然后，检查几个设置是否设成下面这样，确保去除前面的#号。Protocol 2PermitRootLogin noPermitEmptyPasswords noPasswordAuthentication noRSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keysUseDNS no上面主要是禁止root用户登录，以及禁止用密码方式登录。接着，在配置文件的末尾，指定允许登陆的用户。 AllowUsers bill保存后，退出文件编辑。接着，改变authorized_keys文件的权限。 sudo chmod 600 ~/.ssh/authorized_keys && chmod 700 ~/.ssh/然后，重启SSHD。sudo service ssh restart# 或者sudo /etc/init.d/ssh restart下面的一步是可选的。在本机~/.ssh文件夹下创建config文件，内容如下。Host s1HostName 128.199.209.242User billPort 25000最后，在本机另开一个shell窗口，测试SSH能否顺利登录。ssh s1第四步：运行环境配置 首先，检查服务器的区域设置。 locale假如结果不是en_US.UTF-8，建议都设成它。sudo locale-gen en_US en_US.UTF-8 en_CA.UTF-8sudo dpkg-reconfigure locales然后，更新软件。sudo apt-get updatesudo apt-get upgrade最后，再根据需要，做一些安全设置，比如搭建防火墙，关闭HTTP、HTTPs、SSH以外的端口，这里就不一一介绍了，谢谢阅读，希望能帮到大家，请继续关注脚本之家，我们会努力分享更多优秀的文章。
- 以波导仿苹果手机的性能和体验如何？（了解波导仿苹果手机的特点和用户反馈）
- 华为畅享5（以华为畅享5质量怎么样？一探实力与性价比）
- 雷蛇V2键盘的卓越性能与舒适体验（一款专为电竞玩家设计的顶尖游戏键盘）
- 军工三防手机（从看军工三防手机的先进技术和可靠性能）
- 探索优雅x4sl5s1的魅力（领略优雅x4sl5s1的独特之处）
- 小米399电饭锅体验评测（性价比高，功能强大的小米电饭锅怎么样？）
- 以盛世阳光颈肩按摩器，舒缓疲劳，享受健康（适用于全家人的高品质按摩器）
- 戴尔2720怎么样？一款高性能显示器的全面评测
- 华为Mate7（性能出众、设计精美、用户体验卓越，华为Mate7成为市场热门选择）
随便看看
服务器租用IT技术网源码库益华科技源码下载IT资讯网香港云服务器企商汇亿华云益强IT技术网亿华互联益华科技智能时代码力社亿华云益华科技汇智坊技术快报思维库益强智囊团全栈开发亿华智造益强资讯优选益强科技云智核云站无忧益华IT技术论坛益强智未来益强编程堂极客码头极客编程亿华科技科技前瞻益强前沿资讯亿华灵动创站工坊运维纵横码上建站益强编程舍亿华智慧云益强数据堂亿华云计算
- Copyright © 2025 Powered by 使用Shell构建多进程的CommandlineFu爬虫,码上建站 滇ICP备2023006006号-47sitemap