黑客使用哪些编程语言？

在这里插入图片描述

我与其他科学家一起在德国混沌计算机俱乐部 (CCC) 进行了一项调查。我们的目标是找出黑客最常用的编程语言。本文对调查进行了跟进，并将调查结果与漏洞利用数据库的分析进行了比较。读者可以获得有关如何设置分析环境和结果摘要的分步说明。因此，本文不仅涵盖了应用技术，还提供了对网络安全世界的见解。

调查概览

作为欧洲最大的黑客协会，混沌计算机俱乐部为研究该领域流行的编程语言提供了良好的基础。为此，我们于 2021 年 5 月向俱乐部会员发送了在线问卷链接。根据结果，受访者主要使用 Shell 和 Python 进行黑客攻击。调查的另一个重要发现是他们的语言偏好随时间发生了变化。总的来说，参与者并不认为编程语言的选择对于黑客攻击来说是必不可少的。由于它仅针对 CCC 成员，因此调查结果也可能存在偏见。本文的目标是通过分析 Exploit-DB 来验证关键结果。

关于漏洞利用数据库

在 CCC 调查开展的同一年，一个所谓的零日漏洞引起了广泛关注。当时，流行的日志记录框架 Log4j 存在严重漏洞。利用此类安全漏洞的脚本称为漏洞利用。顾名思义，Exploit Database 提供了一个公开的漏洞利用档案和相应的易受攻击的软件。该平台的目标受众是渗透测试人员和安全研究人员。用户可以通过其网站或 Kali Linux 下可用的工具集访问该数据库。

在撰写本文时，来自 9,000 多名作者的 45,000 多个漏洞已在 Exploit-DB（来源）中发布。数据库条目由不同的属性组成，例如漏洞 ID、作者、类型和发布日期。每条记录都与一个文件相关，该文件包含漏洞利用的实际脚本或程序。在Kali下，我们通过执行shell命令exploitdb找到数据库的根目录。除其他外，该目录包含一个带有 Exploit-DB 快照的 CSV 文件 (files_exploits.csv)，以及带有实际脚本或程序的子目录 (exploits/)。

在这里插入图片描述

本文中描述的比较是在 2023 年 1 月 13 日使用 2022 年 11 月 22 日的数据库快照准备的。快照和分析的源代码都可以在 GitHub 上找到。

设置和数据转换

为了设置分析环境，第一步是克隆 GitHub 项目。所有需要的文件都存放在它的根目录exploits中。该实现基于 Anaconda Python 发行版，该发行版必须预装在客户端计算机上。可以在项目根目录下执行以下命令创建并激活conda环境：

1. conda env create -f environment.yml  
2. conda activate exploits

要分析的数据库快照作为 CSV 文件存储在数据文件夹中。它是从 Kali Linux 中检索到的，并使用脚本 execute_transformer 进行了转换。转换时间和快照时间都记录在文件时间戳中。如果需要，可以通过在 Kali shell 中运行以下命令来更新快照：

1. cp -p /usr/share/exploitdb/files_exploits.csv data/  
2. python execute_transformer.py

转换脚本提供整理数据和派生附加字段的功能。一项主要任务是提取有关所用编程语言的信息。为此，应用了库 Pygments。虽然它的主要目的是语法高亮显示，但该框架提供了猜测特定文件的编程语言的功能。

除了 Pygments，还有其他语言检测库。本文测试的一个示例是深度学习解决方案 Guesslang。然而，将其集成到 conda 环境中有些困难，处理时间远远超过 Pygments。由于 Guesslang 没有产生优越的结果，因此采用了后一种框架。以下函数将 Pygments 包含到数据转换脚本中：

1. import pygments  
2. from pygments.lexers import guess_lexer_for_filename  
3.   
4.   
5. def _parse_exploit_file(file_name):  
6.     with open(file_name, encoding="UTF-8") as file:  
7.         lines = file.readlines()  
8.         text = "\n".join(lines)  
9.   
10.        line_count = len(lines)  
11.   
12.         try:  
13.             lang_guessed = guess_lexer_for_filename(file_name, text).name  
14.         except pygments.util.ClassNotFound:  
15.             lang_guessed = None  
16.   
17.         return line_count, lang_guessed

上面的 Python 代码读取特定文件，计算其行数并使用函数 guess_lexer_for_filename 来检测编程语言。为实现这一点，该框架应用了各种词法分析器，即用于语法分析的类。仅考虑分配给给定文件扩展名的那些词法分析器。有些后缀只存在一类，而其他的选择是不明确的。例如，扩展名“py”显然指定给 Python，而后缀“pl”可以指向 Perl 或 Prolog。最匹配的 Lexer 作为结果返回。它的名字揭示了编程语言并建立了分析的基础。下一节中讨论的发现来自笔记本比较。此外，GitHub 项目提供了进一步的笔记本来探索 Exploit-DB 的特定方面。

结果讨论

CCC 调查的核心问题是参与者在研究前一年使用了哪些编程语言。受访者可以选择多个答案选项。图 2 将 CCC 成员提到的前十种语言与 Exploit-DB 作者使用的语言进行了比较。该图表揭示了相似之处，但也有不同之处。

首先，样本量存在重大差距。总共有 48 名 CCC 成员参与了调查。相比之下，2020/21 年间，900 多位独立作者在 Exploit-DB 中发布了 2,500 多个文件。之所以选择这两年，是因为它们与比较研究的研究时期相吻合。为了避免重复，Exploit-DB 中的每个作者语言组合只计算一次。在研究期间，这导致了 1,134 种语言引用，其中 1,116 种是前十名的一部分。另一方面，CCC 调查的参与者将他们的前十种语言命名为 140 次。

在这里插入图片描述

CCC成员主要使用Shell（Bash/Shell/PowerShell）和Python，其次是C、JavaScript、HTML/CSS。所有这些技术也出现在 Exploit-DB 中。一般来说，语言选择有很大的重叠。十分之六的技术出现在图 2 的两个列表中。Python 一直排名第二，显示了它在网络安全领域的受欢迎程度。然而，图表一侧的某些语言并未出现在另一侧。

一个主要区别是 Exploit-DB 中语言的不平衡分布。超过一半的提交是文本文件。在这里，Pygments 指定的名称“Text only”具有误导性。Exploit-DB 中的文本文件通常包含描述，但通常也包含 shell 命令和可能的其他语言脚本。因此，某些技术在结果中的代表性可能不足。抽查表明，这可能适用于 shell 脚本，在 CCC 研究中排名第一。这是我们方法的局限性。Pygments 等框架在评估多语言文件时存在问题。克服这个问题将是后续研究的一个有趣主题。

让我们离开 2020/21 年，看看整个 Exploit-DB 历史。图 3 显示了数据库中所有时间排名前十的语言。如上所述，语言检测依赖于 Pygments，每个作者-语言组合只计算一次。

在这里插入图片描述

根据图 3，Exploit-DB 中有史以来排名前十的语言以 Text 居首，其次是 Python、C、HTML 和 Perl。同样，与 CCC 成员的选择有相当大的交集。当然，令人惊讶的是 Prolog 出现在列表的后半部分。可能的原因是扩展名为“pl”的文件分类错误。无论如何，Perl 相对较高的排名是值得注意的，因为该语言根本没有出现在图 2 中。这与 CCC 调查的另一个发现相吻合。在这项研究中，大多数参与者 (77.5%) 报告说他们的语言偏好随时间发生了变化。为了评估这一点，我们可以看一下图 4。该图表直观地显示了在此分析之前的 25 年中 Exploit-DB 中排名前十的语言的百分比份额。每个作者语言组合每年计算一次。结果，我们在研究期间从 9,592 位独立作者那里找到了 16,422 条语言参考。
在这里插入图片描述

图 4 显示 Exploit-DB 中文本文件的百分比保持相当稳定。选择 25 年的时间范围是因为在此期间之前的提交数量相对较少。除了持续使用文本之外，图 4 显示了对其他语言的首选项的变化。最明显的是在数据库中从 C 转向 Python。CCC 研究中也提到了一个可能的原因。参与者报告说，他们并不认为编程语言的选择对黑客攻击至关重要。因此，越来越多地使用 Python 可以简单地反映出它近年来普遍流行。因此，随着技术的发展，语言偏好在未来应该会继续改变。例如，引入 Rust 作为 Linux 内核开发的第二语言可能会引发这种转变。这一预测是否属实，将在未来几年见分晓。

结论

总之，本文中的比较揭示了 CCC 成员和 Exploit-DB 作者使用的语言之间存在大量重叠。这两个数据集都证实了 Python 在网络安全领域的流行程度。此外，每个数据集都表明语言偏好随时间的变化。CCC 研究制定了一个可能的原因。参与者并不认为编程语言的选择对于黑客攻击至关重要。按照这一解释，人们应该期望语言偏好会随着技术进步而继续变化。Exploit-DB 分析的一个主要限制与语言检测方法有关。由于多语言文件的问题，某些技术可能未得到充分体现。解决这个问题将是后续研究的一个有趣话题。显然，Exploit-DB 为数据科学家和安全专家提供了丰富的数据集。关于黑客渗透的艺术还有很多东西需要学习。