学术咨询服务,正当时......期刊天空网是可靠的职称工作业绩成果学术咨询服务平台!!!

基于机器学习的 Android 恶意软件检测实验

发布时间:2020-12-30所属分类:计算机职称论文浏览:1

摘 要: 摘要:针对传统Android恶意软件检测技术准确率不足的问题,该文设计并用实验验证了一种基于机器学习的Android恶意软件检测方法。首先提取Android应用的一些关键静态特征,生成对应的特征向量,然后采用机器学习算法构建并训练模型,最后对待测Android应用软

  摘要:针对传统Android恶意软件检测技术准确率不足的问题,该文设计并用实验验证了一种基于机器学习的Android恶意软件检测方法。首先提取Android应用的一些关键静态特征,生成对应的特征向量,然后采用机器学习算法构建并训练模型,最后对待测Android应用软件进行分类检测。实验结果表明,在使用相同数据集的情况下,支持向量机(SVM)算法取得了96.4%的检测率,略高于逻辑回归、朴素贝叶斯、决策树算法。通过实验,不仅使学生对Android应用软件有了更清晰的认识,还提升了学生用机器学习方法分析和解决实际问题的能力。

基于机器学习的 Android 恶意软件检测实验

  关键词:Android应用;恶意软件;机器学习;Weka平台

  近年来,全球智能手机用户数量呈指数级增长,估计到2021年将达到17.7亿部。Android被设计成一个开放、免费和可编程的操作系统,设备和用户数量庞大,应用程序丰富,已成为目前最为流行的移动智能操作系统。然而,Android系统的开放性不仅吸引了合法应用的开发者,也出现了众多的恶意软件[1]。赛门铁克公司提供的互联网安全威胁报告指出,每5个Android应用中就会有1个实际上是恶意软件,这给Android用户带来了严重的风险。

  常用的商业恶意软件检测工具,如“360手机安全卫士”“腾讯手机管家”等,一般采用基于签名的检测方法。基于签名的检测技术源于模式匹配[2-3]的思想,为每种已知恶意代码产生一个唯一的签名特征标记,来创建恶意代码库。基于签名的检测方法相对简单,检测速度快,在恶意代码库比较大的情况下,可以获得较好的检测效果。但是这种方法对于不在恶意代码库中的软件无法检测,且随着恶意代码库越来越大,不仅占用大量的存储空间,还需要大量的人力来更新维护恶意代码库。而且一旦恶意软件对代码进行微小的修改和伪装,基于签名的检测方法就失去了相应的检测能力。

  为了应对不断发展的Android恶意软件攻击,近年来机器学习技术越来越多地应用到Android恶意软件检测领域[4]。在这些系统中,基于不同的特征表示(如权限[5]、API调用[6-8]、系统调用图[9-10]、动态行为[11]等),可以分为基于静态特征[12]、动态特征和静动态特征结合的方法[13]。采用不同的机器学习算法,如支持向量机(SVM)[14]、随机森林和深层神经网络[15],构建模型来检测恶意软件,都取得了不错的效果。

  本文采用基于静态特征检测的思路,对机器学习方法引入到Android恶意软件检测领域进行了实验验证,实验过程如图1所示。首先提取Android应用程序的静态特征,把特征映射到高维向量,然后采用机器学习算法构建并训练模型,训练好的模型可直接部署到用户的Android设备上,最后对待测Android应用软件进行检测。

  1Android应用软件背景知识

  1.1恶意软件行为

  Android平台上,恶意软件往往通过重打包的方式伪装成正常软件引导用户下载安装。通常在后台拨打电话、发送拦截服务短信、推送广告等,使用户在毫不知情的情况下被扣去通信费用。部分恶意软件搜集用户敏感信息,将短信内容、通讯录列表信息、地理位置信息等敏感数据发送到指定服务器;还有部分恶意软件通过非法获取root权限,在未经用户允许的情况下恶意删除用户数据、耗费系统资源、删除系统组件、更改系统外观、加密文件、勒索钱财等,对用户正常使用造成严重的破坏和影响。

  1.2Android应用软件介绍

  应用软件想要在Android设备上运行,必须先进行编译,然后打包成为一个能够被Android系统识别并运行的APK文件。一个APK文件解压后通常包含lib目录、META-INF目录、资源文件(resources)、原生资源文件(assets)、清单文件(AndroidManifest.xml)和Dex文件(*.dex)等。

  清单文件是Android应用的入口文件,每一个Android项目都包含一个清单文件。文件中包含了应用程序中所有申请使用的权限,这些权限在软件安装时会展示给用户授权。比如一个游戏软件可能需要写入存储卡或振动的权限,但通常不应该申请读取通讯录或者短信记录的权限。在这个环节,用户可以根据需要选择接受或拒绝。清单文件中还包含了组成应用程序的每一个组件如活动组件(activities)、服务组件(services)、内容提供器组件(contentproviders)和广播接收器组件(intentreceivers),并使用权限(permissions)和意图过滤器(intent)来确定组件之间以及组件和其他应用之间的交互。

  Dex文件是应用程序的Java源代码经编译后形成的字节码文件,包含源程序中定义和实现的所有类和方法,它通过Dalvik虚拟机解释执行。从Dex文件中可以得到应用程序的各种行为,包括敏感API调用、受限制的API调用、字符串常量信息、访问操作系统敏感资源以及所有与系统相关的功能要求和许可等。

  AAPT(Androidassetpackagingtool)工具是AndroidSDK提供的工具之一,它不但可以编译和打包原始文件,还可以逆向解压APK文件。APK文件的打包与解压流程如图2所示。

  2基于机器学习检测的实验方案

  2.1机器学习项目的步骤

  一个完整的机器学习项目一般流程包括:

  (1)把拟解决的问题抽象成数学问题。首先要明确问题,是分类问题、回归问题或是聚类问题。本文实验要解决的恶意软件检测问题属于典型的二分类问题。

  (2)数据获取及分析。获取的训练数据要有一定的代表性,不然会出现过拟合现象。例如分类问题,不同种类的数据规模不能有几个数量级的差距。根据训练数据的量级、样本的总量、特征的总量,可以估算出内存占用率。内存占用率过高甚至溢出,则需要考虑改进算法或使用特征降维,以及采用分布式系统进行训练。

  (3)数据预处理。据统计,数据预处理要占用整个分析过程50%~80%的时间,好的数据预处理会让建模达到事半功倍的效果。数据预处理阶段通常有4类方法:数据的清洗、集成、变换和规约。

  (4)特征工程。其目的是筛选出显著的特征、排除非显著的特征。特征工程能使模型的性能得到提升,在机器学习中具有非常重要的作用,有时在简单的模型上也能取得不错的效果。特征工程一般包括特征构建、特征提取、特征选择3个部分。期间需要用到卡方检测、信息增益、条件熵、后验概率等与特征有效性分析相关的技术和方法。

  (5)模型选择与调优。根据要解决的具体问题和数据的实际情况来选择模型。综合考虑样本的数量、特征的维度、数据的分布以及要解决的问题属于分类、回归还是聚类,采用交差验证方式,观察测试结果曲线,分析原因,尝试找到最优模型及参数组合。

  (6)模型评估。从模型准确率、精确率、召回率、ROC曲线、均方误差,时间复杂度、空间复杂度、迁移性、稳定性等多个方面进行模型评估。

  2.2特征提取

  本文实验和Drebin项目[12]一致,从清单文件和Dex文件中共提取8类静态特征。

  1)从清单文件中提取的特征。

  硬件特征(hardwarecomponents)。应用程序请求使用手机硬件设备,如相机、蓝牙或GPS设备,则必须在清单文件中声明这些功能。请求访问某些硬件组合通常会反映有害行为。

  请求权限特征(requestedpermissions)。Android平台上的应用和系统、应用和应用之间被权限系统隔离开,当应用想要访问某些数据或准备执行特定操作时,必须申请相应的权限。恶意软件通常会更频繁地请求某类权限,例如申请发送SMS相关的权限。

  应用组件特征(applicationcomponents)。Android系统中存在4种不同类型的应用程序组件:Activities、Services、Providers和Receivers。这些组件的名称可能有助于识别同一个家族演变的恶意软件。例如,DroidKungFu病毒的几种变体共享特定名称的服务组件。

  意图特征(filteredintents)。Android系统进程内和进程间通信主要通过Intent进行。例如startActivity函数给某个Activity组件发送Intent,以启动该组件的一个实例;startService函数给某个Service组件发送Intent以启动这个Service。

  2)从Dex文件中提取的特征。

  受限API特征(restrictedAPI)。指受到权限保护的API,Android权限系统会对关键API的访问进行限制。假如一个应用使用受限API,但没有请求相应的权限,这表明此软件很可能非法获得了root权限。

  使用权限特征(usedpermission)。应用程序申请了某个权限但并不一定真正会使用该权限。只有在代码中调用了受权限保护的API,或访问了受权限保护的数据,才算正在使用了某种权限。

  可疑API特征(suspiciousAPI)。指人为定义的某些访问手机敏感资源,并且经常在恶意软件中出现的API。例如:加解密、发送Http请求、获得设备信息、读写SMS、读写外部存储等相关API。

  网络地址特征(networkaddresses)。某些恶意软件会定期与远程服务器建立网络连接,泄露用户隐私数据等。因此,在反汇编代码中搜索IP地址、资源定位符(uniformresourescocator,URL)、主机名等字符串特征,其中一些地址可能与僵尸网络有关,存在于多个恶意软件样本中。

  2.3特征向量

  节2.2中从清单文件和Dex文件中提取的静态特征均为字符串形式,由于大多数机器学习方法是对数值向量进行操作,因此需要先将提取的特征字符串转换成离散的数值形式。

  特征转换:定义一个大的集合S,集合S包含了提取的8类特征中的所有字符串。通过向每类特征中的所有字符串添加唯一前缀,确保属于不同类别的特征元素不会发生冲突,同时保证属于同一种类别的特征元素的唯一性。

  和集合S对应,本文定义了一个|S|维向量空间,其中的每个维度取值为0或1。对于每一个单独的应用软件x来说,是通过构造一个特征向量来对其进行描述,这样对于从x中提取的特征字符串s,若s出现在S中,特征向量相应的维度设置为1,否则为0。

  2.4模型选择

  本文尝试选用SVM、逻辑回归、朴素贝叶斯、决策树等几种常见的机器学习算法进行模型构建、训练以及分类检测对比实验。

  3实验环境和过程

  3.1实验环境

  硬件环境:interi585008核3.0GHz处理器,8GBDDR4内存,1TB硬盘。

  软件环境:Win1064位操作系统,JDK1.8,Weka3.8(Weka是一款开源的,基于Java环境的机器学习和数据挖掘工具),Python3.7,Scikit-learn机器学习库。

  3.2实验过程

  1)获取数据集。

  实验选用Drebin项目公开的数据集,Drebin收集了2010年8月至2012年10月期间公开的大量App样本,最终数据集中包含123453个良性应用、5560个恶意应用,并提取了8类静态特征。

  2)数据预处理。

  由于Drebin项目中良性应用和恶意应用的比例相差过大,恶意应用只占良性应用不到5%的比例,造成样本类别分布偏差过大,本文使用Scikit-learn库提供的随机方法train_test_split(),抽取良性应用的1/10,即12345个良性应用和全部的5560个恶意应用,组成17905个样本的数据集。

  划分训练集和测试集:随后按照66%和34%的比例划分训练集和测试集,最终的训练集包含10234样本,测试集包含6088样本。

  3)特征工程。

  从训练集10234样本中,共提取100234个特征,组成100235维的特征向量,最后一维为标记位。由于特征向量过于稀疏,会占用大量加载和训练时间。实验中采用Weka平台提供的weka.filters.unsupervised.instance.SparseToNonSparse工具转存为非稀疏特征向量,并存储为arff格式文件。

  特征选择:由于100235维的特征向量过大,存在大量的冗余特征,为了加快模型训练收敛,缩短检测时间,采用Weka平台提供的特征信息增益函数weka.attributeSelection.InfoGainAttributeEval进行特征筛选,最终选择了权重排名前1000的特征组成特征向量。

  4)模型评估。

  本文实验利用Weka平台提供的几种机器学习分类算法进行数据训练与模型测试,分别为线性SVM(weka.classifiers.functions.LibLINEAR)、逻辑回归(weka.classifiers.functions.Logistic)、朴素贝叶斯(weka.classifiers.bayes.NaiveBayes)、决策树(weka.classifiers.trees.J48)。为了保证分类结果的稳定性,实验采用十折交叉验证的方式进行模型训练,最终分类效果如表1所示。表11000维特征时模型分类效果评估表模型评估线性SVM逻辑回归朴素贝叶斯决策树准确率/%96.495.989.396.1ROC曲线面积0.9520.9840.9350.961训练时间/s1.182473.86170测试时间/s0.160.252.80.961从表1可以看出,在使用相同数据集的情况下,选择1000维特征时,线性SVM(带有L2正则化项的损失函数)算法取得了不错的分类效果:分类的整体准确率达到了96.4%,ROC曲线面积为0.952,模型训练时间1.18s,模型测试时间0.16s。

  在不进行特征选择,共100234维特征时,线性SVM算法分类的整体准确率有了进一步的提高,达到了97.6%,ROC曲线面积为0.971,模型训练时间2.89s,不过模型测试时间增加到17.82s。

  从实验结果可以看出,以上4种算法总体上准确率都达到了不错的效果,从而可以说明基于机器学习的Android恶意软件检测方法的有效性。——论文作者:陈镭1,3,杨章静2,黄璞2

  相关期刊推荐:《实验技术与管理》杂志是面向全国各级各类高等学校的综合技术性期刊。1963年创刊,由教育部主管,清华大学主办。月刊,设有:特约专栏、实验室创新、实验室建设与管理、实验技术与方法、计算机技术应用、仪器设备研制与应用、实验教学研究与改革、实验教学示范中心建设、现代教育技术、职业技术教育、资产管理、产品信息等栏目。

2023最新分区查询入口

SCISSCIAHCI