パーソルグループとSky株式会社は、sightを通してエンジニアの自分らしいキャリアを応援しています

虎の巻!セキュリティ論 #17/AIとセキュリティ

f:id:sky-pca:20191020115651p:plain

 


はじめに

現在、人工知能(Artificial Intelligence:AI)が各分野で注目を浴びている。そして、AIとセキュリティ(安全性)の関係も非常に重要となってきている。AIとセキュリティの関係というとセキュリティ対策にAIを適用することだけを思い浮かべるかもしれないが、安全性を確保するためにはもっと広く検討していく必要があると考えている。

本稿では、セキュリティに脅威を与えるサイバー攻撃の動向を概観したのち、AIとセキュリティの関係を4つの観点から解説する。

f:id:sky-pca:20200123120158p:plain

 サイバー攻撃の動向

サイバー攻撃の猛威が続き、防御する側の状況は厳しさを増してきている。サイバー攻撃の歴史を振り返ると2つのターニングポイントがあったと考えている。最初のターニングポイントは2000年ごろ、第二のターニングポイントは2010年ごろである。それぞれの特徴は表1に示すように整理することができる。第二のターニングポイントでの最大の特徴は、攻撃パターンが不特定多数への攻撃から特定少数を狙う標的型に変わってきた点である。攻撃技術も非常に高度になってきており、従来の攻撃が風邪なら、次のターニングポイント以降の攻撃は新型インフルエンザであると言う人もいるぐらいである。

f:id:sky-pca:20191101064406p:plain

サイバー攻撃に関しては今後表2のようになっていくと予想している。

f:id:sky-pca:20191101064410p:plain

AIとセキュリティに関する4つの観点

f:id:sky-pca:20191101064414p:plain

AIを利用した攻撃

今後、AIを利用した不正者によるサイバー攻撃が増加してくると考えられる。特に、AI機能つきのマルウェアは近い将来、確実に誕生するだろう。今後は、小さな種々のAI機能付きマルウェアが侵入し、協力しながら環境に最も適した攻撃をするようになっていくのではないかと考えている。少なくとも研究レベルでは、このような動きを考慮して今後の対策を考えておくことが大切となるだろう。

AI自身による攻撃

AIが人間に及ぼす悪影響で最も大きな問題は人間を上回る能力を有するAIが誕生し将来的に人間が絶滅させられるのではないかということである。

Googleの研究者のレイ・カーツワイルは2045年にはAIの能力が、人間を超越するシンギュラリティが生じ、反乱すら起きるかもしれないとしている(参考文献1)。また、スティーブン・ホーキングは「人工知能の発明は人類史上最大の出来事だった。だが同時に『最後』の出来事になってしまう可能性もある」と言っている(参考文献1)。このような問題を回避するために、AI研究に関し今から規制を設けておくべきであるという意見もある。しかし、多くのAI研究者は人間に対する反乱が起きる可能性は低く、過度の規制が逆にいろいろな問題を生じさせると考えている。

私自身もAIの反乱が生じる可能性は現状では非常に低いと思っている。しかし、人間のリスクへの感性は低いということを知っておいた方がよいだろう。東日本大震災では、津波によって各地に甚大な被害がもたらされた。以前から可能性としては指摘されていたが、東京電力は大きな津波がすぐには来ないだろうと考えた。リスクへの警鐘には謙虚に対応していく必要があると考えており、AIの反乱については今後も関心を持って見ていく必要があるだろう。

AIが人間の仕事を奪ってしまうのではないかと思っている人は多く、AIとロボットが進展することにより次のような職業はなくなっていくと予想している(参考文献2)。

「一般・経理事務員、受付係、クリーニング取次店員、建設作業員、自動車組立工、自動車塗装工、スーパー店員、タクシー運転者、宅配便配達員、電車運転士、路線バス運転者、通関士」ほか。

一方、残る職業としては次のようなものがあるとしている。

「アートディレクター、インテリアコーディネーター、フラワーデザイナー、メークアップアーティスト、映画監督、クラシック演奏家」ほか。

さてどうなるのか。私はスーパーのスーパーな能力を持つ店員などは今後も重宝されるだろうと考えている。一方、平凡な能力しか持たないインテリアコーディネーターなどは淘汰されていくような気がする。


AIへの攻撃

AIのためのシステムへの攻撃による問題を考えておくことも必要である。機械学習システムの停止やファイル情報、通信路情報の盗み出しなどの攻撃は他システムへの攻撃と同じであろう。学習モデルへデータを入出力することによる機械学習システムで使われているデータの推定などは特有の問題として注意する必要がある。また、機械学習に対する偏った訓練データを意図的に与えることが原因で、不適切な判断をさせてしまう問題にも注目する必要がある。例えば、米マイクロソフトのチャットボット「Tay」は、クラウドソーシングを利用していろいろな人から学習させたところ、意図的に多数の偏った入力が行われた結果、ナチスを礼賛したり差別発言を繰り返したりするようになったという(参考文献3)。

適切な学習データをどのように与えるかは、今後も大きな課題になっていくだろう。

AIを利用したセキュリティ対策

Google Scholarで「Cyber Security AND Artificial Intelligence」をキーワードとして検索すると2007年には1,240件だったものが2017年には8,210件と6.6倍に増加している。「Ryoichi Sasaki」単体ではトータルで17,700件ヒットし、「上記+Ryoichi Sasaki」で検索すると202件がヒットした。なお、これには引用や特許なども含み、姓が「Sasaki」の人と名が「Ryoichi」の人の共同著者の場合も含むため、うち10件程度が私の論文や発表原稿である。

これらの調査やWebサイト上の製品紹介から、図1のようなセキュリティ対策のためにすでにAIが使われていることがわかった。

f:id:sky-pca:20191101064419p:plain

AIを使ったというセキュリティ対策ツールは各社から発売されており、そのメリットがWebサイト上で述べられている。しかし、セキュリティ対策のためにAIを実際に利用するにあたっては、表3のような問題を解決することが望ましい(参考文献4)。しかし、これらをどのように解決したか言及しているものは少ない。

f:id:sky-pca:20191101064423p:plain

セキュリティ対策のためのAI利用に関する研究例

執筆者らは、以下のようなセキュリティ対策にAIを用いる研究を行ってきた。それぞれについて簡単に説明を加える。

機械学習を利用した標的型攻撃用C&Cサーバの自動判別システム

近年流行している標的型攻撃では、マルウェアに感染した後にC&Cサーバとの間でさまざまな通信を行う。そのため、出口対策としてC&Cサーバのブラックリストを用い、ブラックリストに載ったサーバとの通信を制限することにより、被害の発生を防止することができる。しかし、ブラックリストは常に古いC&C情報しか持たず、新しくC&CにされてしまったC&Cサーバにアクセスしてしまう可能性がある。そこで、C&Cサーバと通常のサーバのDNS情報やWHOIS情報などを調べ、ニューラルネットワークなどのツールを使い判別モデルを作成した。そして、この手法に実データを適用しC&Cサーバの判別を行った結果、約99.3%と高い検知率を得ることができ、有効性の見通しを得ることができた。また、攻撃者に察知されにくい情報だけを用いても98.9%の検知率を上げられることが明らかになった。ここで、C&Cサーバに関する情報はVirusTotalを用いて求めた。時間経過が具体的にどのように影響を与えるかについては今後の課題である。詳しくは、(参考文献56)などを参照願いたい。

ルールベースシステムやベイジアンネットワークを利用した
知的ネットワークフォレンジックシステム

近年、企業や政府機関を対象としたサイバー攻撃の数が増加しているのはご存じのとおりである。このような組織では、標的とされた攻撃への対策を準備する必要があるが、支援システムの助けなしに攻撃中にこれらの手段を実行することは非常に困難である。そこで執筆者らは、ルールベースシステムやベイジアンネットワークなどの人工知能技術を用いて攻撃事象を推定し、攻撃対策を導くためのLIFT(Live and Intelligent Network Forensic Technologies)システムを開発した図2。このシステムは、収集されたログを分析し、攻撃の手掛かり(兆候)を検出。次にベイジアンネットワークを使用して、検出された手掛かりから各攻撃事象の可能性を推定する。確信度が十分に大きい場合、その攻撃事象が発生していると考える。確信度が小さい場合は、LIFTシステムはログからの追加の手掛かりの収集を行った上で同様の処理を確信度が十分大きくなるまで繰り返す。さらに、LIFTシステムは、攻撃事象からルールベースシステムにより対策項目を選定し、対策の実施をガイドしたり、自動操作を実行したりする。執筆者らは、LIFTシステムのプロトタイプを開発し、このプロトタイプを過去に発生した攻撃シーケンスに適用した。その結果、LIFTシステムは事象を推定したり対策を正しく指示したりという目的とする機能を実現することが確認できた。ここで、機械学習ではなくルールベースシステムやベイジアンネットワークを利用したのは、異常事象に関するデータが十分に得られないからである。このLIFTシステムについては、(参考文献78)などを参照願いたい。

f:id:sky-pca:20191101064402p:plain

なお、AIを応用して事象や応急対策を明確にした後、侵入元や侵入範囲を推定する必要があるが、ここでは機械学習などのAIを使わず、各機器のプロセスログとパケットログをOnmitsu(参考文献9)という執筆者らが開発したツールを用いて求め、それに機器間の接続情報を加えた上で、検知アルゴリズムに基づき侵入元や侵入範囲を推定する方法を開発している。詳しくは、(参考文献1011)などを参照願いたい。アルゴリズムを用いる方法にしたのは、このほうがアルゴリズムが正しいならば見落としがなく、推定した理由の説明が容易であり、その後具体的対策を実施するのに適していると考えたからである。このように、AIを用いる方法とアルゴリズムを用いる方法を組み合わせて利用するというアプローチも有効であると考えられる。

今後の展開

以上見てきたように、セキュリティ対策に関してもデータは十分にある。AI技術の一つである機械学習が使えるような対象は現在でも有効であり、今後も適用が増えていくと考えられる。ただし、攻撃方法は動的に変化するので適切な対応が必要となる。また、データが十分ではない対象に対しては今後さまざまな試行が必要となると考えられる。いずれにしても、AIとセキュリティに関しては重要なテーマであり上述した4つの観点から検討を続けていくことが大切であると考えられる。

今後は、攻撃側と守備側に分かれて、AI同士がお互いに戦い続けるようになっていくのだから。


参考文献

(1)https://ja.wikipedia.org/wiki/人工知能(2018年9月3日確認)

(2)https://allabout.co.jp/gm/gc/471185/(2018年9月3日確認)

(3)https://news.yahoo.co.jp/byline/endohomare/20170806-00074210/(2018年9月3日確認)

(4)https://blog.avast.com/jp/why-security-is-a-unique-challenge-for-ai-jp(2018年9月3日確認)

(5)MASAHIRO KUYAMA, YOSHIO KAKIZAKI, RYOICHI SASAKI,” Method for detecting a malicious domain by using only well-known information” International Journal of Cyber-Security and Digital Forensics (IJCSDF)5(4): 166-174

(6)久山真宏、柿崎淑郎、佐々木良一「攻撃者に察知されにくい情報を用いたC&Cサーバの検知手法の提案と評価」情報処理学会論文誌,Vol.58,No.9,pp1410-1418,2017

(7)佐々木良一、八槙博史「標的型攻撃に対する知的ネットワークフォレンジックシステムLIFTの開発(その3) - 今後の研究構想 -」情報処理学会 DICOMO2015

(8)Ryoichi Sasaki et al.“Development and Evaluation of Intelligent Network Forensic System LIFT Using Bayesian Network for Targeted Attack Detection and Prevention” International Journal of Cyber-Security and Digital Forensics(IJCSDF) 7(4): pp344-353, 2018(to appear)

(9)三村聡志、 佐々木良一「プロセス情報と関連づけた通信情報保全手法の提案」, 情報処理学会論文誌, Vol.57, No.9, pp.1944-1953 (2016).

(10)佐藤信、杉本暁彦、林直樹、磯部義明、佐々木良一:マルウェアによるネットワーク内の挙動を利用した標的型攻撃における感染経路検知ツールの開発と評価, 情報処理学会論文誌,Vol.58, No.2, pp.366-374 (2017).

(11)島川貴裕、佐藤信、佐々木良一「標準型攻撃に対するマルウェア波及範囲推定手法の提案と評価」情報処理学会論文誌 Vol.59, No.12, pp2246-2260

東京電機大学総合研究所特命教授、サイバーセキュリティ研究所長:佐々木 良一

1971年東京大学卒業。同年日立製作所入社。システム開発研究所にてセキュリティ技術、ネットワーク管理システム等の研究開発に従事。2001年より2018年まで東京電機大学教授、現在、同大学 特命教授、工学博士(東京大学)。2002年情報処理学会論文賞受賞。2007年および2017年に総務大臣表彰。2017年電子情報通信学会マイルストーン表彰。2018年Information Security Leadership Achievements Asia-Pacific program・Showcased Honoree(Information Security Educator部門)など。著書に、「ITリスクの考え方」岩波新書2008年等。日本セキュリティ・マネジメント学会会長、内閣官房サイバーセキュリティ補佐官等を歴任。


第18回/Coming soon