AI宣言パート1:AIベースのセキュリティのリスクと倫理的な影響について

By The Cylance Team

本ブログ記事は、2019年9月11日に米国で公開された抄訳版です。原文はこちらからご覧頂けます。

注:この記事は、BlackBerry Cylance publicationの「Phi Magazine」第2号で最初に公開されました。現在、Phi Magazineのオンライン版はこちらでダウンロードできます。   

私たちは、技術が急速に変化している時代に生きており、生活のほとんどすべての側面は、処理を実行し、相互に接続されるデバイスに依存しています。その結果、サイバー/物理システムの利用が急激に増加し、産業、政府、商業が変革されました。特に人工知能(AI)革命が、データ分析、予測、セキュリティ、オートメーション向けのより強力なツールを通じて、日々の生活を変革しているため、イノベーションのスピードには減速する兆候が見られません。1

過去に生じた革命的なイノベーションの場合と同様に、このイノベーションが発展するにつれて、倫理的な利用とプライバシーの管理に関する議論が盛んになると想定されます。これまでに、AIが社会で利用されることにより、独自の一連の倫理的課題が生じました。これには、長年にわたって予想され、議論されてきた課題もあれば、注目され始めたばかりの課題もあります。

たとえば、学者やSF作家は同様に、高度に知的なマシンの倫理的な影響を長い間熟考してきました。しかし、自動意思決定ツールにおける社会的なバイアスや自動運転車による倫理的選択など、実際的な問題が表面化し始めたのはごく最近のことです。2, 5

過去20年間に、セキュリティコミュニティは、多くの技術的なメリットを得るために、AIと機械学習(ML)のパワーの活用を進めてきました。しかし、この進展の過程で、セキュリティ担当者は、メリットに比例するリスクと倫理的なジレンマへの対応を迫られました。サイバーセキュリティ向けのAIとMLの開発リーダーとして、BlackBerry Cylanceは、この議論において中心的な役割を果たし、これから先もAIの活用を進めていくことに情熱を注いでいます。この観点からも、当社はAIの技術的な進歩を慎重に監視し続ける一方で、リスク専門家の視点からAIの広範な社会的影響を観察することができています。 

当社は、サイバーリスクコミュニティとAI担当者が、社会全体とセキュリティプロトコルの両方に関して、AIの利用が人間に及ぼす影響を継続的に評価する責任を負っていると考えます。それと共に、当社は、すべてのAIベースの製品とシステムに、倫理的な考慮事項を組み込む方法を見出さなければなりません。

この記事では、AIについて初期の倫理的な側面の概要を示し、当社自体の業務およびその他のAI担当者に対する指針を提供します。

コンピューターベースの意思決定の倫理

AIの実際的な利用に対する懸念のほとんどは、一般に、マシンが与えられたタスクに失敗する可能性に関係しています。タスクがチェスのプレイである場合、失敗の影響は些細なものです。しかし、たとえば自動車を運転するタスクや、500人の乗客を載せたジャンボジェット機を操縦するタスクをAIに与えた場合、リスクは極めて大きくなります。

ある意味で、このような失敗のリスクは、運用のために人間による意思決定を必要とする既存のテクノロジーと変わりません。しかし、AIが意思決定を下す方法が複雑であり、透明性が欠如していると見なされており、その意思決定を予測し、理解することが比較的困難に思われるために、AIによって動作するシステムに対する懸念が増大します。また、このテクノロジーが比較的広く利用されるようになってから、まだあまり時間が経っていないこと、AI支援システムがどのように動作するかに関して人々の正確な理解が欠けていることも、追加の懸念要因となります。

人命に関わる結果をもたらす可能性があるコンピューター意思決定支援の新規性は、人々を不安にし、その不安のほとんどは、このようなシステムが倫理的な懸念事項のバランスを取る方法に関して生じます。以下に、実際の例を挙げて説明します。社会では、人間のミスや機械の故障が原因で生じる自動車事故に対して慣れが生じています。自動車事故固有の危険を減らすための規制や技術の改善にもかかわらず、現在、私たちは、運転の全体的なリスクの一部として、疑問を抱くことなく事故を受け入れています。他方で、AIの障害に起因する事故では、従来の人間のミスや機械の故障に起因する事故に比べて、はるかに人々の警戒心が高まります。

たとえば、無人自動車の事故によって歩行者が死亡したことが最初に確認され、大々的に報道された事例について検討してみましょう。4, 8 コンピューターは、自動車が歩行者に衝突しそうになっていると判断するのが遅すぎたようですが、衝突を回避するために車線を外れるように自動車を操縦することができたでしょうか?コンピューターは、歩行者の安全よりもドライバーの安全を優先したでしょうか?歩行者が2人いたとしたら、どうなったでしょうか?歩行者が子供だったら、どうなったでしょうか?コンピューターが2人の歩行者のいずれかと衝突するという選択に直面したとしたら、どうなったでしょうか?この瞬時の意思決定に直面した場合、人間のドライバーはAIベースのソフトウェアとはどのように異なる行動を取ったでしょうか?

この事故に対する警戒心の一部は、その原因が、その他の自律走行車や、もっと幅広いAI関連の活動に影響を及ぼすのではないかという不安にも起因しています。たとえば、道路条件によっては、いかなる人間もコンピューターシステムもこの事故を回避できなかった可能性があるでしょうか?これは、特定の運転システムのAIの欠陥だったのでしょうか、それともすべてのAIベースの運転システムの欠陥だったのでしょうか?自動運転車に関連するAIテクノロジーは非常に複雑であり、自動車の機械部品よりもテストすることが困難です。このテクノロジーをグローバルな規模で展開する前に、私たちはリスクを適切に定量化するために十分な情報を持っているでしょうか?

人命が失われたライオン・エア610便の墜落事故は、もう1つの教訓的な例です。この事故は、航空機のコンピューターシステムに機首を下げさせたセンサー機器のエラーに原因があったと見なされています。パイロットは、制御を失う前に、繰り返し機首を上げようとしたようです。9 この事故で、コンピューターが誤った意思決定を下し、パイロットから制御を奪ったことに対して、機器のみの故障よりも大きな懸念が生じました。たとえば、原因がエンジンの故障であったとしても被害は変わらなかったでしょうが、責任のある機関と障害に関して、異なる倫理的な考察がなされたでしょう。さらに、複雑なAIシステムの場合に比べて、機械の故障によって繰り返されている事故のリスクを定量化する方が容易であると推測されます。

このような例は、システムの最終利用者がリスクを適切に評価できるように、十分に透明性のある方法でAI利用システムを適切にテストし、構築することの重要性を明確に示しています。10 これが実際に何を意味するかは、多くの場合、AIが採用される目的次第です。

システムの複雑性、複雑性が失敗の確率の推定における不確実性を高める程度に加えて、特定のタスクの失敗に起因して被害が生じる可能性に、慎重に注意を払う必要があります。リスク専門家は、特定の環境におけるAIの利用状況に応じて、透明性と有効性、透明性とプライバシー、人間がAIを無効化する可能性とAIによる意思決定の全体的な有効性の間でトレードオフを検討する必要があります。

プライバシーと同意

近年のAIの急速な採用と普及によって、プライバシーに関する懸念も高まっています。AIシステムでは、トレーニングとテストの目的のために、ますます膨大なデータを取り込む必要が生じています。したがって、企業は、データが盗難される可能性がある大規模なデータベースを維持するだけでなく、データベースの価値を高めるために過剰な個人情報を積極的に収集しようとします。5, 10

また、これにより、データの所有者が初めに同意した範囲を超える方法で、データを利用しようとするインセンティブが生じます。実際、複雑なAIシステムでは、特定のデータが将来どのように利用されるかを事前に正確に確認することは困難な場合があります。5

プライバシーに対する懸念は、収集されるデータの全体的な急増と無期限の保存に関係しています。たとえば、モノのインターネット(IoT)などのサイバー/物理システムから排気のように出力されるデータの比率が増大しています。11, 12 この不安は、AIが大規模なデータセットから最高の価値を引き出し、匿名化されたと考えられていたデータを再特定できる固有なパターンを検出する機能が向上していることによって、急速に高まっています。

保護されているはずの大規模なデータセットを漏洩させるサイバー攻撃者の能力が高まることにより、懸念はさらに高まります。この傾向は、従来のシグネチャベースのセキュリティソリューションの効果が低下するに伴って生じます。

こうした懸念に対応するために、サイバーセキュリティとリスクのリーダーがAIの導入において組織を支援するときに考慮しなければならない新たな規定が、データプライバシー法に追加されています。これに関して、AI支援テクノロジーが企業全体の階層的な防御戦略の一環として導入され、正しく構成された場合、実際にプライバシーを向上させるために利用できることは朗報です。

他の分析ツールとは対照的に、多くの場合、AIは適切に匿名化されたデータを使用し、このデータから学習することに比較的適しています。ハッシュ機能は、機械学習システムをトレーニングするために使用されるデータを始めにハッシュアルゴリズム13, 14 を通じて改変するときに、非可逆的な変換を実行します。これによって、人間による分析に対してデータを無価値にする一方で、AIシステムがパターン検出のためにデータを引き続き読み取ることができるようにします。ハッシュ機能はデータの次元を減らすことによって、AIベースの分析の効率を高め、ハッシュ機能を使用しない場合よりも処理におけるプライバシーの保護を改善できます。 

バイアスと透明性

ここでは、倫理上の課題を再び取り上げます。AIシステムが、差別的または恣意的な意思決定(トレーニングのために限られたデータセットを使用することに起因する場合が多い)を通じて社会的不平等を悪化させる可能性も、最近の一般的な懸念要因となっています。4, 10 政府機関と裁判所で、刑の判決手続きや保釈の決定などの人生を左右する可能性がある決定を含む人間の意思決定を支援し、強化するためにAIベースシステムの利用が増大するにつれて、アルゴリズムまたはアルゴリズムで利用されるトレーニングデータを通じて、既存の社会的バイアスがAIベースのシステムに意図せずに組み込まれる可能性があることが明らかになりました。一部のAIシステムでは、客観性と科学的厳格性があるように見せかけて、恣意的または不公正な結果を隠蔽するために意図的なバイアスがかかっていることも明らかになってきています。

フロリダ州ブロワード郡で保釈の決定に使用されたAIベースのリスク評価スコアに関するPro Publicaの最近の調査は、以下のことを示しています10, 15, 16。リスクスコアと被告の後の行動を比較することによって、Pro Publicaは、スコアの信頼性がどれほど低いかだけでなく、アフリカ系アメリカ人に対してどれほどバイアスがかかっているかも示しました。このスコアでは、ヨーロッパ系アメリカ人の被告と偽ってフラグを付けた場合に比べて、2倍近い比率でアフリカ系アメリカ人の被告を将来の犯罪者として誤って評価しました。重要な点は、システムが人種について明示的に尋ねていなかったにもかかわらずこの評価が生じたことです。16

2013年に、米国移民税関捜査局(ICE)は、国外追放手続き中に米国国籍のない人の拘留または釈放の決定を支援するために、自動リスク評価ツールを全国的に利用し始めました。このツールは、当初事案の約0.6%のみで釈放を推奨していましたが17、2017年に、ICEは、すべての事案で拘留を推奨するようにツールを無断で修正しました。これは、2018年の拘留の決定に関するロイターの調査によって発覚しました。4, 18

このようなタイプの差別的および恣意的なAIの利用が生じるリスクは、取締りおよびその他の状況(教室や自動車など)でAIベースの顔認識ツールが普及するにつれて高まります。4 ACLUとU.C. Berkeleyの研究者の調査によると、Amazonの顔認識ソフトウェアは、28人の議員を逮捕歴があると誤って分類しました。さらに、誤検出の比率は、白人の議員では5%であったのに対して、白人以外の議員では40%でした。下位分野の感情認識では、さらに多くの懸念が生じています。4

上記の例から得られる明確な教訓の1つは、システムの購入、導入、監督を担当するエンドユーザーや管理者に対して、AIベースの意思決定システムの透明性を高めることの重要性です。アルゴリズムとトレーニングデータに関する情報は、要求に応じて検査のために提供すべきであり、システムは、その意思決定の根拠となる論理的パターンを客観的に記録し、表示することができるようにする必要があります。10

また、システムが利用され、システムによって収集および保存されるデータが増大したときに、初めてバイアスが組み込まれていることが判明する場合があるため、定期的な監査が明らかに重要です。このような監査では、セキュリティとリスクの専門家とAI担当者が、効果的な監督活動を実現し、支援するために、さまざまな知識分野を橋渡しする必要があります。

AIの悪意ある利用からの保護

最後に、セキュリティ専門家と公衆が同様に最も恐れる倫理的な懸念事項、すなわち悪意ある目的のためのAIの利用について取り上げます。この懸念の対象は、無害なAIシステムが悪意ある目的のために攻撃されることから、サイバー防御を打破するために攻撃者によってAIが戦略的に利用されることまで広がります。 

AIベースのシステム(さらにはそのシステムをトレーニングするデータ)へのアクセスを取得することにより、攻撃者は、悪意ある方法でその機能を変更できる可能性があります。自動車から心臓移植や送電網までのすべてがAIを利用し、ネットワークに接続される世界では、サイバー攻撃がますます致命的なものになります。また、AIがパーソナライズされたニュースやその他の情報の流れを決定している場合、悪意あるアクターは、大規模に政府とメディアに対する社会的な信頼を損なうことができます。これは、今日ではよくありがちなシナリオです。

強力な新しいテクノロジーの導入に関する人々の特に大きな懸念事項の1つは、パンドラの箱を一度開けると、その発明が人類の幸福を目的としているか、人類に害を及ぼすように設計されているかに関わらず、新しいテクノロジーを箱に戻す方法はないことです。いったん導入されたテクノロジーは社会にとどまり、社会に好影響または悪影響のいずれをもたらすかは、長期にわたって慎重な一貫したモニタリングを行うことによってのみ判断することができます。

現在、AIベースのセキュリティテクノロジーは、従来のテクノロジー(人間が生成するシグネチャを利用するアンチウイルス製品など)よりも効果的であることが信頼性の高い方法で証明されました。しかし、この最先端のテクノロジーは、セキュリティ担当者が利用できる限り、悪意のある人々も利用することができます。 

AIの悪意のある利用を防止するには、セキュリティ専門家がセキュリティの基礎に対して従来以上に真摯に取り組み、AIベースシステムのCIA、すなわち機密性、完全性、可用性を確保する必要があります。ここでも、この取り組みでは、今後の成長がオープンで説明責任の明確な方法によって実現するように、アルゴリズムとコードのレベルでAIアプリケーションに関する透明性の向上が要求されます。

また、リスク専門家は、運用上の障害、プライバシー、アルゴリズムのバイアスなど、上記のタイプの問題についてシステムを調査するときに、脅威アクターがその目的を達成するためにどのようにそのリスクを改変し、増幅するかを検討する必要があります。

セキュリティ専門家は、脅威アクターがその攻撃の効果を高めるために、独自のAIパーソナルアプリケーションを活用する方法を模索し続けていることにも注意する必要があります。DeepLockerのようなAIベースのサイバー攻撃の発生によって、従来のサイバーセキュリティ方式の信頼性がさらに損なわれ、AIを利用しない十分な防御を想像することが困難になります。 

AI主導のサイバーセキュリティのリスク

最初の蒸気自動車が、最高時速12マイルで道路をゆっくりと走っていた1980年代後半には、数十年後に新世代の自動車によって馬車が時代遅れになるとは誰も想像もしていなかったでしょう。

これとは対照的に、AIが世界中に普及し、生活のすべての側面に統合されるはるか前に、セキュリティ専門家は、従来のサイバーセキュリティソリューションがますます非効果的かつ時代遅れになることを認識していました。現在、自動攻撃の急増、マルウェアの作成と配信の進歩、多数のエンドポイントからなるクラウドコンピューティングとネットワークに依存してますます脆弱になる組織の攻撃対象領域などの課題が生じています。こうした課題に直面している状況で、過去数十年にわたってチェックされず、規制を受けていないことが多いテクノロジーセクターが成長することにより、グローバルに接続される企業の攻撃対象領域が指数的に拡大して、サイバーセキュリティの脆弱性がさらに増大する一方で、悪意あるアクターにますます強力なツールが提供されます。

幸い、ほとんどのセキュリティ担当者は、AI支援セキュリティによってAI主導のサイバー攻撃を最適に防御できることを認識し、この課題に対応するために自社の防御を継続的に更新しています。また、サイバーセキュリティのリーダー企業は、常に攻撃者の一歩先を進むために、自動システムの効果的なサイバーセキュリティがAIによって主導される必要があることを認識し、社内環境に導入するための実際のAIベースソリューションをセキュリティ担当者に提供しています。

したがって、AI採用のリスクを減らすには、AIベースのサイバーセキュリティの進歩に加えて、その利用を広く普及させるために多くの業界と政府セクターにわたるこのテクノロジーの拡大と採用が必要です。6 たとえば、AIベースのツールを利用して無害なコードや振る舞いを悪意あるものとして認識させるためにAIベースのサイバーセキュリティを操作する攻撃者は、セキュリティツールによって保護されているシステムに損害を与えるだけでなく、AIの社会的な評価も低下させます。言い換えれば、AIの未来をセキュアにするための実際的な最初のステップとして、初めにAIベースのサイバーセキュリティシステムとそのシステムで使用するトレーニングデータ自体を確実にセキュアにする必要があります。

AIのほとんどの倫理的な監視では、セキュリティエコシステム内の透明性が不可欠です。しかし、AIベースのサイバーセキュリティでは状況が異なり、透明性がソリューションの有効性とある程度競合することがあります。AIベースのサイバーセキュリティでは、コードをオープンにするメリットよりも、悪意あるアクターによって後に悪用されるリスクの方が重大である可能性があります。同様に、トレーニングデータとテストデータを提供する場合は、後述するように、データの公開に関して明らかにプライバシー上の問題が生じます。

サイバーセキュリティの有効性を支えるために、IT管理者と類似の業界ユーザーには、データへのアクセスの付与におけるリスクレベルに関して情報に基づく意思決定を下すために、セキュリティが実装され、テストされる方法に関する十分な情報を提供する必要があります。

倫理に基づくサイバーセキュリティ組織の構築

AIベースのサイバーセキュリティテクノロジーが非倫理的な意思決定を下すリスクは、AIが悪意ある実際の活動を分類するために利用される場合のリスクほど大きくならないと見込まれます(後者のリスクは、たとえば個人データと公開データに基づいて人々を分類するために設計され、議論の的となっている実験的な社会信用システムを通じて、現在、中国で生じています)。23 しかし、AIベースのサイバーセキュリティは、差別的または恣意的な方法で(最も重要な点は個人自身が十分に理解できない方法で)、コンピューターシステムから個人やグループを排除する可能性があります。

したがって、この点に関して他のAIベースシステムに適用されるものと同じ教訓が、AIベースのサイバーセキュリティにも適用されます。これは、完全な透明性を備えていないシステムでは、意図しない欠陥や濫用が生じうるという教訓です。一方、AIベースのサイバーセキュリティは、他のAIベースの意思決定システムのセキュリティを高めることにより、悪意のある攻撃から保護することもできます。

AI主導のサイバーセキュリティは、個人と企業の両方のプライバシーを高めるために利用できますが、そのシステムの開発者は、十分な説明に基づく同意なしでデータを収集し、使用しようとする誘惑に駆られます。そのため、組織的および技術的な対策によって、常に不正行為の誘惑に対抗しなければなりません。AIシステムには自己学習機能があるため、AIによって差別的または恣意的な意思決定が下されるリスクは常に存在します。したがって、個人とグループがシステムの利用やプライバシーの保護から排除されないように、常に人間による定期的な監査が必要です。

最後に、当社が推奨する行動は明確です。AIは社会とセキュリティにおいて重要かつ有益な役割を果たしますが、実際にAIを導入する場合、導入する者は細部にまで慎重に注意を払う必要があり、AIを開発し、供給する者は、オープン性と透明性の間で慎重にバランスを取る必要があります。AI主導のセキュリティは、階層的な防御戦略の一環として、サイバー攻撃を極めて効果的に防御することができますが、ユーザーと管理者が受入可能なリスクレベルに関して情報に基づく意思決定を下すことができるように、システムとトレーニングデータの十分な透明性を確保するために、常に注意を払う必要があります。

本書で概要を示したほとんどの要点は技術的な指針ですが、効果的に実施するためには、説明責任の明確な組織構造と倫理を重視する組織文化を形成しなければなりません。

AI宣言の次のパートでは、組織がサイバーリスク評価と攻撃に対する全体的な防御の改善について説明責任を負うための方法を検討します。

参照資料: 

[1] M. Harkins 著「The Promises and Perils of Emerging Technologies for Cybersecurity: Statement of Malcolm Harkins,」、2017年

[2] 「The AI Now Report: The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term」、2016年

[3] A. Campolo, M. Sanfilippo, M. Whittaker, and K. Crawford 著「AI Now 2017 Report」、2017年

[4] M. Whittaker, K. Crawford, R. Dobbe, G. Fried, E. Kaziunas, V. Mathur, S. M. West, R. Ricardson, J. Schultz, and O. Schwartz 著「AI Now Report 2018」、2018年

[5] I. A. Foundation「Artificial Intelligence, Ethics and Enhanced Data Stewardship」、2017年

[6] サイランス「The Artificial Intelligence Revolution in Cybersecurity: How Prevention Achieves Superior ROI and Efficacy」、2018年

[7] サイランスデータサイエンスチーム「Introduction to Artificial Intelligence for Security Professionals.」サイランス、2017年

[8] A. Smith 著「Franken-algorithms: the deadly consequences of unpredictable code」、The Guardian、2018年8月30日

[9] J. Glanz, M. Suhartono, and H. Beech」、2009年2月In Indonesia Lion Air Crash, Black Box Data Reveal Pilots’ Struggle to Regain Control」、The New York Times、2018年11月27日

[10] Committee on Oversight and Government Reform「Rise of the Machines」、Washington, D.C., 2018.

[11] U.N. Global Pulse「Big Data for Development: Challenges & Opportunities」、2012年

[12] O. Tene および J. Polonetsky 著「Big Data for All: Privacy and User Control in the Age of Analytics」、Northwest.J. Technol.Intellect.Prop.、vol. 11、p. xxvii、2012年

[13] K. Weinberger、A. Dasgupta、J. Attenberg, J. Langford、A. Smola 著「Feature Hashing for Large Scale Multitask Learning」、2009年2月

[14] J. Attenberg、K. Weinberger、A. Smola、A. Dasguptaa、and M. Zinkevich 著「Collaborative spam filtering with the hashing trick」、Virus Bulletin、2009年11月

[15] J. Angwin、J. Larson、S. Mattu、L. Kirchner 著「Machine Bias」、Pro Publica、2016年5月

[16] J. Larson、S. Mattu、L. Kirchner、J. Angwin 著「How We Analyzed the COMPAS Recidivism Algorithm」、2016年

[17] M. Nofferi and R. Koulish 著「The Immigration Detention Risk Assessment」、Georget.Immgr.Law J.、vol. 29、2014年

[18] M. Rosenberg および R. Levinson 著「Trump’s catch-and-detain policy snares many who call the U.S. home」、Reuters、2018年6月20日

[19] 米国政府「AI, Automation and the Economy」、2016年12月

[20] D. Acemoglu および P. Restrepo 著「The Race between Man and Machine: Implications of Technology for Growth, Factor Shares, and Employment」、Am. Econ.Rev.、vol. 108、no. 6、pp. 1488–1542、2018年6月20日

[21] M. Harkins 著「Managing Risk and Information Security,」、Second.Aspen、2016年

[22] M. C. Gentile 著「Giving Voice to Values」、Stanford Soc.Innov.Rev.、2018年

[23] Rogier Creemers 著(中国法の翻訳を利用)「Planning Outline for the Establishment of a Social Credit System (2014-2020)」、2015年

Tags: