The Huawei Backdoor Conspiracy
Huaweiが政府のソフトウェアシステムにバックドアを作成したという告発
2021年08月16日 GIGAZINE
アメリカ・カリフォルニア州に本拠を置くソフトウェア会社・Business Efficiency Solutions(BES)が2016年にパキスタンの警察が主導するプロジェクトにおいてHuaweiと提携したところ、企業秘密を盗まれたとして、2021年8月11日(水)に訴訟を起こしました。
申し立ての中でBESは、Huaweiがソフトウェアシステムにバックドアを作成したことも主張しています。
https://gigazine.net/news/20210816-huawei-back-door-pakistan-project/
朝日新書 人類滅亡2つのシナリオ―AIと遺伝子操作が悪用された未来
【目次】
はじめに
第1章 AIによる滅亡シナリオ
第2章 ゲノム編集による滅亡シナリオ
『人類滅亡2つのシナリオ―AIと遺伝子操作が悪用された未来』
小川和也／著 朝日新書 2023年発行
画期的なテクノロジーほど、暗転したときのリスクは大きい。特にAIとゲノム編集技術は強力で、取扱いを誤れば、人類に破滅をもたらす因子となりうる。「制度設計の不備」と「科学への欲望」がもたらす、人類最悪のシナリオとは。
はじめに より
人工的な知能と、生命を操るテクノロジー。いま人類は、知能と生命という、自らを形成する最も重要な2つに関する技術を手にし、熱心に育てている。
人工的な知能である「人工知能（AI：Artificial Intelligence）」は、人間の知能のような動作をするコンピュータシステムを指すことが多いが、能力の著しい拡張により、定義も一定ではない。突発的な出来事にも臨機応変に対応できる能力、さらには人間を超える知能を視野に、研究開発が進む。
もう1つの技術「ゲノムテクノロジー」は、膨大な遺伝子情報「ゲノム」を解析し、意図通りに書き換える、いわば遺伝子を操る技術である。病気の治療から食糧危機まで、地球上の多くの課題の解決策になるため、AI同様に熱視線が注がれている。人間の能力を拡張したり、遺伝子操作された人間を生み出す手段にもなり得るこの技術により、2018年には世界初のゲノム編集ヘビーが誕生し、論議を呼んだ。
第3章 科学と影のメカニズム より
影は兵器だけではなく、すぐそばにも
人類が扱いに手を焼いてきた技術は、原子力や兵器だけではない。身近なインターネット技術も同様だ。
政治、経済、医療、教育など、社会や生活の隅々まで浸透し、もはや世界的に不可欠なインフラとなったインターネットだが、その依存度を逆手にとって悪用しようとするサイバー犯罪が大きな問題になっている。フィッシング、ワンクリック詐欺、マルウェア（コンピュータ・ウイルス等）、ランサムウェア（不正プログラム）、有害情報など、金儲けや攻撃の手段として、悪意ある人間強力な武器となっている。対策を講じても、穴を見つけ出したり、それを上回るハッキング技術を駆使するため、その脅威から完全に保護されることはいまだできていない。サイバー空間における犯罪は極めて深刻な情勢となっている。
このように、技術が画期的であればあるほど、人類はその扱いに難儀する。先述した人工知能やゲノム編集技術においても、当然こうした状況は付きまとう。
インターネットのように人工知能が広範囲で利用されるようになるにつれ、サイバー犯罪のターゲットになる。フィッシングやマルウェアによる犯罪が人工知能によって高度化、自動化され、悪質度は増す。メール内のリンクをクリックさせて個人情報を盗用したり、添付ファイルを経由でマルウェアをインストールさせてデータを破壊するなどの犯罪でも、ChatGPTを活用することにより巧みな文章で騙す能力が上がり、巧妙な人工知能製のフェイク画像でなりすましも容易（たやす）くなる。
また、ゲノム編集技術についても、サイバー犯罪の延長戦に置かれかねない。人間のゲノムが完全に解読され、遺伝子が情報になると、それはまさしくデータである。遺伝情報にアクセスして盗み出したり、遺伝情報を悪意を持って改変し、人体に悪影響を及ぼす犯罪も考えられる。動物のゲノム編集食品が市場に広く出回るようになれば、悪意は、食品を操作し食べた人に危害を加えるテロに向かう可能性もある。科学技術の影は、兵器だけではなく身近なところでも作られるのだ。
データポイズニング―― AIに毒を盛る
歴史の浅いAIの分野でも、「悪用」されるリスクについては、既に研究者たちが警鐘を鳴らしてきた。悪用の1例が、AIの学習のための「訓練データ」に”毒”を仕込み、学ばせることで、AIの誤作動を誘発させるサイバー攻撃である。その毒とは、「悪意ある改ざん」であり「意図的に混入された誤情報」だ。こうした攻撃は「データポイズ二ング（data poisoning）と呼ばれ、悪意ある攻撃者がデータセットを操作し、機械学習モデルに誤ったデータをもとに学習させる。これによって、AIに”意図的に”誤った判断を下させることができてしまうのだ。
米Google、ETH Zurich、NVIDIA、Robust Intelligenceに所属する研究者たちが2023年2月に発表した論文「Poisoning Web-Scale Training Datasets is Practical」は、この悪意ある改ざんに対する脆弱性を明らかにした。
この改ざんは、AIモデルが膨大なデータからパターンを学ぶ性質を利用している。入力したデータに対してコンピュータがパターンを発見したり、判断した結果を出力する機械学習モデルの学習用データセットでは、その多くがインターネットの世界を徘徊して無差別に集めた大量のデータが使われている。しかし、これらの収集データの信頼性は保証されておらず、データの品質を保証するには手作業でデータを集めてチェックする必要があるが、データが膨大な量になるほど、その保証は現実的ではなくなる。
そうなると、ネット上に撒かれた悪意あるデータや、攻撃対象の訓練済みモデルが誤った推論をするように攻撃者が悪意を持って加工したデータを、学習用の素材として取り込んでしまう隙が生まれる。
そして、少量の毒によってデータのごく一部に細工を加えただけだとしても、機械学習モデルに悪影響を与えられる。バックドア（内部から外部へ通信するための裏口）が設置されることで、悪意を持った者がそこへ継続的に侵入し、毒を盛り続けることができる。
”毒”によって誤った学習をしてしまった結果、人種差別や性差別などの偏見を助長させることや、攻撃者の意図通りに有害な行動を引き起こすことも可能となる。攻撃対象が、国家や社会インフラとなれば、被害も甚大になる。毒は簡単に盛ることができ、毒の量次第では社会を混乱に陥れる。
研究チームは警鐘を鳴らすとともにデータポイズニングを防ぐための策を提案しているが、システムが複雑になればなるほど、そのシステムにおける脆弱性のマネジメントは難しくなる。そこに毒を盛ろうとする悪意が消滅しない限り、いたちごっこが続くだろう。
