人とAIが協調するHuman-in-the-Loopへ

人が手軽に使える道具としてAIが加わりました。これから人とAIが協調する HITL：Human-in-the-Loop によって、あらゆる分野で取り込まれていくと思います。

HITL :Human-in-the-Loop

AIも身近な存在となりますが、適切に利用することが必要です。例えば漢字予測変換を想像してみて下さい、意図したものではない候補、おかしな候補もあります。依然として人が取捨選択することを求められます。これは ChatGPT であっても変わりません。

HITL :Human in the loop はAIと人間の相互作用を必要とするモデルとして定義されています。AI は一連の学習を動的に更新するように構築されており、この複雑さと予測不可能性のためにユーザーとシステム間をダイナミクスな関係に変える必要があります。

信頼と人工知能 日本語抄訳

例えば、運営しているブログサイトの、WordPressテーマに不具合があり、ChatGPTにカスタムCSSを作成してもらい修正を行いました。
CSSを忘れているのでChatGPTに教えてもらいつつ、作業の短縮に繋がりました。

このように、「ChatGPTに説明を求め、課題を要求する。」これを繰り返すと、大抵のことはできます。

HITLの基本原則 – 人間参加型の機械学習

人間参加型の機械学習は、AI を使用するアプリケーションで人間と機械の知能を組み合わせるための一連の戦略です。一般的な目標は以下のことを 1 つ以上を実現することです。

  • 機械学習モデルの精度を高める
  • 機械学習モデルの目標精度をより早く達成する
  • 人間と機械の知能を組み合わせて精度を最大化する
  • 機械学習を利用し人間のタスクを支援し、効率を高める

Human-in-the-Loop Machine Learning: Active learning and annotation for human-centered AI
Robert (Munro) Monarch (著)

https://www.manning.com/books/human-in-the-loop-machine-learning

Human-in-the-Loop は、マシンラーニングによって学習した知識では人間の専門知識には勝てないため、今後の研究においてますます重要になると考えられる分野です。
マシンラーニングは、コンピュータ画像、自然言語処理、音声処理タスクなど、多くのタスクで最先端の技術となっています。その一方 で、マシンラーニングがもたらす特有の課題から、ユーザーの知識をシステムに組み込むことが有益であることが示唆されています。人間の専門知識を統合する目的は、マシンラーニングの自動化を促進することになります。
つまり、Human-in-the-Loop は、人間の知識や経験を統合することで、最小限のコストで正確な予測モデルを訓練することです。
コンピュータにとって困難なタスクを達成するには、マシンラーニング・アプリケーションのためのトレーニングデータを提供し、人間の助けを借りてアプローチします。

Human–in–the–Loop ベースの推論フレームワーク 人為的な障害の原因を特定するための体系的なアプローチ、システム設計者がシステムを構築する前に問題領域を特定し、プロアクティブに欠陥に対処することを支援する。

ここでは、Human-in-the-Loop に関する既存の研究をデータの観点から調査し、(1)データ処理からモデル性能を向上させる作業、(2)介入的なモデル学習によりモデル性能を向上させる作業、(3)Human-in-the-Loopに依存しないシステムの設計、の3つに分類される。
これらには、技術的な長所／短所とともに、自然言語処理、コンピュータ画像、さらに未解決の課題も考察し、効果的なHuman-in-the-Loopソリューションを設計するための主要なアプローチを整理する。

A Survey of Human-in-the-loop for Machine Learning arXiv:2108.00941 [cs.LG]
Open AI – ChatGPT に脆弱性診断をやらせてみた。
Microsoft – Bingに脆弱性診断をやらせてみた。
Google – Bardに脆弱性診断をやらせてみた。

AIアバターが、コンサルや弁護士やコメンテーターやアナウンサーを行う時代へ

そして、The Virtual Life によって、好きな人のAIクローンと暮らせる時代がやってくる。

人が残された領域は、AIアバターと既存の仕組みを組み合わせ、社会に貢献する事だと思います。

GPTs

GPTsとは、特定の目的のために作成できる ChatGPT のカスタム バージョン。
これまで、多くのパワー ユーザーは、ChatGPTを特定の目的に合わせて、プロンプトと命令セットのリストを管理し、それらを手動で ChatGPT にコピーしてきましたが、その全てをGPTが行うようになりました。

OpenAI DevDay, Opening Keynote

Introducing GPTs

先日、日本ハッカー協会の杉浦氏とGPTsを用いて私が作成した ISO Guardian についてお話しする機会がありました。

GPTs で ISO Guardian を作成してみた
GPTs で Zero-Trust Security Consultant を作成してみた

このような生成AIのリスクとは、知見の無い分野ではAIの誤りに気づくことができず、間違った方向に加速度的に進んでしまうことです。

つまり、その分野の経験豊富な専門家は加速度的に生産性を上げることが可能です。

これは、能力格差の拡大を意味していると感じます。よってAIは、仕事を奪うどころか専門家がより必要になると思います。

HITL活用例

人とAIが協調する社会に向けたサービスデザイン

AI-by-Designのアプローチから、ChatGPTによる人とAIのコミュニケーションが進化して、独立した人格を持たせ学習することで Human-in-the-Loop で活用可能なものが増えつつあります。

いつの日か、AIによって キズナアイ も復活するかもしれません。

GPTs初号機 サイバーセキュリティ アナリスト

名前は皆様の道を照らす「レイ」と名づけました。 趣味は機械いじり、好きな食べ物はハンバーガーです。

GPTs零号機 ゼロトラストセキュリティコンサルタント

名前はご縁を大事にする「ゆかり」と名づけました。 趣味は読書、特に料理をすることが好きです。

GPTs弍号機 ISO Guardian

名前はサイバー脅威から「まもる」と名づけました。 趣味はガンプラ、好きな食べ物は九州ラーメンです。

AIによるプログラミング

プログラミング コンテスト codeforces.com の模擬評価で上位 54.3% にランクインしたコード生成システムAlphaCodeが、DeepMindよりリリースされました。

AlphaCodeは、クリティカル シンキング、ロジック、アルゴリズム、コーディング、自然言語理解を組み合わせた問題を解決することにより、プログラミング コンテストの参加者の上位 54% 以内にランクインしたと推定されています。

ALARM（Analyst-in-the-Loop Anomaly Reasoning and Management）

SOCやEDRで用いられている、異常検知の全サイクルを扱うために設計されたフレームワークです。自律型異常検出システムが実世界のシナリオで使用されることはほとんどなく。その理由は、異常値検出が十分に仕様化されていない問題であり、統計的外れ値が必ずしも意味的に関連するとは限らないからです。

このシステムは、監視されていない異常の検出、これらの異常の説明提供、そして人間と連携したプロセスのためのインタラクティブなGUIを含んでいます。ユーザーはこのGUIを通じて異常を視覚的に探索し、その性質を理解し、新しい検出ルールの設計などの行動を取ることができます。

From Explanation to Action: An End-to-End Human-in-the-loop Framework for Anomaly Reasoning and Management
arXiv:2304.03368v1 [cs.LG] 6 Apr 2023

Advancing TTP Analysis: Harnessing the Power of Encoder-Only and Decoder-Only Language Models with Retrieval Augmented Generation

大規模言語モデル (LLM) の進歩により、サイバーセキュリティ運用において、エンコーダ専用 (例: RoBERTa) およびデコーダ専用 (例: GPT-3.5) の LLM が TTP を要約し、サイバー攻撃手順の意図された目的 (つまり戦術) をアナリストに知らせます。

MITRE ATT&CK フレームワークにおける TTP の解釈は、推定される専門知識、複雑な依存関係、および固有のあいまいさに対して、デコーダ専用 LLM の各サイバー攻撃手順に関連するコンテキストを (微調整なしで) 抽出するために、検索拡張生成 (RAG) 技術の使用を提案します。さらに、このようなアプローチをエンコーダ専用 LLM の教師あり微調整 (SFT) と対比します。

最先端の LLM は、不正確な情報を提供することで幻覚を起こしやすいことがわかっておりますが、RAG をデコーダ専用 LLM に使用すると、特に直接関連するコンテキストが見つかった場合に、大幅な改善が見られます。

Advancing TTP Analysis: Harnessing the Power of Encoder-Only and Decoder-Only Language Models with Retrieval Augmented Generation arXiv:2401.00280 [cs.CR]

Open artificial intelligence platforms in nursing education: Tools for academic progress or abuse?

ELSEVIERの学術文献に、ChatGPTと共著のEditorialが掲載されました。

タイトル “看護教育におけるオープンな人工知能プラットフォーム。学問の進歩のためのツールか、それとも悪用か？”

投稿者: 二本松 哲也

SPbD:Security&Privacy by Design Founder ー OWASP Member ー ITは人々の生活をあらゆる面でより良い方向に変化させること ー 競争原理から共創原理へ