AIセキュリティ

生成AI

【総集編】生成AIを仕事で使う前に、作る側でなくても知っておきたい4つのこと

生成AIを使ったシステムは、作る人だけのものではありません。発注する人、導入を決める人、日々使う人にも、最低限の知識が必要です。 知らないままだと、ベンダーの説明が正しいか確かめられず、リスクにも気づけません。 この記事では、OWASP(W...
生成AI

【詳細①】生成AIはなぜ嘘をつくのか:ハルシネーションと情報漏えいの基礎

ハルシネーションとは ハルシネーションとは、生成AIが、正しそうに見える嘘の情報・作り話を出力することです。 OWASPは、AIが学習データの隙間を、統計的なパターンで埋めるために起きると説明しています。内容を本当に理解しているわけではない...
生成AI

【詳細②】RAGとは何か:「資料を調べて答えるAI」の仕組みと注意点

RAGとは RAG(ラグ)は、Retrieval-Augmented Generation(検索で補強した文章生成)の略です。 AIが、答える前に外部の資料から関連する部分を探し、それを参考にして答えを作る仕組みです。社内の規程やマニュアル...
生成AI

【詳細③】AIならではの攻撃:プロンプトインジェクションを中心に

プロンプトインジェクションとは プロンプトインジェクションとは、AIへの入力に細工をして、AIの動作や出力を作り手の意図しないものに変える攻撃です。OWASPは、LLMアプリの最大のリスクとして、これを第1位に挙げています 。 OWASPの...
生成AI

【詳細④】AIの「良し悪し」をどう測るか:評価(テスト)の基本

「なんとなく良さそう」では判断できない AIの出力は、毎回少しずつ違います。「何度か試したらうまくいった」では、本番で通用するかわかりません。 そこで必要になるのが、評価(eval、エバル)です。決まった問題とチェック基準を用意して、AIの...