生成AI 【総集編】生成AIを仕事で使う前に、作る側でなくても知っておきたい4つのこと
生成AIを使ったシステムは、作る人だけのものではありません。発注する人、導入を決める人、日々使う人にも、最低限の知識が必要です。 知らないままだと、ベンダーの説明が正しいか確かめられず、リスクにも気づけません。 この記事では、OWASP（W...
生成AI 生成AI 【詳細①】生成AIはなぜ嘘をつくのか：ハルシネーションと情報漏えいの基礎
ハルシネーションとは ハルシネーションとは、生成AIが、正しそうに見える嘘の情報・作り話を出力することです。 OWASPは、AIが学習データの隙間を、統計的なパターンで埋めるために起きると説明しています。内容を本当に理解しているわけではない...
生成AI 【詳細②】RAGとは何か：「資料を調べて答えるAI」の仕組みと注意点
RAGとは RAG（ラグ）は、Retrieval-Augmented Generation（検索で補強した文章生成）の略です。 AIが、答える前に外部の資料から関連する部分を探し、それを参考にして答えを作る仕組みです。社内の規程やマニュアル...
生成AI 【詳細③】AIならではの攻撃：プロンプトインジェクションを中心に
プロンプトインジェクションとは プロンプトインジェクションとは、AIへの入力に細工をして、AIの動作や出力を作り手の意図しないものに変える攻撃です。OWASPは、LLMアプリの最大のリスクとして、これを第1位に挙げています 。 OWASPの...
生成AI 【詳細④】AIの「良し悪し」をどう測るか：評価（テスト）の基本
「なんとなく良さそう」では判断できない AIの出力は、毎回少しずつ違います。「何度か試したらうまくいった」では、本番で通用するかわかりません。 そこで必要になるのが、評価（eval、エバル）です。決まった問題とチェック基準を用意して、AIの...
データ 【詳細③】文字化けはなぜ起きるのか：CSVとExcelの問題を中心に
文字化けが起きる、基本のパターン W3Cは、文字コードが分からないと、データの内容が読めなくなるだけでなく、検索エンジンで見つからなかったり機械が正しく処理できなかったりすると説明しています 。 文字化けが起きる基本のパターンは、「保存した...
データ 【詳細②】日本語の文字コード：Shift_JIS・EUC-JP・ISO-2022-JPの現在地
日本語の「昔の文字コード」は今も残っている WHATWGの標準は、Webのブラウザが対応している文字コードを一覧にしています。 その中には、日本語用の昔の文字コードとして次の3つが含まれています 。EUC-JPISO-2022-JP（主にメ...
データ 【詳細①】文字コードとは何か：文字・番号・バイトの関係と、UTF-8
文字、番号、バイト：3つの段階 W3Cの解説によると、文字コードの話は次の3つの段階に分けると理解しやすくなります 。文字：「á」「請」「ह」のような、ひとつひとつの文字。必要な文字をまとめたものを「文字集合」というコードポイント：文字集合...
データ 【総集編】文字化けの正体：文字コードの基礎と、日本語環境で気をつけること
CSVをExcelで開いたら、文字がめちゃくちゃになった。 取り込んだデータの一部が「？」に変わっていた。 こうした「文字化け」は、現場でとてもよく起きる問題です。 原因は、ほとんどの場合「文字コード」のズレです。 この記事では、W3C（W...
契約 【詳細③】発注・納品・運用で起きること：申告、部品表、保守
実際に起きたライセンスの係争 経済産業省の事例集は、係争の例を挙げています。 2017年3月、ある会社が開発した航空機内エンターテインメントのソフトウェアについて、競合する会社から、ライセンス違反だとしてニューヨークの連邦裁判所に提訴されま...