データ 【詳細③】文字化けはなぜ起きるのか：CSVとExcelの問題を中心に
文字化けが起きる、基本のパターン W3Cは、文字コードが分からないと、データの内容が読めなくなるだけでなく、検索エンジンで見つからなかったり機械が正しく処理できなかったりすると説明しています 。 文字化けが起きる基本のパターンは、「保存した...
データ
データ データ 【詳細②】日本語の文字コード：Shift_JIS・EUC-JP・ISO-2022-JPの現在地
日本語の「昔の文字コード」は今も残っている WHATWGの標準は、Webのブラウザが対応している文字コードを一覧にしています。 その中には、日本語用の昔の文字コードとして次の3つが含まれています 。EUC-JPISO-2022-JP（主にメ...
データ 【詳細①】文字コードとは何か：文字・番号・バイトの関係と、UTF-8
文字、番号、バイト：3つの段階 W3Cの解説によると、文字コードの話は次の3つの段階に分けると理解しやすくなります 。文字：「á」「請」「ह」のような、ひとつひとつの文字。必要な文字をまとめたものを「文字集合」というコードポイント：文字集合...
データ 【総集編】文字化けの正体：文字コードの基礎と、日本語環境で気をつけること
CSVをExcelで開いたら、文字がめちゃくちゃになった。 取り込んだデータの一部が「？」に変わっていた。 こうした「文字化け」は、現場でとてもよく起きる問題です。 原因は、ほとんどの場合「文字コード」のズレです。 この記事では、W3C（W...
データ 【詳細④】YAML・TOML・XML：設定と文書のためのデータ形式
YAML：人が読みやすいデータの書き方 YAML 1.2.2の仕様は、YAMLを「人が読みやすく、どのプログラミング言語でも扱えて、世界中の文字に対応した、データの書き方」と説明しています。 名前は「YAML Ain't Markup La...
データ 【詳細③】CSV：いちばん身近で、いちばん曖昧な形式
CSVには「正式な仕様」がない CSVは、表計算ソフトの間でデータをやり取りする方法として、長く使われてきました。 ところが、CSVについて解説したRFC 4180自身が、「これまで正式に文書にされたことがなく、単一の正式な仕様もない」と認...
データ 【詳細②】JSON：システム同士の共通語を、仕様書で正確に理解する
JSONとは JSONは、データを「名前と値のペア」として書く形式です。 仕様書（RFC 8259）は、軽くて、文字だけで書けて、特定のプログラミング言語に依存しない、データ交換用の形式だと説明しています 。 インターネットの標準として正式...
データ 【詳細①】Markdown：「公式の仕様」がない書き方を理解する
Markdownとは何か Markdownは、「# 見出し」や「- 箇条書き」のような記号を使って、文章の構造を書く方法です。 書いた文章は、Webページの形式（HTML）に変換して表示できます。 CommonMarkという仕様は、Mark...
データ 【総集編】Markdown・JSON・CSV…「データ形式」の違いを一気に整理
「.md」「.json」「.csv」といったファイルの種類を、目にしたことはあるでしょう。 でも「何が違うのか」「誰がそのルールを決めているのか」までは、意外と知られていません。 この記事では、ルールを定めている団体の公式資料だけを根拠に、...