Unicodeハイフン（‐）: キーボードにないハイフン

Unicodeハイフン（‐、U+2010）は、組版担当者が「ハイフン」と言うときに指す文字です。キーボードにはありません。ゼロの上のキーが作るのはハイフンマイナス、U+002D — 初期の計算機でハイフンとマイナスを1つの字形で兼ねる必要があったASCIIから受け継いだ妥協の文字です。U+2010ははるかに後になって、Unicodeがハイフンに固有のコードポイントを与えたときに追加され、DTPソフト、PDF生成器、プロの組版システムは正確を期すときにこれを使います。読者には2つは区別できません。パーサーには完全に別の文字です。

トラブルはこの溝の中に住んでいます。PDF、InDesign書き出し、PDF由来のWebページからコピーしたハイフンはしばしば U+2010 で、その後ASCIIを期待する場所へ流れ込みます。文字・数字・素のハイフンしか許さないユーザー名欄、非ASCIIバイトを拒むCSV取り込み、「well‐known」と「well-known」が別の文字列になる検索インデックス、見た目が同じ2つの製品コードを別々と報告する重複チェック。探しているのがキーボードのハイフンであるかぎり、検索置換にはこの文字は見えません。探したい文字そのものを打てないからです。

対処は正規化です。各 U+2010 を素のハイフンに置き換えて見た目を保ったままASCII安全にするか、テキストの行き先がそれをノイズとして扱うならハイフンごと削除します。このサイトのハイフン除去ツールはコードポイントでハイフン族の全メンバー — U+002D、U+2010、U+2011、見えないソフトハイフン — を検出し、それぞれをスペースに開きます。全ダッシュ除去ツールは削除し、ダッシュ記号リファレンスは手持ちの文字がどの変種か教えてくれます。