ソフトハイフン（U+00AD）：見えないハイフン

ソフトハイフン（U+00AD、HTMLでは ­ と書く）は、見えないように設計された唯一のハイフンです。行の折り返しが必要になったとき単語をどこで分けてよいかをレンダラーに伝える — 読むための文字ではなく、組版上のヒントです。その地点で折り返しが起これば行末に本当のハイフンが現れ、起きなければ文字はまったく目に見える空間を占有しません。新聞・書籍・長文組版はこの発想を1世紀使っており、Unicodeはファイルがテキストとともにヒントを運べるようコードポイントを与えました。

ウェブとデータの世界では、この不可視性こそが問題です。ソフトハイフンはスペースではないので奇妙な隙間として現れず、ハイフンでもないので「-」の検索では見つからず、対応するキーが存在しないので検索置換ボックスに入力できません。PDFからコピーしたテキストが古典的な供給源です。PDF生成器は改行を制御するため単語の中に任意ハイフンを散らばらせ、コピーするとそれらが一緒についてきます。だからPDFから貼り付けた一節が、手で打った同じ一節と一致しないことがあるのです。ワープロからデータベースの欄、スプレッドシートのセル、検索ボックスへ移ったテキストにも同じことが起こります。

被害は具体的で、見過ごしやすいものです。「infor­mation」を含む検索インデックスは「information」というクエリに一致しません。非ASCIIバイトを拒むユーザー名バリデータは、ユーザーが見えなくてもソフトハイフンを拒みます。文字数カウントはそれを数えます。コードエディターは文字列中の不正な文字として旗を掲げ、時には何も悪く見えない桁を指すエラーメッセージを出します。解決は文字の除去です。このサイトのハイフン除去ツールは U+00AD をコードポイントで照合し、残されたスペースの後始末もして削除します。どのキーボードも作れない文字を取り除くには、これが唯一の確実な方法です。