PDFの書き出し
圧倒的に最多の原因です。PDFライターは元文書の改行位置をU+00ADとしてテキスト層に焼き込むため、PDFからコピーした段落はレイアウトのあらゆる分綴位置にそれを抱えています。
無料 · プライベート · 登録不要
ソフトハイフンは何も表示されない本物の文字です。テキストを貼り付けて一度押すだけで全て消えます — 他の文字は一切動きません。
ソフトハイフン(U+00AD)は、レイアウトエンジンが単語を折り返してよい位置を示すハイフンで、それ以外では何も描画されません。ブラウザやワープロは、行末で単語を折り返す必要があると判断したときにだけ表示するため、画面上では「software」と「software」は同じに見え、機械にとっては別の文字列です。この文字はウェブより古く、組版担当者が手動で良い分綴位置を示すために使っており、HTMLは ­ として引き継ぎました。
この不可視性こそ、コピー&ペーストを生き延びる理由です。PDFを書き出すと、元文書のあらゆる改行位置にソフトハイフンがテキスト層に埋め込まれるのが普通で、PDFから段落をコピーすると、リーダーはピクセルではなく文字を取り込みます。戻ってくるのは、見た目は完璧なのに動作の悪い文です。「software」を検索しても何も見つからない、CMSが保存したタイトルを自サイトの検索が見つけられない、重複チェックが見た目は同じなのに一致しない2件を報告する、バリデータやインポートが誰にも見えない文字を理由にフィールドを拒否する。
このツールが取り除くのは、正確にこの1文字だけです。本物のハイフン、エンダッシュ、エムダッシュは触れません。同様に、目に見え通常は意図的に使われる改行しないハイフン(U+2011)もそのままです。残った単語は修復済みです。ソフトハイフンが挟まっていた文字は同じ位置に同じ文字が残るので、打ち直しは不要です。上のカウンターは、何かが変わる前にいくつ見つけたかを示します。見えるハイフンを期待していたテキストで「0」と出たら、それ自体が答えです。探している文字はダッシュチェッカーのリストの別の場所にあります。
キーボードからではなく、文書と一緒にやってきます。
圧倒的に最多の原因です。PDFライターは元文書の改行位置をU+00ADとしてテキスト層に焼き込むため、PDFからコピーした段落はレイアウトのあらゆる分綴位置にそれを抱えています。
ウェブページは、長い単語が狭い列を生き延びられるよう ­ を使います。レスポンシブページから見出しをコピーすると、エンティティの文字が自分のテキストに紛れ込むことがあります。
Wordの Ctrl + - やGoogle Docsの「挿入 → 特殊文字」は意図的にソフトハイフンを挿入します。組織のスタイルが両端揃えの分綴位置を示す手段です。
分綴ライブラリ、InDesignの書き出し、LaTeXの出力、翻訳パイプラインは、行の折り返し位置を制御するために自動的に挿入します。
検索ダイアログは打ち込んだ文字列に一致を試みますが、ファイル内の文字列は「software」ではありません。最も多い症状です。目に見えているのに見つからないテキスト。
CSVローダー、SKUフィールド、名前フィールド、APIペイロードは、想定外の文字を拒否したり壊したりします。ソフトハイフンは文字化けのバイトとして、または検査の失敗としてその旅を生き延びます。
同じように表示される2件のレコード — 1件は手打ち、1件はPDFから貼り付け — はデータベースのキーにとって別の文字列なので、統合すると一致ではなく重複が生まれます。
問題が1回の貼り付けではなく文書全体なら、同じ整形が数百ページのテキストを1回の処理で走ります。語数の上限はなく、アップロードもありません。CMS、表計算、リポジトリに届く前にテキストを整形することが、この文字をデータから永久に遠ざける方法です。