Жан-Поль и его друзья

[grandsbor]

В инструкции по токенизации про фамилии-через-дефис сказано, что их надо разделять, если только их нет в словаре. Про имена типа Жан-Поль сказано просто, что их надо разделять.

Предлагается:

1. Поменять инструкцию, чтобы не разделять словарные имена.
2. Найти тех, кто есть в словаре и несправедливо разделён, соединить.
3. Найти кандидатов, которых надо добавить в словарь и склеить; добавить и склеить.