André-Jacob ROUBO - Le Forum

Selon ton expérience Sébastien, est-ce que c'est Gallica qui a le meilleur OCR?  J'aimerais pouvoir faire quelques statistiques et comparaisons avant de lancer mon OCR sur des milliers de pages. Je regarde le lien que tu m'as envoyé et il y a des choses que Gallica fait très bien:

• Il y a peu de petites saletés qui sont capturées et reconnus comme des signes de ponctuations (apostrophes, guillemets, virgules).

• Les mots coupés par des tirets en fin de ligne sont bien reconstitués en un seul pour former des lignes complètes.

• Très bon taux de reconnaissance sur tous les mots ne contenant aucune ligature.

Les choses qu'il fait moins bien:

• La reconnaissance des ligatures (je t'ai expliqué pourquoi)

• Discerner le s long et le f.  Dans les peu de tests que j'ai fait, j'avais 100% de succès avec mon OCR!

• La reconnaissance des chiffres (leur OCR n'a sans doute pas appris la vieille forme d'écriture avec des chiffres positionnés à différentes hauteurs)

• Le positionnement de la référence à la planche par rapport au texte.

Pour ma part, je vois que je capture un peu trop de saletés (ou bien je dois trouver comment les nettoyer).  Je dois aussi appliquer plus de logique dans mon code pour mieux positionner tous les blocs de texte (incluant la référence de planche qui devrait être placée en début de paragraphe).  Et je devrais reconstituer les phrases en fusionnant le dernier mot de la ligne et le premier de la suivante. Puis le comparer au dictionnaire pour déterminer si le tiret doit rester ou pas ou si ce même tiret a été lu comme autre chose et doit être enlevé.

Comme tu vois, ce sont de beaux défis.  Je réalise maintenant que je me suis lancé dans un projet de longue haleine.

Voici une mise à jour sur l'état de l'OCR.  Après avoir développé un programme en Python pour faire l'extraction des blocs de texte, je n'étais pas encore tout à fait satisfait du résultat.  J'ai donc décidé d'améliorer la reconnaissance à la source en apprenant à Tesseract le langage de Roubo et les polices de caractères utilisées dans cet ouvrage.  Il y en a de 4 types:

1. Caslon (ou peut-être un typographe français que je ne connaît pas) régulier

2. Caslon italique

3. Petites capitales

4. Petites capitales italiques

Il a aussi beaucoup plus de ligatures que dans l'écriture moderne et certaines de ces ligatures n'ont pas de caractère Unicode officiel.  Pour les afficher sur un ordinateur, il faut utiliser une police qui a ces caractères définis dans un plan complémentaire à usage privé.  Comme ces caractères ne sont pas définis par la norme, leurs numéros de codage varient énormément d'une police à l'autre.  Pour cet OCR, j'ai décidé d'utiliser ceux proposés par le MUFI (Medieval Unicode Font Initiave).

Voici la liste des caractères anciens que j'ai utilisés:

ſ     s long                U+017F
ſt    s long - t                U+FB05
    s long - i                U+EBA2
    s long - s long        U+EBA6
    s long - s long - i     U+EBA7
    c - t                    U+EEC5
ff    f - f                    U+FB00
fi    f - i                    U+FB01
ffi    f - f - i                U+FB03
ffl    f - f - l                U+FB04
œ    oe    e dans l'o        U+0153

Je n'ai pas encore fait les italiques et petites capitale mais les résultats obtenus avec la police régulière sont excellents.  Quelqu'un qui utilisera les documents texte produits devra par contre posséder cette "pierre de Rosette" pour soit convertir les ligatures en lettres séparées soit les associer aux valeurs Unicode définies dans la police utilisée.

L’initiateur de ce site devra adorer puisqu'aucun s long ou ligature ne sera perdu.

À cette étape, j'aimerais bien obtenir des commentaires pour savoir si je fais fausse route ou bien si vous connaissez des polices qui imitent parfaitement bien le texte de l'ouvrage.

Une fois que je serai satisfait de tous les outils, je séparerai les images en chapitre pour les 4 parties de l'art du Menuiser et je produirai tous les OCRs en roulant mon programme.  Ça devrait prendre plusieurs heures mais mon ordi ne devrait pas trop se plaindre!

Je viens de m'apercevoir que "sh" est une exception.  On n'écrit pas "deſhonorer" mais "deshonorer" donc je corrige mes expressions régulières ici pour garder une trace de la recette.

[== RegEx ==]
(?<=([a-rt-zA-RT-Zçàâéèêëîôûù\s]))[s](?=[a-gi-rt-zçàâéèêëîôûù])

[== RegEx ==]
s{2}

Cher Sébastien merci pour votre support.  J'ai trouvé le problème avec la macro (j'imagine que cela dépend de la version de LibreOffice utilisé).

Dans listeFichiersOuverts, remplacer

laCollection = starDesktop.components.createEnumeration

par

laCollection = starDesktop.getComponents.createEnumeration

Je vais pouvoir analyser le résultats plus en détails et vous revenir avec mes commentaires.

Ps. Pour utiliser mon programme, vous pouvez installer Python sur Windows. C'est multi-plateformes.

Je crois comprendre le fonctionnement de cette macro.  C'est d'ailleurs la même idée que j'avais exécutée de façon manuelle dans Sigil sur les 2 premières parties de Roubo.  Et mon nouveau programme en Python fait aussi du remplacement bien que son dictionnaire ne nécessite pas autant d'entrées qu'avec le OCR de l'Internet Archive.

Malheureusement, je n'arrive pas à obtenir une action.  Je pense qu'il ne voit pas le fichier ouvert. Tout ce que j'obtiens c'est un rafraîchissement de la barre de boutons quand je clique sur "Rafraîchir la liste des fichiers texte (Writer)"  Je ne vois pas non plus le code utilisé alors je vais devoir apprendre comment fonctionne les macros sous libre-office à moins que vous m'aidiez.

Vous aurez sans doute des difficultés aussi si vous essayez mon programme.  Surtout avec la fonction cv2.findContours qui demande 2 ou bien 3 variables selon la version de Python utilisé.

Mais si vous voulez avoir un aperçu de l'OCR obtenu grâce à celui-ci.  Il est ici: https://www.dropbox.com/s/3lu39am2mx066 … x.txt?dl=0

Vous remarquerez que les points forts de mon nouvel OCR sont la reconnaissance des numéros de figures, des s longs et le texte organisé en paragraphe sans saut de ligne inutile.

J'aimerais bien pouvoir le comparer avec vos résultats. 

Il ne sera jamais possible d'obtenir une version parfaite sans relecture et corrections manuelles mais en combinant nos efforts, nous pourrons sans doute obtenir quelque chose de très potable.

Bonjour, je viens de relire ce flot de mots et je ne m'étais pas rendu compte que vous m'aviez fourni une correction de l'avant-propos en format PDF. Avec le recul, je m'aperçois que je me suis amélioré mais vous avez raison, il y a sûrement encore beaucoup d'erreurs à rectifier.

Cela me donne une idée, il est sans doute possible d'éditer le dictionnaire de Sigil que j'utilise pour éviter qu'il accepte des mots orthographiés de façon moderne.

Pour ce qui est du statut de ma numérisation, j'ai complété les 11 chapitres de la première partie et le premier de la seconde.  Et je continue mes expériences de programmation tout en faisant cela.

Je désire toujours publier le tout sous forme de eBook mais je vous fournirai en parallèle le résultat de mes travaux.

Ouf, tant de prose.  Ça va me prendre quelques jours à digérer tout cela.

Je retiens quand même que j'avais ignoré les espaces insécables tout influencé me mon Amérique du Nord natale.  Et qu'il faudra que je soigne mes apostrophes typographiques. Je vais corriger cela merci.

Si l'ennuie ou le cœur m'en dit, j'essaierai vos documents libre Office avec macros. 

Merci.