De vos propres photos à l’App Store, entièrement sur iPad

Une app qui reconnaît des choses grâce à son propre modèle demandait autrefois un Mac à chaque étape : un outil d’entraînement, Xcode et un ordinateur pour envoyer le build. Aujourd’hui, un iPad avec une puce M1 ou ultérieure couvre tout le parcours. Voici comment les pièces s’assemblent, avec l’exemple d’une app qui identifie les plantes.

L’idée

Choisissez un sujet qui vous tient à cœur et qu’une caméra, un micro ou un tableau de données peut capter :

• Quelle est cette plante d’intérieur, à partir d’une photo ?
• Quel oiseau chante, à partir d’un enregistrement ?
• Cette phrase est-elle une question, une réclamation ou un compliment ?
• Pierre, feuille ou ciseaux, à partir de la photo d’une main ?

Une question précise fonctionne mieux qu’une question vaste. « Laquelle de ces 8 plantes de mon balcon ? » vaut mieux que « toutes les plantes du monde ».

Étape 1. Collectez vos exemples

Photographiez chaque plante avec l’iPad : sous différents angles, avec différentes lumières, de près et de loin. Placez chaque plante dans son propre dossier, à son nom. Ces noms deviennent les étiquettes que votre app affichera. Gardez de côté quelques photos de chaque plante pour les tests.

Étape 2. Entraînez dans MagicaLCore

Créez un nouveau modèle d’image, donnez-lui un nom et un auteur, et ajoutez vos dossiers. Commencez avec les réglages par défaut. Pendant l’entraînement, suivez la précision et la perte d’entraînement et de validation. Si vous manquez de temps, mettez en pause et reprenez plus tard depuis l’historique.

Étape 3. Testez les cas difficiles

Pointez la caméra vers les plantes et regardez le niveau de confiance de chaque prédiction. Essayez un coin sombre, une feuille sur un fond chargé, une plante qui ne figure pas dans votre liste. Quand le modèle se trompe, ajoutez d’autres exemples de ce type et entraînez à nouveau. C’est dans cette boucle que se fait un bon modèle.

Étape 4. Exportez le .mlmodel

Exportez le modèle avec son nom, son auteur et sa description, et enregistrez-le dans Fichiers. Il est prêt pour Swift Playgrounds et Xcode.

Étape 5. Créez l’app dans Swift Playgrounds

Swift Playgrounds est l’app gratuite d’Apple pour écrire du Swift et créer des apps avec SwiftUI sur iPad et Mac. Commencez un nouveau projet App, ajoutez le .mlmodel et écrivez vos écrans, avec un aperçu en direct pendant la saisie. Le guide Utiliser votre modèle de MagicaLCore montre le code pour chaque type de modèle : comment charger le modèle, lui passer une photo, un son, une ligne de données ou une phrase, et lire la réponse.

Une première version simple n’a besoin que de trois choses :

1. Un bouton pour prendre ou choisir une photo.
2. La réponse du modèle, avec son niveau de confiance.
3. Une courte fiche sur le résultat : dans une app de plantes, son nom et comment l’entretenir.

Étape 6. Publiez-la

Quand l’app fonctionne sur votre iPad, Swift Playgrounds peut l’envoyer à App Store Connect. Pour publier sur l’App Store, il faut une adhésion à l’Apple Developer Program. Si plus tard il vous faut plus, le même projet s’ouvre dans Xcode sur un Mac.

Bon à savoir

• La reconnaissance se fait sur l’appareil. Le modèle voyage dans votre app, il répond donc sans serveur et sans envoyer de photos nulle part.
• Commencez petit, puis grandissez. Publiez avec une poignée de classes et ajoutez-en d’autres à mesure que vous collectez des exemples.
• Soyez honnête avec vos utilisateurs. Affichez le niveau de confiance et dites ce que l’app ne sait pas.

Pour les élèves et étudiants : le Swift Student Challenge

Chaque année, Apple invite les élèves et étudiants à soumettre au Swift Student Challenge un app playground qu’ils ont créé eux-mêmes. Un modèle qu’un élève entraîne avec ses propres photos, sons ou données peut être le cœur de ce projet, et il fonctionne hors ligne. MagicaLCore ne fait pas partie du Challenge et n’a aucun lien avec Apple : lisez le règlement officiel de l’année et citez les outils que vous avez utilisés.

Tout le parcours en un coup d’œil

Étape	App	Appareil
Collecter des exemples	Appareil photo, Dictaphone, Fichiers	iPad
Entraîner et tester	MagicaLCore	iPad
Exporter le .mlmodel	MagicaLCore	iPad
Créer l’app	Swift Playgrounds	iPad
Envoyer à App Store Connect	Swift Playgrounds	iPad