Von deinen eigenen Fotos bis in den App Store, alles auf dem iPad

Eine App, die mit ihrem eigenen Modell Dinge erkennt, brauchte früher für jeden Schritt einen Mac: ein Werkzeug zum Trainieren, Xcode und einen Computer, um den Build hochzuladen. Heute deckt ein iPad mit M1 Chip oder neuer den ganzen Weg ab. So passen die Teile zusammen, am Beispiel einer App zum Bestimmen von Pflanzen.

Die Idee

Such dir etwas aus, das dir wichtig ist und das eine Kamera, ein Mikrofon oder eine Datentabelle erfassen kann:

• Welche Zimmerpflanze ist das, anhand eines Fotos?
• Welcher Vogel singt da, anhand einer Aufnahme?
• Ist dieser Satz eine Frage, eine Beschwerde oder ein Kompliment?
• Schere, Stein oder Papier, anhand des Fotos einer Hand?

Eine enge Frage funktioniert besser als eine weite. „Welche dieser 8 Pflanzen auf meinem Balkon?“ ist besser als „jede Pflanze der Welt“.

Schritt 1. Sammle deine Beispiele

Fotografiere jede Pflanze mit dem iPad: aus verschiedenen Winkeln, bei unterschiedlichem Licht, von nah und von fern. Leg jede Pflanze in einen eigenen Ordner mit ihrem Namen. Diese Namen werden zu den Labels, die deine App anzeigt. Leg von jeder Pflanze ein paar Fotos zum Testen beiseite.

Schritt 2. Trainiere in MagicaLCore

Leg ein neues Bildmodell an, gib ihm einen Namen und einen Autor und füg deine Ordner hinzu. Starte mit den Standardeinstellungen. Während es trainiert, beobachte Genauigkeit und Verlust für Training und Validierung. Wenn dir die Zeit ausgeht, pausiere und mach später im Verlauf weiter.

Schritt 3. Teste die schwierigen Fälle

Richte die Kamera auf die Pflanzen und achte auf die Konfidenz jeder Vorhersage. Probier eine dunkle Ecke, ein Blatt vor einem unruhigen Hintergrund, eine Pflanze, die nicht auf deiner Liste steht. Wenn das Modell etwas falsch erkennt, füg mehr solche Beispiele hinzu und trainiere neu. In dieser Schleife entsteht ein gutes Modell.

Schritt 4. Exportiere das .mlmodel

Exportiere das Modell mit Name, Autor und Beschreibung und sichere es in Dateien. Es ist bereit für Swift Playgrounds und Xcode.

Schritt 5. Entwickle die App in Swift Playgrounds

Swift Playgrounds ist Apples kostenlose App, um auf iPad und Mac in Swift zu programmieren und Apps mit SwiftUI zu entwickeln. Beginne ein neues App-Projekt, füg das .mlmodel hinzu und schreib deine Bildschirme, mit Live-Vorschau beim Tippen. Die Anleitung Modell verwenden in MagicaLCore zeigt den Code für jeden Modelltyp: wie du das Modell lädst, ihm ein Foto, einen Klang, eine Datenzeile oder einen Satz übergibst und die Antwort liest.

Eine einfache erste Version braucht nur drei Dinge:

1. Eine Taste, um ein Foto aufzunehmen oder auszuwählen.
2. Die Antwort des Modells, mit ihrer Konfidenz.
3. Eine kurze Karte zum Ergebnis: in einer Pflanzen-App ihr Name und wie man sie pflegt.

Schritt 6. Veröffentliche sie

Wenn die App auf deinem iPad funktioniert, kann Swift Playgrounds sie an App Store Connect senden. Um im App Store zu veröffentlichen, brauchst du eine Mitgliedschaft im Apple Developer Program. Wenn du später mehr brauchst, öffnet sich dasselbe Projekt in Xcode auf einem Mac.

Gut zu wissen

• Die Erkennung läuft auf dem Gerät. Das Modell reist in deiner App mit, also antwortet es ohne Server und ohne Fotos irgendwohin zu senden.
• Fang klein an und wachse dann. Veröffentliche mit einer Handvoll Klassen und füg weitere hinzu, während du Beispiele sammelst.
• Sei ehrlich zu deinen Nutzern. Zeig die Konfidenz und sag, was die App nicht weiß.

Für Schülerinnen und Schüler: die Swift Student Challenge

Jedes Jahr lädt Apple Lernende ein, einen selbst erstellten App-Playground bei der Swift Student Challenge einzureichen. Ein Modell, das jemand mit eigenen Fotos, Klängen oder Daten trainiert, kann das Herzstück dieses Projekts sein, und es funktioniert offline. MagicaLCore ist nicht Teil der Challenge und steht in keiner Verbindung zu Apple. Lies daher die offiziellen Regeln des jeweiligen Jahres und nenne die Werkzeuge, die du genutzt hast.

Der ganze Weg auf einen Blick

Schritt	App	Gerät
Beispiele sammeln	Kamera, Sprachmemos, Dateien	iPad
Trainieren und testen	MagicaLCore	iPad
Das .mlmodel exportieren	MagicaLCore	iPad
Die App entwickeln	Swift Playgrounds	iPad
An App Store Connect senden	Swift Playgrounds	iPad