Das suas próprias fotos até a App Store, tudo no iPad

Antes, um app que reconhecesse coisas com o próprio modelo precisava de um Mac em cada etapa: uma ferramenta de treinamento, o Xcode e um computador para enviar o build. Hoje, um iPad com chip M1 ou posterior cobre todo o caminho. Veja como as peças se encaixam, usando um identificador de plantas como exemplo.

A ideia

Escolha algo que importe para você e que uma câmera, um microfone ou uma tabela de dados consiga captar:

• Que planta de interior é esta, a partir de uma foto?
• Que pássaro está cantando, a partir de uma gravação?
• Esta frase é uma pergunta, uma reclamação ou um elogio?
• Pedra, papel ou tesoura, a partir da foto de uma mão?

Uma pergunta específica funciona melhor do que uma ampla. “Qual destas 8 plantas da minha varanda?” é melhor do que “todas as plantas do mundo”.

Etapa 1. Colete seus exemplos

Tire fotos de cada planta com o iPad: de ângulos diferentes, com luz diferente, de perto e de longe. Coloque cada planta em uma pasta própria, com o nome dela. Esses nomes viram os rótulos que o seu app vai mostrar. Separe algumas fotos de cada planta para testar.

Etapa 2. Treine no MagicaLCore

Crie um novo modelo de imagem, dê a ele um nome e um autor, e adicione suas pastas. Comece com os ajustes padrão. Enquanto ele treina, acompanhe a precisão e a perda de treinamento e validação. Se o tempo acabar, pause e continue depois pelo Histórico.

Etapa 3. Teste os casos difíceis

Aponte a câmera para as plantas e observe a confiança de cada previsão. Experimente em um canto escuro, com uma folha sobre um fundo poluído, com uma planta que não está na sua lista. Quando o modelo errar, adicione mais exemplos como aquele e treine de novo. É nesse ciclo que um bom modelo é feito.

Etapa 4. Exporte o .mlmodel

Exporte o modelo com nome, autor e descrição, e salve no Arquivos. Ele está pronto para o Swift Playgrounds e o Xcode.

Etapa 5. Crie o app no Swift Playgrounds

O Swift Playgrounds é o app gratuito da Apple para escrever em Swift e criar apps com SwiftUI no iPad e no Mac. Comece um novo projeto de App, adicione o .mlmodel e escreva suas telas, com uma pré-visualização ao vivo enquanto digita. O guia Utilize o seu modelo do MagicaLCore mostra o código para cada tipo de modelo: como carregar o modelo, passar para ele uma foto, um som, uma linha de dados ou uma frase, e ler a resposta.

Uma primeira versão simples só precisa de três coisas:

1. Um botão para tirar ou escolher uma foto.
2. A resposta do modelo, com a confiança.
3. Um cartão curto sobre o resultado: em um app de plantas, o nome dela e como cuidar dela.

Etapa 6. Publique

Quando o app funcionar no seu iPad, o Swift Playgrounds pode enviá-lo para o App Store Connect. Para publicar na App Store, você precisa de uma assinatura do Apple Developer Program. Se depois precisar de mais, o mesmo projeto abre no Xcode em um Mac.

Bom saber

• O reconhecimento funciona no dispositivo. O modelo vai dentro do seu app, então ele responde sem servidor e sem enviar fotos para lugar nenhum.
• Comece pequeno e depois cresça. Publique com poucas classes e adicione mais conforme for coletando exemplos.
• Seja honesto com seus usuários. Mostre a confiança e diga o que o app não sabe.

Para estudantes: o Swift Student Challenge

Todo ano a Apple convida estudantes a enviar ao Swift Student Challenge um app playground feito por eles mesmos. Um modelo que um estudante treina com suas próprias fotos, sons ou dados pode ser o coração desse projeto, e ele funciona offline. O MagicaLCore não faz parte do Challenge e não tem ligação com a Apple, então leia as regras oficiais daquele ano e cite as ferramentas que você usou.

Todo o caminho em um relance

Etapa	App	Dispositivo
Coletar exemplos	Câmera, Gravador, Arquivos	iPad
Treinar e testar	MagicaLCore	iPad
Exportar o .mlmodel	MagicaLCore	iPad
Criar o app	Swift Playgrounds	iPad
Enviar para o App Store Connect	Swift Playgrounds	iPad