Das suas próprias fotografias até à App Store, tudo no iPad

Antes, uma app que reconhecesse coisas com o seu próprio modelo precisava de um Mac em cada passo: uma ferramenta de treino, o Xcode e um computador para enviar a compilação. Hoje, um iPad com chip M1 ou posterior cobre todo o percurso. Veja como as peças encaixam, com um identificador de plantas como exemplo.

A ideia

Escolha algo que lhe interesse e que possa ser captado por uma câmara, um microfone ou uma tabela de dados:

• Que planta de interior é esta, a partir de uma fotografia?
• Que ave está a cantar, a partir de uma gravação?
• Esta frase é uma pergunta, uma reclamação ou um elogio?
• Pedra, papel ou tesoura, a partir da fotografia de uma mão?

Uma pergunta concreta funciona melhor do que uma muito ampla. “Qual destas 8 plantas da minha varanda?” é melhor do que “todas as plantas do mundo”.

Passo 1. Recolha os seus exemplos

Tire fotografias de cada planta com o iPad: de ângulos diferentes, com luz diferente, de perto e de longe. Coloque cada planta numa pasta própria, com o nome dela. Esses nomes passam a ser as etiquetas que a sua app vai mostrar. Guarde à parte algumas fotografias de cada planta para testar.

Passo 2. Treine no MagicaLCore

Crie um novo modelo de imagem, dê-lhe um nome e um autor, e adicione as suas pastas. Comece com as definições predefinidas. Durante o treino, acompanhe a precisão e a perda de treino e de validação. Se ficar sem tempo, pause e continue mais tarde a partir do Histórico.

Passo 3. Teste os casos difíceis

Aponte a câmara para as plantas e observe a confiança de cada previsão. Experimente num canto escuro, com uma folha sobre um fundo carregado, com uma planta que não está na sua lista. Quando o modelo errar, adicione mais exemplos como esse e treine de novo. É neste ciclo que se faz um bom modelo.

Passo 4. Exporte o .mlmodel

Exporte o modelo com nome, autor e descrição, e guarde-o na app Ficheiros. Está pronto para o Swift Playgrounds e o Xcode.

Passo 5. Crie a app no Swift Playgrounds

O Swift Playgrounds é a app gratuita da Apple para escrever em Swift e criar apps com SwiftUI no iPad e no Mac. Comece um novo projeto de App, adicione o .mlmodel e escreva os seus ecrãs, com uma pré-visualização em direto enquanto escreve. O guia Utilize o seu modelo do MagicaLCore mostra o código para cada tipo de modelo: como carregar o modelo, passar-lhe uma fotografia, um som, uma linha de dados ou uma frase, e ler a resposta.

Uma primeira versão simples só precisa de três coisas:

1. Um botão para tirar ou escolher uma fotografia.
2. A resposta do modelo, com a sua confiança.
3. Uma ficha curta sobre o resultado: numa app de plantas, o nome e como cuidar dela.

Passo 6. Publique

Quando a app funcionar no seu iPad, o Swift Playgrounds pode enviá-la para o App Store Connect. Para publicar na App Store precisa de uma adesão ao Apple Developer Program. Se mais tarde precisar de mais, o mesmo projeto abre no Xcode num Mac.

Bom saber

• O reconhecimento funciona no dispositivo. O modelo viaja dentro da sua app, por isso responde sem servidor e sem enviar fotografias para lado nenhum.
• Comece pequeno e depois cresça. Publique com algumas classes e adicione mais à medida que recolhe exemplos.
• Seja honesto com os seus utilizadores. Mostre a confiança e diga o que a app não sabe.

Para estudantes: o Swift Student Challenge

Todos os anos a Apple convida os estudantes a submeter ao Swift Student Challenge um app playground feito por eles próprios. Um modelo que um estudante treina com as suas próprias fotografias, sons ou dados pode ser o coração desse projeto, e funciona sem ligação. O MagicaLCore não faz parte do Challenge nem tem ligação à Apple, por isso leia as regras oficiais desse ano e refira as ferramentas que usou.

Todo o percurso num relance

Passo	App	Dispositivo
Recolher exemplos	Câmara, Memos de voz, Ficheiros	iPad
Treinar e testar	MagicaLCore	iPad
Exportar o .mlmodel	MagicaLCore	iPad
Criar a app	Swift Playgrounds	iPad
Enviar para o App Store Connect	Swift Playgrounds	iPad