Udvikler omdanner iPhone til ChatGPT’s øjne med imponerende resultater
En AI-udvikler har forvandlet sin iPhone til GPT-4’s øjne og skabt en alvidende AI-assistent ved hjælp af en række teknikker. Mckay Wrigley fortæller i en video på Twitter, hvordan han skabte en AI-assistent, der kan se ved at hacke sin iPhone.
Wrigley anvendte en blanding af software, såsom YoloV8 til genkendelse af objekter, en visionsmodel, GPT-4 til AI-delen, OpenAI Whisper til stemmefunktionen, Google Custom Search Engine og Python, som blev sammensat “på en sjov måde”.
Han påpeger, at det var “100 gange nemmere” at lave end det ser ud, og forudsiger at “dette er fremtiden”.
I used my iPhone to give GPT-4 eyes.
My AI vision assistant:
– learned what a Keto diet is
– identified Keto foods in my fridge
– searched the internet
– found a recipe with the ingredientsThe future is here! pic.twitter.com/bOMhJfWRP0
— Mckay Wrigley (@mckaywrigley) May 2, 2023
Men hvordan ser denne fremtid ud? Som det fremgår af hans video, kan GPT-4 observere og identificere objekter ved hjælp af iPhone-kameraet.
Wrigley demonstrerer, hvordan han anvendte synsassistenten til at forstå, hvad en keto-diæt er, for derefter at identificere keto-venlige fødevarer i sit køleskab og bagefter søge efter en opskrift på nettet, med de tilgængelige ingredienser.
Wrigley understreger, at han bruger en Mac til at køre visionsmodellen, som viser videostrømmen, da iPhone ikke er kraftfuld nok til at håndtere dette.
Øjne til AI ser ud til at kunne hjælpe med tilgængelighed, så synshandikappede kan få en assistent som kan se for dem. Som at se madvarer, læse fødevareetiketter, finde nøglerne oma. i hjemmet eller assistere med at se udenfor hjemmet.
