Ex-Google X Trio veut que leur IA soit votre deuxième cerveau – et ils ont juste collecté 6 millions de dollars pour y arriver

Trois anciens scientifiques de Google X visent à vous donner un deuxième cerveau pratiquement – pas dans le sens de la science-fiction ou de la puce dans la tête – mais via une application alimentée par AI qui gagne le contexte en écoutant tout ce que vous dites en arrière-plan. Leur startup, Jumellea levé 5,7 millions de dollars en financement de semences et publié une version Android, ainsi qu’un nouveau modèle de parole d’IA. Il a également une version iPhone.

Co-fondé en mars 2024 par Daniel George (PDG) et ses anciens collègues de Google X Sunny Tang et Mahi Karim (tous deux CTOS), Twinmind se déroule en arrière-plan, capturant la parole ambiante (avec la permission de l’utilisateur) pour construire un graphique de connaissances personnelles.

En transformant les pensées, les réunions, les conférences et les conversations parlées en mémoire structurée, l’application peut générer des notes, des tâches et des réponses alimentées par l’IA. Il fonctionne hors ligne, traite l’audio en temps réel pour transcrire sur les appareils et peut capturer l’audio en continu pendant 16 à 17 heures sans drainage de la batterie de l’appareil, selon les fondateurs. L’application peut également sauvegarder les données de l’utilisateur afin que les conversations puissent être récupérées si l’appareil est perdu, bien que les utilisateurs puissent s’en sortir. Il prend également en charge la traduction en temps réel en plus de 100 langues.

Twinmind se différencie des candidats à des notes de réunion d’IA comme Otter, Granola et Fireflies en capturant audio passivement en arrière-plan toute la journée. Pour rendre cela possible, l’équipe a construit un service de bas niveau en pure rapide qui s’exécute nativement sur l’iPhone. En revanche, de nombreux concurrents utilisent React Native et s’appuient sur un traitement basé sur le cloud, qu’Apple empêche de fonctionner en arrière-plan pendant de longues périodes, a déclaré George dans une interview exclusive.

« Nous avons passé environ six à sept mois l’année dernière à perfectionner cette capture audio en continu et à y arriver pour trouver beaucoup de hacks dans le jardin clos d’Apple », a-t-il déclaré à TechCrunch.

George a quitté Google X en 2020 et a eu l’idée de Twinmind en 2023 lorsqu’il travaillait chez JPMorgan en tant que vice-président et a appliqué la responsable de l’IA, assistant à des réunions consécutives chaque jour. Pour gagner du temps, il a construit un script qui a capturé l’audio, l’a transcrit sur son iPad et l’a alimenté dans le chatgpt – qui a commencé à comprendre ses projets et même à générer du code utilisable. Impressionné par les résultats, il l’a partagé avec des amis et a posté à ce sujet sur Blind, où d’autres ont montré de l’intérêt mais ne voulaient pas que quelque chose courait sur leurs ordinateurs portables de travail. Cela l’a amené à créer une application qui pourrait fonctionner sur un téléphone personnel, écoutant tranquillement lors des réunions pour rassembler un contexte utile.

En plus du application mobileTwinmind propose un Extension chromée Cela rassemble un contexte supplémentaire grâce à l’activité du navigateur. En utilisant Vision AI, il peut scanner visuellement les onglets ouverts et interpréter le contenu à partir de diverses plates-formes, y compris le courrier électronique, le relâchement et la notion.

La startup a même utilisé l’extension elle-même pour présélectionner les stagiaires de plus de 850 demandes qu’ils ont reçues cet été.

« Nous avons ouvert tous les profils LinkedIn et CVS des 854 candidats dans les onglets du navigateur, puis nous avons demandé à l’extension Chrome de classer les meilleurs candidats », a déclaré George. «Cela a fait un travail fantastique – c’est ainsi que nous avons embauché nos quatre derniers stagiaires.»

Il a noté que les chatbots AI actuels – y compris le chatppt d’Openai et le claude d’Anthropic – ne peuvent pas facilement traiter des centaines de documents ou analyser des inscriptions à partir d’outils comme LinkedIn ou Gmail pour recueillir des informations contextuelles. De même, les navigateurs alimentés par AI tels que ceux de Perplexity et de la société de navigateur n’ont pas la capacité de créer des connaissances à partir de vos conversations hors ligne et de vos réunions en personne.

La startup compte actuellement plus de 30 000 utilisateurs, dont environ 15 000 actifs chaque mois. Jusqu’à 20 à 30% des utilisateurs de jumeaux utilisent également l’extension Chrome, a déclaré George.

Alors que les États-Unis sont la plus grande base pour Twinmind jusqu’à présent, la startup constate également la traction de l’Inde, du Brésil, des Philippines, de l’Éthiopie, du Kenya et de l’Europe.

TwinMind cible le public général, bien que 50 à 60% de ses utilisateurs soient actuellement des professionnels, environ 25% sont des étudiants et les 20 à 25% restants sont des personnes qui l’utilisent à des fins personnelles.

George a déclaré à TechCrunch que son père faisait partie des personnes qui utilisent Twinmind pour écrire leur autobiographie.

L’un des inconvénients importants de l’IA est son potentiel pour compromettre la confidentialité des utilisateurs. Mais George a affirmé que Twinmind ne forme pas ses modèles sur les données des utilisateurs et est conçu pour fonctionner sans envoyer d’enregistrements au cloud. Contrairement à de nombreuses autres applications de prise de notes d’IA, Twinmind ne permet pas aux utilisateurs d’accéder à des enregistrements audio plus tard – l’audio est supprimé à la volée – tandis que seul le texte transcrit est stocké localement dans l’application, a-t-il noté.

L’expérience Google X a aidé à accélérer les choses

Les co-fondateurs de Twinmind ont passé quelques années à travailler sur divers projets chez Google X. George a déclaré à TechCrunch qu’il travaillait sur six projets seuls, notamment iyo – L’équipe derrière les écouteurs alimentés par AI, qui a récemment fait la une des journaux pour poursuivre Openai et Jony Ive. Cette expérience a aidé l’équipe Twinmind à passer rapidement du concept au produit.

« Google X était en fait l’endroit idéal pour se préparer à démarrer votre propre entreprise », a déclaré George. «Il y a environ 30 à 40 projets de type startup qui se produisent à tout moment. Personne d’autre ne se met au travail dans six startups en début de stade sur deux ou trois ans avant de lancer la leur – du moins pas en aussi peu de temps.»

Avant de rejoindre Google, George a travaillé à appliquer l’apprentissage en profondeur à la gravitation à l’astrophysique dans le cadre du groupe LIGO lauréate du prix Nobel du National Center for Supercomputing de l’Université de l’Illinois. Il avait terminé son doctorat en IA pour l’astrophysique en seulement un an – à l’âge de 24 ans – un exploit qui l’a amené à rejoindre le laboratoire de recherche de Stephen Wolfram en 2017 en tant que chercheur en profondeur et chercheur en IA.

Cette connexion précoce avec Wolfram s’est déroulée en boucle des années plus tard – il a fini par rédiger le premier chèque de Twinmind, marquant son tout premier investissement dans une startup. Le récent tour de semences a été dirigé par des entreprises rationalisées, avec la participation de Sequoia Capital et d’autres investisseurs, dont Wolfram. Le Round valorise Twinmind à 60 millions de dollars post-monnaie.

Modèle Twinmind Ear-3

En plus de ses applications et de l’extension du navigateur, Twinmind a également introduit le modèle TwinMind Ear-3, un successeur de son Ear-2 existant, qui prend en charge plus de 140 langues dans le monde et a un taux d’erreur de mots de 5,26%, a déclaré le startup. Le nouveau modèle peut également reconnaître différents haut-parleurs dans une conversation et a un taux d’erreur de diarisation de l’enceinte de 3,8%.

Le nouveau modèle d’IA est un mélange affiné de plusieurs modèles open source, formé sur un ensemble organisé de données Internet annotées par l’homme – y compris des podcasts, des vidéos et des films.

« Nous avons constaté que plus vous soutenez les langues, meilleure est le modèle à comprendre les accents et les dialectes régionaux, car sa formation sur un éventail plus large de conférenciers », a déclaré George.

Le modèle coûte 0,23 $ / heure et sera disponible via une API aux développeurs et aux entreprises au cours des prochaines semaines.

L’EAR-3, contrairement à l’EAR-2, ne prend pas en charge une expérience hors ligne complète, car elle est plus grande et fonctionne sur le cloud. Cependant, l’application passe automatiquement à EAR-2 si Internet disparaît, puis revient à Ear-3 à son retour, a déclaré George.

Avec l’introduction de l’EAR-3, Twinmind propose désormais un abonnement professionnel à 15 $ / mois, avec une fenêtre de contexte plus large de jusqu’à 2 millions de jetons et une assistance par e-mail dans les 24 heures. Néanmoins, la version gratuite existe toujours avec toutes les fonctionnalités existantes, y compris des heures de transcriptions illimitées et une reconnaissance vocale sur disque.

La startup compte actuellement une équipe de 11 membres. Il prévoit d’embaucher quelques concepteurs pour améliorer son expérience utilisateur et créer une équipe de développement commercial pour vendre son API. En outre, il est prévu de dépenser de l’argent pour acquérir de nouveaux utilisateurs.