Προηγούμενη μάχη · 2025-02-07 UTC
Multimodal AI Αναμέτρηση — 7 Φεβρουαρίου 2025
Από την κατηγορία Multimodal AI. 19 βαθμοί τοποθετήθηκαν σε 5 μαχητές. Το Omniverse Audio2Face πήρε το στέμμα.
Τελική κατάταξη
Η σύνθεση
Οι μαχητές
Προφίλ κάθε εργαλείου που διαγωνίστηκε σε αυτή τη μάχη, καταταγμένα με βάση την τελική τους βαθμολογία.
Omniverse Audio2Face
Το εργαλείο AI της NVIDIA για δημιουργία 3D προθέματος προσώπου σε πραγματικό χρόνο, συγχρονισμένο με φωνή
Το Omniverse Audio2Face είναι μια εφαρμογή της NVIDIA που παράγει αυτόματα 3D προσομοίωση προσώπου από πηγή ήχου. Χρησιμοποιώντας ένα προεκπαιδευμένο deep neural network, αναλύει τη φωνή εισόδου και κινεί τις εκφράσεις του προσώπου, το lip sync και το συναίσθημα ενός 3D χαρακτήρα σε πραγματικό χρόνο, εξαλείφοντας μεγάλο μέρος του χειροκίνητου keyframing που απαιτείται συνήθως σε animation pipelines. Το εργαλείο εκτελείται εντός του NVIDIA Omniverse και υποστηρίζει εξαγωγή σε τυπικές πλατφόρμες DCC όπως Maya, Unreal Engine και Blender μέσω μορφών όπως USD και blendshapes. Δουλεύει με προσαρμοσμένα mesh χαρακτήρων μέσω μιας ροής retargeting, καθιστώντας το χρήσιμο για προγραμματιστές παιχνιδιών, κινούμενους, ομάδες εικονικής παραγωγής και δημιουργούς που δημιουργούν ψηφιακούς ανθρώπους ή διαδραστικά avatars. Το Audio2Face υποστηρίζει τόσο την επεξεργασία offline για κινηματογραφική παραγωγή όσο και live streaming για διαδραστικές εφαρμογές, με ρυθμιζόμενα ελέγχους συναισθημάτων και πολυγλωσσική διαχείριση ήχου.
Κατανομή κριτηρίων
- Αναπαράσταση προσώπου με έλεγχο ήχου μέσω βαθιάς μάθησης
- Συγχρονισμός φωνής σε πραγματικό χρόνο και έλεγχος συναισθημάτων
- Μεταφορά χαρακτήρων σε προσαρμοσμένα πλέγματα
- Κανάλια εξαγωγής Blendshape και USD
- Κατάσταση ζωντανής μετάδοσης για διαδραστικά avatars
- Υποστήριξη πολυγλωσσικής εισόδου φωνής
Humane AI Pin
AI βοηθός φορέσιμος σχεδιασμένος ως εναλλακτική λύση χωρίς οθόνη για το smartphone.
Το Humane AI Pin είναι μια μικρή φορητή συσκευή που συνδέεται μαγνητικά και χρησιμοποιεί φωνή, χειρονομίες και μια προβολή με λέιζερ για να προσφέρει αλληλεπιδράσεις σε στυλ βοηθού χωρίς παραδοσιακή οθόνη. Συνδυάζει ενσωματωμένους κάμερες, μικρόφωνα και αισθητήρες με μεγάλα γλωσσικά μοντέλα (LLM) για να απαντά σε ερωτήσεις, να μεταφράζει γλώσσες, να τραβάει φωτογραφίες, να συνοψίζει μηνύματα, και να εντοπίζει αντικείμενα στην θέα. Προωθήθηκε ως συσκευή ambient computing, το Humane AI Pin στοχεύει στη μείωση της εξάρτησης από τα τηλέφωνα παρουσιάζοντας πληροφορίες μόνο όταν χρειάζεται. Λειτουργεί με δικό του cellular plan αντί για σύνδεση με smartphone, και υποστηρίζει εντολές φυσικής γλώσσας αντί για apps. Το προϊόν έλαβε ανάμεικτες κριτικές κατά την έναρξη όσον αφορά τη battery life, το latency και το accuracy, και η Humane έπρεπε να προσαρμόσει το roadmap της. Παραμένει ένα αξιοσημείωτο πρώιμο πείραμα σε standalone, AI-first wearable hardware.
Κατανομή κριτηρίων
- AI βοηθός με εντολές φωνής
- Προβολή laser ink στην καρμιά
- Μετάφραση γλωσσών σε πραγματικό χρόνο
- Λήψη φωτογραφιών και σύντομων βίντεο
- Αναγνώριση αντικειμένων και σκηνών με βάση το συμφραζόμενο
- Ανεξάρτητο πακέτο κινητής δεδομένων
Project Astra
Καθολικός AI πράκτορας της Google DeepMind που βλέπει, ακούει και λογίζει για τον κόσμο σε πραγματικό χρόνο.
Το Project Astra είναι ένας πειραματικός καθολικός βοηθός AI από τη Google DeepMind, σχεδιασμένος να βοηθά στις καθημερινές εργασίες κατανοώντας τον κόσμο όπως το κάνουν οι άνθρωποι. Επεξεργάζεται ταυτόχρονα βίντεο, ήχο, εικόνες και κείμενο, επιτρέποντας στους χρήστες να στρέξουν μια κάμερα ή να μιλήσουν φυσικά και να λαμβάνουν απαντήσεις που λαμβάνουν υπόψη το πλαίσιο. Χτισμένο στα μοντέλα Gemini της Google, το Project Astra έχει σχεδιαστεί για χαμηλή καθυστέρηση και συνομιλιακή αλληλεπίδραση με μόνιμη μνήμη του πρόσφατου πλαισίου. Τοποθετείται ως ερευνητικό πρωτότυπο που εξερευνά πώς ένας πράκτορας γενικού σκοπού θα μπορούσε εν τέλει να λειτουργεί σε τηλέφωνα, έξυπνα γυαλιά και άλλες περιβαλλοντικές συσκευές. Αν και δεν είναι ακόμη διαθέσιμο στο κοινό, το Astra υποδεικνύει τη στρατηγική της Google για μια πράκτορα τεχνητής νοημοσύνης που μπορεί να παρατηρεί το περιβάλλον, να θυμάται όσα έχει δει και να πραγματοποιεί χρήσιμες ενέργειες εκ μέρους του χρήστη.
Κατανομή κριτηρίων
- Κατανόηση ζωντανών βίντεο και εικόνων
- Διεπαφή φωνητικής συνομιλίας
- Συνεχής συμφραζόμενη μνήμη
- Πολυμορφική λογική μεταξύ κειμένου, ήχου και οπτικού
- Ενσωμάτωση με την οικογένεια μοντέλων Gemini
- Υποστήριξη πρωτοτύπου για έξυπνα γυαλιά και κινητά
Hume AI
Φωνητικός AI με συναισθηματική νοημοσύνη που μιλά και ακούει με ανθρώπινη λεπτομέρεια
Η Hume AI αναπτύσσει μοντέλα φωνής και γλώσσας που έχουν σχεδιαστεί ώστε να ερμηνεύουν και να ανταποκρίνονται σε συναισθηματικούς δείκτες στην ανθρώπινη ομιλία. Το κυριότερο προϊόν της, το Empathic Voice Interface (EVI), συνδυάζει εκφραστική σύνθεση φωνής με ανάλυση σε πραγματικό χρόνο της τονικής, της προσοδίδας και της συναισθηματικής διάθεσης, επιτρέποντας συνομιλίες που νιώθουν πιο φυσικές από τις τυπικές φωνητικές βοηθούς. Οι προγραμματιστές μπορούν να έχουν πρόσβαση στις δυνατότητες της Hume μέσω APIs και SDKs για να δημιουργήσουν εφαρμογές σε περιοχές όπως η υποστήριξη ψυχικής υγείας, η εξυπηρέτηση πελατών, η προσβασιμότητα και η διαδραστική ψυχαγωγία. Η πλατφόρμα προσφέρει επίσης εργαλεία μέτρησης έκφρασης για την ανάλυση συναισθηματικών σημάτων στη φωνή, το πρόσωπο και τα δεδομένα γλώσσας. Η Hume AI επικεντρώνεται στην υπεύθυνη εφαρμογή, δημοσιεύοντας έρευνα για την affective computing και τη συμμόρφωση με ηθικές κατευθυντικές οδηγίες για τη χρήση της emotion AI.
Κατανομή κριτηρίων
- Empathic Voice Interface (EVI)
- Μετρήσεις έκφρασης μέσω φωνής, προσώπου και κειμένου
- Προσαρμοσμένες φωνητικές προσωπικότητες
- Streaming διαλόγου χαμηλής καθυστέρησης
- REST και WebSocket APIs
- Οδηγίες ηθικής χρήσης και τεκμηρίωση
Alaya AI
Εμπόρευμα Web3 δεδομένων αγορά που συνδέει αναπτύσσοντες AI με.global συνεισφέροντες μέσω gamified κινήτρων.
Το Alaya AI είναι μια αποκεντρωμένη πλατφόρμα που επικοινωνεί τους προγραμματιστών_MODELI IA με συνδεδεμένους καταμετρητές δεδομένων μέσω μιας δομής κοινότητας Web3. Προσδιορίζει πηγές διάφορων ποιότητας ελέγχου stroj-με μηχανική επεξεργασία εκπαίδευσης δεδομένων από την εξαγωγή σε έναν οικουμενικό δικτύου συμβαλλομένων που ετικετούν, επαλήθευαν και υποβάλλουν datasets. Η πλατφόρμα χρησιμοποιεί τη διαδραστική γοητεία, τους-token και τα NFT για να κινήσει τη συμμετοχή, μετατρέποντας τη συλλογή δεδομένων και την επεξεργασία τους σε μια συναρπαστική δραστηριότητα statt μιας επταήτητας. Οι συνεισφέροντες κερδίζουν βραβεία στη βάση της ποιότητας και της ποσότητας της εργασίας τους, ενώ οι προγραμματιστές έχουν έλεγχο σε αναπροσαρμοστιμίες και ποικίλο στοιχείο δεδομένων που ταιριάζουν για την εκπαίδευση μονοπατιού ή πολιτισμικά συγκεκαλυμμένων模型ς. Μέσω της συνδυαστικής εφαρμογής της διαφάνειας στο blockchain με την κοινωνική κατανάλωση της γνώμης (social swarm intelligence), η Alaya AI σκοπεύει να κάνει τις pipelines δεδομένων AI πιο αδικαιολόγητες (παράδειγμα: απελευθερωτικές), ενδεικτές (traceable) και εγγυόμενες για μικρά ομάδες που δεν διαθέτουν τις οποιεσδήποτε πηγές εντός της εταιρείας τους.
Κατανομή κριτηρίων
- Δεσμευτική συλλογή και ετικετοποίηση δεδομένων δίκτυο
- Σύστημα επιδότησης με token και NFT
- Σχεδιασμένα εργάλεια και προκλήσεις κοινότητας
- Απασχολώντας intelijencia για διανεμημένη ετικετοποίηση
- Υποστηρίζοντας διάφορους και ειδικούς需求 αποθήκες δεδομένων
- Με την ενσωμάτωση σε-chain εγγραφής συνεισφορών