Fosscomm 2022

Ένας Ψηφιακός βοηθός φωνής (Voice assistant) μπορεί να απαντά σε πιθανές ερωτήσεις του χρήστη σχετικές με το αντικείμενο που διαπραγματεύεται και αποτελεί υποστηρικτικό εργαλείο στην εκπαιδευτική διαδικασία.
Βασίζεται στην τεχνολογία voice assistant η οποία εφαρμόζεται σταδιακά στις περισσότερες κινητές συσκευές και τείνει να εδραιωθεί ως βασική υπηρεσία στις συναλλαγές των ανθρώπων.
Οι ψηφιακοί βοηθοί φωνής το 2019 σε όλο τον κόσμο μετρήθηκαν σε 3,25 δισεκατομμύρια.
Σύμφωνα με τις προβλέψεις ο αριθμός τους προβλέπεται να φτάσει τα 8 δισεκατομμύρια χρήστες έως το 2023. Σε σύγκριση με τον παγκόσμιο πληθυσμό διαφαίνεται ότι η πλειοψηφία των χρηστών ηλεκτρονικών συσκευών κάνει χρήση παρόμοιων υπηρεσιών. (Liao 2020)
Μπορεί να περιλαμβάνει στοιχεία και πληροφορίες που εμπλουτίζουν το μάθημα με ενδιαφέροντα δεδομένα και εφαρμογές των φαινομένων που μελετώνται στην καθημερινή ζωή.
Η εφαρμογή Voice Assistant προγραμματίζεται μέσα από το Οπτικό περιβάλλον Προγραμματισμού App inventor το οποίο δίνει τη δυνατότητα στον χρήστη να δημιουργήσει οποιαδήποτε εφαρμογή επιθυμεί με τύπου scratch blocks πλακίδια. Μπορεί επίσης μέσα από χρήσιμα extensions να καλύψει ακόμα και τις πιο πολύπλοκες διαδρομές.
Ο Google App Inventor, επιτρέπει σε άτομα με μικρή εμπειρία προγραμματισμού να σχεδιάζουν εφαρμογές για τηλέφωνα που χρησιμοποιούν το λειτουργικό σύστημα Android της Google. Πρόθεση της Google ήταν να δώσει στους ανθρώπους τον άμεσο έλεγχο των δικών τους τηλεφώνων. Είναι το επιστέγασμα έρευνας του MIT που χρονολογείται τουλάχιστον 40 χρόνια πριν (Hardesty, 2010).
Προσφέρει τη δυνατότητα αυτή καθώς πρόκειται για περιβάλλον οπτικού προγραμματισμού, ο χρήστης του οποίου δεν χρειάζεται να γράψει κώδικα. Αρκούν μόνο τα συστατικά στοιχεία της εφαρμογής και έπειτα καθορίζεται η συμπεριφορά της χρησιμοποιώντας αλληλοσυνδεόμενα γραφικά πλακίδια εντολών (Blocks code) (Wolber, Abelson, Spertus & Looney, 2011).
Η εφαρμογή του Ψηφιακού βοηθού φωνής, αξιοποιεί την υπηρεσία της Google Voice assistant.
Οι smart voice assistants είναι στην ουσία εφαρμογές που ανταποκρίνονται στις εντολές ενός χρήστη, κάτι σαν τις φωνητικές εντολές που μπορούσαν να καλέσουν τον αριθμό που θα τους υπαγόρευε ο χρήστης, αλλά με περισσότερες παραμέτρους.
Παραδείγματα εφαρμογής τους σε εκπαιδευτικό περιβάλλον:
LTKA-Bot είναι ένας εικονικός βοηθός βασισμένος σε chatbot προγραμματισμένος για την παροχή υπηρεσιών σχετικά με δραστηριότητες μαθημάτων όπως η καταγραφή δεδομένων συνεδρίας και οι υπηρεσίες που σχετίζονται με τη συμμετοχή, την ανάθεση εργασιών και τη διαχείριση βαθμολόγησης (Mulyana & Hakimi, 2018).
ProblemPal, ονομάστηκε μια εφαρμογή voice assistant που επιτρέπει στους δασκάλους να δημιουργούν αυτόματα περιεχόμενο πρακτικής με φωνητικές εντολές. H μελέτη ισχυρίζεται ότι μπορεί να μειώσει τον φόρτο εργασίας των εκπαιδευτικών και μπορεί επίσης να αποτελέσει πολύτιμο εργαλείο για τους μαθητές (Trivedi, 2018).
Echo Dot είναι μια συσκευή χαμηλού κόστους την οποία αξιοποίησαν εκπαιδευτικοί διαφορετικών ειδικοτήτων ως βοηθό τάξης (Voice assistant) για την απλοποίηση ορισμένων διαδικασιών στην τάξη. Οι μαθητές προτίμησαν να ζητήσουν πληροφορίες από τον φωνητικό βοηθό, αντί να αναζητήσετε πληροφορίες σε έναν υπολογιστή (Dousay & Hall, 2018).
«Με τη χρήση των διαδραστικών ψηφιακών βιβλίων iBooks του ΥΠΑΙΘ, μέσω της ταμπλέτας iPad της Apple στη σχολική τάξη, οι μαθητές αύξησαν τη συμμετοχή, το ενδιαφέρον και το κίνητρό τους, οι δάσκαλοι προσέγγισαν διαφορετικά τις διδακτικές τους πρακτικές και οι γονείς είδαν να αξιοποιείται δημιουργικά η νέα τεχνολογία, όχι απλά ως παιχνιδομηχανή» (Μπράνος & Γεωργιάδου, 2014).
επέκταση της Φωνητικής αναγνώρισης έχει τη δυνατότητα να αναγνωρίζει κάθε ομιλία και να την καταγράφει σε ψηφιακά μέσα και είναι γνωστή και ως αυτόματη αναγνώριση ομιλίας (Automatic Speech Recognition - ASR), αναγνώριση ομιλίας υπολογιστή (computer speech recognition) ή απλά speech to text (STT) Speech Recognition.
Η εφαρμογή κάνει χρήση μια ακόμη επέκτασης, της Text To Speech. Μετατρέπει το κείμενο σε ομιλία.
Text-to-speech, είναι ένα σύστημα (ή μηχανισμός) το οποίο χρησιμοποιεί συνθετική φωνή για την εκφώνηση κειμένου. Ένα τέτοιο σύστημα αποτελείται από δύο μέρη. Το πρώτο μετατρέπει το αρχικό κείμενο που περιέχει σύμβολα όπως αριθμοί και συντομογραφίες στις αντίστοιχες λέξεις και το δεύτερο μέρος αντιστοιχίζει τις φωνητικές καταγραφές σε κάθε λέξη, και διαιρεί και σηματοδοτεί το κείμενο σε φράσεις και προτάσεις (Σφυρή, 2017).
Σχεδιασμός - Φιλοσοφία
Για να λειτουργήσει σωστά η εφαρμογή μας πρέπει να συνεργαστούν με συγκεκριμένη σειρά τα παρακάτω Components από την παλέτα του App Inventor.
Η επέκταση Speech Recognizer αναγνωρίζει την ομιλία του χρήστη και την μετατρέπει σε κείμενο.
Χρησιμοποιήστε ένα στοιχείο αναγνώρισης ομιλίας για να ακούσετε τον χρήστη να μιλάει και να μετατρέψετε τον προφορικό ήχο σε κείμενο χρησιμοποιώντας τη λειτουργία αναγνώρισης ομιλίας του Android.

Το στοιχείο Activity Starter εκκίνησης δραστηριότητας επιτρέπει στον χρήστη να συνδυάζει επιλογές προγραμματισμού, βάζοντας μια εφαρμογή να ξεκινά άλλες εφαρμογές.
Το Activity Starter είναι ένας βασικός τρόπος επέκτασης App Inventor, επειδή επιτρέπει την εκμετάλλευση εφαρμογών που γράφτηκαν από άλλους και δημιουργήθηκαν με άλλα πλαίσια ανάπτυξης.
Το στοιχείο TextToSpeech εκφωνεί ένα δεδομένο κείμενο δυνατά. Μπορεί να οριστεί η ένταση και ο ρυθμός ομιλίας. Μπορεί επίσης να οριστεί μια γλώσσα παρέχοντας έναν κωδικό γλώσσας. Το τελικό προϊόν της συνεργασίας θα ακουστεί στον χρήστη με ανθρώπινη φωνή.
Ανάλογα με το σημείο που βρίσκεται η συζήτηση η εφαρμογή έχει προγραμματιστεί να θέτει ερωτήματα ροής στον χρήστη ώστε να προχωρήσει παρακάτω.
Τα ερωτήματα ροής που τίθενται προκαθορίζουν το είδος της απάντησης και του επόμενου ερωτήματος ώστε να μην τεθούν λεκτικές αναφορές που δεν ανήκουν στον προγραμματισμό .
Σε περίπτωση που τίθεται ερώτημα που δεν έχει καταγεγραμμένες παραμέτρους, έχει δοθεί εντολή στην εφαρμογή να την καταγράφει σε μήνυμα κειμένου και να την αποστέλλει στον προγραμματιστή της εφαρμογής και να την εντάξει στο περιβάλλον της ως πιθανό ερώτημα από τους επόμενους χρήστες.
Η εφαρμογή που έχω αναπτύξει στα πλαίσια της διπλωματικής μου εργασίας είναι δημοσιευμένη στο Goole Play Store, Αν θέλετε να την εγκαταστήσετε στη συσκευή σας, ακολουθήστε τον σύνδεσμο:
https://play.google.com/store/apps/details?id=appinventor.ai_stergiosdomu.Fisika_1
Εναλλακτικά μπορείτε να την αναζητήσετε στην ίδια πλατφόρμα εισάγοντας τη φράση Φυσικά Ε δημοτικού.
Σε περίπτωση που η συσκευή σας δεν έχει συνεργασία με το Google Play Store, τότε κατεβάστε το αρχείο .apk ακολουθώντας τον παρακάτω σύνδεσμο.
https://drive.google.com/file/d/1P3eYFGxqsWs1ANoizq0VzV8V50h-aeAO/view?usp=share_link
(Online Workshop)