Interaksi multimodal merupakan salah satu konsep penting dalam pengembangan sistem interaktif, teknologi pendidikan, dan pembelajaran berbasis komputer. Konsep ini menjelaskan bagaimana manusia berinteraksi dengan suatu sistem melalui lebih dari satu modalitas, seperti gerakan tubuh, sentuhan, penglihatan, suara, dan bahasa.
Dalam konteks pembelajaran numerasi siswa sekolah dasar, interaksi multimodal dapat digunakan untuk memahami bagaimana siswa menggabungkan aktivitas fisik, informasi visual, umpan balik digital, dan proses berpikir ketika menyelesaikan tugas matematika.
1. Pengertian Interaksi Multimodal
Secara umum, multimodal interaction atau interaksi multimodal adalah bentuk interaksi manusia dengan sistem yang melibatkan dua atau lebih modalitas komunikasi atau tindakan. Modalitas merupakan saluran yang digunakan manusia untuk menerima informasi atau menyampaikan tindakan kepada sistem.
Contohnya, ketika seorang siswa menggunakan aplikasi pembelajaran matematika, ia dapat:
- Melihat angka dan objek pada layar melalui modalitas visual.
- Mendengar instruksi atau umpan balik melalui modalitas auditori.
- Menyentuh layar atau memindahkan objek melalui modalitas taktil dan motorik.
- Mengucapkan jawaban atau menjelaskan strategi melalui modalitas verbal.
Interaksi tersebut tidak selalu berlangsung secara terpisah. Beberapa modalitas dapat digunakan secara bersamaan dan saling melengkapi. Siswa, misalnya, dapat memindahkan balok hitung sambil melihat representasi jumlah pada layar tablet.
Dengan demikian, interaksi multimodal tidak sekadar berarti penggunaan banyak perangkat atau media. Hal yang lebih penting adalah bagaimana berbagai modalitas tersebut saling terhubung dalam satu aktivitas untuk mendukung komunikasi, tindakan, dan pemahaman pengguna.
2. Perbedaan Modalitas dan Media Pembelajaran
Modalitas sering kali disamakan dengan media, padahal keduanya memiliki pengertian yang berbeda.
Media pembelajaran merupakan sarana atau perangkat yang digunakan untuk menyampaikan materi, seperti buku, kartu angka, balok hitung, komputer, dan tablet.
Sementara itu, modalitas merupakan cara informasi diterima atau tindakan dilakukan. Sebuah tablet, misalnya, dapat melibatkan modalitas visual melalui tampilan layar, auditori melalui suara, dan taktil melalui sentuhan.
Aspek | Media pembelajaran | Modalitas interaksi |
|---|---|---|
Pengertian | Sarana untuk mendukung pembelajaran | Saluran penerimaan informasi atau penyampaian tindakan |
Contoh | Tablet, kartu angka, balok hitung | Visual, auditori, taktil, verbal |
Fungsi | Menyediakan materi dan aktivitas | Memungkinkan siswa berinteraksi dengan materi atau sistem |
Contoh penerapan | Siswa menggunakan tablet untuk belajar penjumlahan | Siswa melihat angka, menyentuh layar, dan mendengar umpan balik |
Perbedaan ini penting dalam penelitian. Penggunaan tablet dan balok hitung secara bersamaan belum tentu menghasilkan interaksi multimodal yang terintegrasi. Integrasi baru terjadi ketika tindakan dan informasi dari berbagai modalitas saling berhubungan dalam proses pembelajaran.
3. Jenis-Jenis Modalitas dalam Interaksi Multimodal
Dalam sistem pembelajaran interaktif, terdapat beberapa modalitas yang relevan.
a. Modalitas visual
Modalitas visual berkaitan dengan informasi yang diterima melalui penglihatan. Dalam pembelajaran numerasi, contohnya adalah angka, simbol operasi, diagram, warna, animasi, dan representasi jumlah benda.
b. Modalitas auditori
Modalitas auditori berkaitan dengan informasi yang diterima melalui pendengaran. Contohnya meliputi instruksi suara, pembacaan angka, bunyi ketika jawaban benar, atau penjelasan lisan dari guru.
c. Modalitas taktil
Modalitas taktil berkaitan dengan informasi yang diperoleh melalui sentuhan. Dalam pembelajaran numerasi, siswa dapat meraba, memegang, dan memindahkan benda konkret seperti balok atau keping hitung.
d. Modalitas gestural dan motorik
Modalitas ini berkaitan dengan gerakan tubuh dan tindakan fisik. Contohnya adalah menunjuk angka, menggeser objek, menyusun benda, atau mengelompokkan keping berdasarkan jumlah tertentu.
e. Modalitas verbal
Modalitas verbal berkaitan dengan penggunaan bahasa lisan atau tulisan. Siswa dapat menyebutkan angka, membaca soal, menjelaskan alasan, atau menyampaikan strategi penyelesaian.
Modalitas tersebut dapat digunakan secara terpisah maupun bersamaan. Dalam penelitian, penting untuk membedakan modalitas yang tersedia dalam sistem dengan modalitas yang benar-benar digunakan oleh siswa.
4. Landasan Teori yang Menjelaskan Interaksi Multimodal
Interaksi multimodal tidak berdiri di atas satu teori tunggal. Konsep ini berkembang dari beberapa bidang, terutama interaksi manusia-komputer (Human–Computer Interaction atau HCI), psikologi kognitif, ilmu persepsi, dan teori aktivitas. Sharon Oviatt mengidentifikasi sejumlah teori yang relevan untuk menjelaskan interaksi multimodal, termasuk teori Gestalt, memori kerja, teori aktivitas, kognisi terwujud, dan cognitive load theory.
Untuk penelitian pembelajaran numerasi, teori-teori tersebut dapat digunakan secara saling melengkapi. Ada teori yang menjelaskan bagaimana modalitas diintegrasikan, ada yang menjelaskan keterbatasan pemrosesan informasi, dan ada pula yang menjelaskan hubungan antara tindakan fisik dan pemahaman.
4.1 Teori Gestalt: Integrasi Informasi Menjadi Satu Kesatuan
Teori Gestalt menjelaskan bahwa manusia cenderung memahami unsur-unsur yang saling berhubungan sebagai suatu kesatuan yang bermakna. Dalam interaksi multimodal, teori ini relevan untuk menjelaskan bagaimana informasi dari beberapa modalitas dapat dipersepsikan sebagai satu pengalaman interaksi, bukan sebagai rangkaian sinyal yang tidak berhubungan.
Sebagai contoh, ketika siswa memindahkan tiga keping merah dan dua keping biru, kemudian melihat angka 5 pada layar, terdapat hubungan antara tindakan fisik, warna objek, dan representasi digital. Jika ketiganya disajikan secara konsisten, siswa dapat menghubungkan aktivitas tersebut dengan konsep penjumlahan.
Namun, keberadaan beberapa modalitas saja tidak otomatis membuat informasi menjadi terpadu. Hubungan antara tindakan dan respons sistem harus jelas. Jika siswa memindahkan benda tetapi layar menampilkan angka yang tidak sesuai, integrasi informasi dapat terganggu.
Dalam penelitian, teori Gestalt dapat digunakan untuk menganalisis kesesuaian antara tindakan fisik siswa, informasi visual, dan umpan balik digital.
4.2 Teori Memori Kerja: Kapasitas Pemrosesan Informasi
Teori memori kerja menjelaskan bahwa manusia memiliki kapasitas terbatas untuk mempertahankan dan mengolah informasi dalam waktu singkat. Ketika siswa mengerjakan soal matematika, mereka perlu memperhatikan instruksi, mengingat angka, memanipulasi benda, serta memahami representasi yang ditampilkan.
Jika terlalu banyak informasi disajikan secara bersamaan, siswa dapat mengalami kesulitan dalam memprosesnya. Karena itu, desain interaksi multimodal perlu memperhatikan jumlah informasi, kompleksitas tugas, dan kesesuaian umpan balik.
Contohnya, siswa kelas 1 yang sedang belajar menghitung lima benda mungkin belum membutuhkan animasi, suara, teks, dan instruksi tambahan yang muncul sekaligus. Tampilan yang sederhana dapat membantu siswa memusatkan perhatian pada hubungan antara jumlah benda dan lambang bilangan.
Teori ini dapat menjadi dasar untuk menentukan kapan dan bagaimana informasi visual, auditori, dan taktil disajikan dalam sistem pembelajaran.
4.3 Teori Aktivitas: Interaksi sebagai Kegiatan yang Memiliki Tujuan
Teori aktivitas memandang tindakan manusia sebagai bagian dari kegiatan yang diarahkan pada tujuan tertentu. Aktivitas tidak hanya dipengaruhi oleh individu, tetapi juga oleh alat yang digunakan, aturan, lingkungan, dan pihak lain yang terlibat.
Dalam pembelajaran numerasi, siswa merupakan subjek yang melakukan aktivitas. Objek atau tujuan aktivitasnya adalah memahami dan menyelesaikan tugas matematika. Balok hitung dan tablet berperan sebagai alat yang memediasi aktivitas tersebut. Guru, aturan pembelajaran, dan lingkungan kelas turut memengaruhi bagaimana aktivitas berlangsung.
Sebagai contoh, ketika siswa diminta menyelesaikan soal 6 + 2, ia dapat menggunakan balok hitung untuk merepresentasikan angka 6, menambahkan dua balok, kemudian melihat hasil pada layar. Guru dapat mengarahkan siswa untuk menjelaskan alasan di balik jawabannya.
Dengan perspektif teori aktivitas, peneliti dapat mengamati bukan hanya tindakan siswa, tetapi juga hubungan antara siswa, alat, tujuan pembelajaran, dan konteks kelas.
4.4 Kognisi Terwujud (Embodied Cognition): Berpikir melalui Tindakan Fisik
Kognisi terwujud merupakan pendekatan yang menekankan hubungan antara proses berpikir, tubuh, dan lingkungan fisik. Dalam perspektif ini, aktivitas kognitif tidak selalu berlangsung secara terpisah dari tindakan tubuh. Gerakan, persepsi, dan manipulasi objek dapat menjadi bagian dari proses berpikir.
Dalam pembelajaran numerasi, siswa dapat menggunakan benda konkret untuk membangun pemahaman tentang bilangan. Ketika siswa mengelompokkan sepuluh keping menjadi dua kelompok yang masing-masing berisi lima keping, tindakan tersebut dapat menjadi bagian dari proses memahami hubungan bilangan.
Dalam interaksi tangible–digital, objek fisik dapat menjadi sarana bagi siswa untuk mengeksplorasi konsep matematika. Sistem digital kemudian dapat memberikan representasi tambahan yang menghubungkan tindakan tersebut dengan simbol atau visualisasi.
Teori ini relevan untuk mengkaji hubungan antara tindakan motorik siswa dan pemahaman numerasi. Namun, tindakan fisik tidak boleh langsung dianggap sebagai bukti bahwa siswa telah memahami konsep. Pemahaman tetap perlu diperiksa melalui tugas, penjelasan, atau bentuk asesmen lain.
4.5 Cognitive Load Theory: Mengelola Beban Kognitif
Cognitive Load Theory menjelaskan bahwa pembelajaran dipengaruhi oleh beban pemrosesan informasi yang harus ditangani memori kerja. Dalam desain pembelajaran, materi dan aktivitas perlu disusun agar tidak memberikan beban yang tidak perlu.
Pada sistem multimodal, penggunaan beberapa modalitas dapat membantu penyampaian informasi, tetapi juga dapat menambah beban apabila tidak dirancang dengan tepat. Misalnya, suara yang tidak relevan, animasi berlebihan, dan instruksi yang terlalu panjang dapat mengganggu perhatian siswa.
Untuk pembelajaran numerasi kelas rendah, sistem sebaiknya menyajikan informasi secara bertahap. Ketika siswa sedang menghitung benda, layar dapat menampilkan jumlah yang relevan. Setelah siswa menyelesaikan tindakan, sistem dapat memberikan umpan balik sederhana.
Teori ini dapat digunakan sebagai dasar untuk mengevaluasi apakah desain interaksi membantu siswa memahami tugas atau justru menambah kompleksitas yang tidak diperlukan.
4.6 Teori Affordance: Kemungkinan Tindakan yang Ditawarkan Objek
Konsep affordance dalam desain interaksi berkaitan dengan kemungkinan tindakan yang ditawarkan oleh suatu objek atau lingkungan kepada pengguna. Sebuah benda dapat memberikan petunjuk tentang bagaimana benda tersebut dapat digunakan.
Dalam pembelajaran numerasi, balok hitung memungkinkan siswa untuk mengambil, menyusun, memindahkan, dan mengelompokkan benda. Tombol pada aplikasi dapat memungkinkan siswa memilih jawaban atau mengulang instruksi.
Desain yang baik membuat kemungkinan tindakan tersebut mudah dikenali. Misalnya, objek digital yang dapat digeser sebaiknya memiliki tampilan yang menunjukkan bahwa objek tersebut bisa dipindahkan. Demikian pula, benda konkret perlu memiliki ukuran dan bentuk yang sesuai dengan kemampuan motorik siswa.
Konsep affordance membantu peneliti menilai apakah objek fisik dan antarmuka digital menyediakan tindakan yang sesuai dengan tujuan pembelajaran.
5. Prinsip Integrasi Modalitas dalam Interaksi Multimodal
Selain teori kognitif, penelitian interaksi multimodal juga membahas bagaimana beberapa modalitas digunakan dan diintegrasikan. Salah satu aspek penting adalah hubungan waktu antara tindakan pengguna dan respons sistem.
Oviatt, DeAngeli, dan Kuhn (1997) mengidentifikasi pola integrasi modalitas yang meliputi penggunaan secara berurutan, simultan, dan gabungan. Penelitian tersebut menunjukkan bahwa hubungan waktu antara modalitas merupakan bagian penting dalam menganalisis interaksi manusia-komputer.
Dalam pembelajaran numerasi, prinsip integrasi tersebut dapat dijelaskan sebagai berikut.
Prinsip | Penjelasan | Contoh dalam pembelajaran |
|---|---|---|
Integrasi berurutan | Modalitas digunakan secara bergantian | Siswa menyusun benda, kemudian melihat hasil pada layar |
Integrasi simultan | Dua atau lebih modalitas digunakan pada waktu yang berdekatan atau bersamaan | Siswa memindahkan balok sambil mengamati perubahan pada layar |
Sinkronisasi | Tindakan dan respons sistem memiliki hubungan waktu yang sesuai | Angka pada layar berubah ketika jumlah benda berubah |
Komplementaritas | Modalitas memberikan informasi yang saling melengkapi | Benda menunjukkan jumlah secara konkret, sedangkan layar menampilkan simbol matematika |
Konsistensi | Informasi dari berbagai modalitas tidak saling bertentangan | Jumlah benda, angka, dan suara sistem menunjukkan hasil yang sama |
Kerangka Multimodal Interaction Space yang dikembangkan Bongers dan van der Veer juga membedakan interaksi berdasarkan modalitas sensorik, cara interaksi, dan tingkat interaksi. Kerangka ini menekankan bahwa interaksi dapat berlangsung melalui kombinasi modalitas yang berbeda, baik secara berurutan maupun paralel.
6. Hubungan Teori Interaksi Multimodal dengan Pembelajaran Numerasi
Berdasarkan teori-teori tersebut, interaksi multimodal dapat dipahami melalui tiga hubungan utama.
Pertama, hubungan antara persepsi dan informasi. Siswa menerima informasi melalui penglihatan, pendengaran, dan sentuhan. Informasi tersebut perlu disajikan secara konsisten agar siswa dapat menghubungkan berbagai representasi.
Kedua, hubungan antara tindakan dan proses berpikir. Siswa tidak hanya menerima informasi, tetapi juga melakukan tindakan fisik seperti mengambil, menyusun, dan mengelompokkan benda. Aktivitas tersebut dapat menjadi bagian dari proses eksplorasi konsep matematika.
Ketiga, hubungan antara tindakan siswa dan respons sistem. Sistem digital dapat menangkap tindakan siswa dan memberikan umpan balik. Hubungan ini memungkinkan siswa mengevaluasi tindakannya dan mencoba strategi lain.
7. Implikasi Teoretis untuk Penelitian
Untuk penelitian berjudul Pemodelan Interaksi Multimodal Tangible–Digital untuk Mengidentifikasi Mekanisme Pembentukan Kemampuan Numerasi Siswa Sekolah Dasar, teori interaksi multimodal dapat digunakan sebagai landasan untuk merumuskan variabel dan indikator penelitian.
Aspek penelitian | Landasan teori | Indikator yang dapat diamati |
|---|---|---|
Integrasi modalitas | Gestalt dan teori integrasi multimodal | Kesesuaian tindakan fisik dengan informasi digital |
Urutan interaksi | Teori interaksi multimodal | Urutan dan waktu tindakan siswa |
Aktivitas fisik | Kognisi terwujud | Jenis dan frekuensi manipulasi benda |
Beban pemrosesan | Memori kerja dan Cognitive Load Theory | Kesalahan, pengulangan instruksi, dan waktu respons |
Hubungan siswa dengan media | Teori aktivitas dan affordance | Cara siswa menggunakan objek dan sistem |
Proses numerasi | Teori pembelajaran dan asesmen matematika | Strategi, jawaban, serta penjelasan siswa |
Indikator tersebut merupakan kandidat untuk operasionalisasi penelitian. Tidak semua indikator dapat langsung digunakan sebagai ukuran kemampuan numerasi. Misalnya, waktu respons dan frekuensi manipulasi lebih tepat diperlakukan sebagai data proses interaksi, sedangkan pemahaman numerasi perlu dinilai menggunakan tugas atau instrumen yang sesuai.
Dengan demikian, penelitian dapat membedakan tiga hal: interaksi yang dilakukan siswa, proses belajar yang teramati, dan kemampuan numerasi yang berhasil ditunjukkan. Pembedaan ini penting agar hubungan antara aktivitas siswa dan hasil belajar tidak disimpulkan secara berlebihan.
8. Kesimpulan
Interaksi multimodal merupakan pendekatan yang menggabungkan berbagai modalitas manusia dalam berinteraksi dengan sistem. Landasan teorinya mencakup teori Gestalt, memori kerja, teori aktivitas, kognisi terwujud, Cognitive Load Theory, dan affordance. Setiap teori memberikan sudut pandang yang berbeda untuk memahami hubungan antara persepsi, tindakan, informasi, dan proses berpikir.
Dalam pembelajaran numerasi, teori-teori tersebut dapat digunakan untuk menjelaskan bagaimana siswa berinteraksi dengan benda konkret dan sistem digital. Integrasi modalitas memungkinkan peneliti mengamati aktivitas siswa secara lebih rinci, tetapi keberhasilan belajar tetap perlu dibuktikan melalui pengukuran kemampuan numerasi yang tepat.
Untuk penelitian tangible–digital, landasan teori ini dapat menjadi dasar penyusunan model konseptual, penentuan indikator interaksi, serta perancangan instrumen pengumpulan data.
Referensi Teoretis
1. Oviatt, S., DeAngeli, A., & Kuhn, K. (1997). Integration and synchronization of input modes during multimodal human-computer interaction. Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, 415–422.
