Perkembangan teknologi pembelajaran tidak lagi hanya berfokus pada interaksi melalui layar. Dalam berbagai sistem pembelajaran modern, objek fisik mulai dihubungkan dengan representasi digital sehingga tindakan terhadap benda nyata dapat menghasilkan perubahan pada sistem komputer. Pendekatan inilah yang menjadi salah satu dasar Tangible–Digital Interaction.
Dalam pembelajaran matematika dan numerasi, pendekatan tersebut menarik karena siswa tidak hanya melihat angka pada layar, tetapi dapat memegang, memindahkan, menyusun, dan mengelompokkan objek nyata. Aktivitas fisik tersebut kemudian dihubungkan dengan representasi atau umpan balik digital.
Sebagai contoh, seorang siswa menyusun empat balok merah dan tiga balok biru. Sistem mendeteksi tindakan tersebut dan menampilkan representasi:
4 + 3 = 7
Dengan demikian, terdapat hubungan antara objek fisik, tindakan siswa, sistem komputasi, dan representasi digital.
Pendekatan ini dapat menjadi jembatan antara pengalaman konkret dan representasi abstrak, terutama dalam pembelajaran pada siswa sekolah dasar.
1. Apa Itu Tangible–Digital Interaction?
Tangible–Digital Interaction dapat dipahami sebagai interaksi yang menghubungkan objek atau tindakan di dunia fisik dengan informasi dan proses komputasi di dunia digital.
Konsep ini memiliki hubungan erat dengan Tangible User Interface (TUI).
Ishii dan Ullmer (1997) memperkenalkan gagasan Tangible Bits, yaitu pendekatan untuk memberikan bentuk fisik pada informasi digital sehingga pengguna dapat berinteraksi dengan informasi melalui objek dan lingkungan fisik.
Pada antarmuka komputer konvensional, hubungan antara pengguna dan informasi digital biasanya terjadi melalui:
Pengguna → mouse/keyboard/touchscreen → komputer
Pada pendekatan tangible, hubungan tersebut dapat berubah menjadi:
Pengguna → objek fisik → sistem digital
Objek fisik tidak lagi sekadar alat bantu. Objek tersebut dapat menjadi bagian dari mekanisme input, representasi, atau kontrol terhadap informasi digital.
Contohnya meliputi:
- balok yang dapat dikenali kamera,
- kartu angka dengan RFID,
- keping matematika dengan marker,
- objek dengan sensor,
- kubus interaktif,
- manipulatif matematika yang terhubung dengan tablet.
Ketika siswa memindahkan benda, sistem dapat mengenali tindakan tersebut dan menghasilkan respons digital.
2. Dari Graphical User Interface Menuju Tangible User Interface
Untuk memahami Tangible–Digital Interaction, kita perlu melihat perkembangan antarmuka manusia-komputer.
Command Line Interface
Pada sistem komputer generasi awal, pengguna berinteraksi melalui perintah teks.
Contohnya:
COPY FILE
atau:
DELETE FILE
Pengguna harus memahami sintaks tertentu untuk berinteraksi dengan komputer.
Graphical User Interface
Perkembangan berikutnya menghasilkan Graphical User Interface (GUI).
Informasi direpresentasikan melalui:
- icon,
- window,
- menu,
- pointer,
- tombol.
Pengguna tidak lagi harus menghafalkan seluruh perintah.
Namun, interaksi tetap berlangsung terutama pada permukaan layar.
Tangible User Interface
TUI membawa interaksi digital menuju lingkungan fisik.
Dalam pendekatan ini:
informasi digital ↔ objek fisik
Pengguna dapat memegang dan memanipulasi representasi informasi secara langsung.
Perubahan tersebut dapat digambarkan sebagai:
CLI → GUI → TUI
atau secara konseptual:
Text → Screen → Physical–Digital Interaction
TUI tidak berarti GUI menjadi tidak berguna. Banyak sistem justru menggabungkan keduanya. Tablet tetap digunakan sebagai layar, sementara benda konkret digunakan sebagai antarmuka fisik.
3. Teori Dasar Tangible–Digital Interaction
Tangible–Digital Interaction tidak dibangun dari satu teori tunggal. Pendekatan ini memiliki hubungan dengan Human–Computer Interaction, embodied interaction, distributed cognition, affordance, dan teori pembelajaran berbasis manipulatif.
Beberapa landasan yang paling relevan adalah sebagai berikut.
3.1 Tangible Bits
Konsep Tangible Bits diperkenalkan oleh Hiroshi Ishii dan Brygg Ullmer.
Gagasan utamanya adalah menghubungkan dunia digital yang tidak berwujud dengan lingkungan fisik.
Dalam kerangka ini, objek fisik dapat berfungsi sebagai representasi sekaligus mekanisme kontrol terhadap informasi digital.
Hubungan sederhananya adalah:
Physical Object ↔ Digital Information
Misalnya, sebuah balok tidak hanya merepresentasikan angka 5. Ketika balok tersebut ditempatkan pada area tertentu, komputer dapat mendeteksinya dan menampilkan informasi yang berhubungan dengan angka tersebut.
Konsep ini menjadi salah satu fondasi penting perkembangan Tangible User Interface.
3.2 Embodied Interaction
Paul Dourish mengembangkan konsep Embodied Interaction, yang menekankan bahwa interaksi manusia dengan teknologi terjadi dalam konteks fisik dan sosial.
Manusia tidak hanya memproses informasi secara abstrak. Tubuh, tindakan, ruang, objek, dan lingkungan ikut membentuk interaksi.
Dalam pembelajaran numerasi, misalnya, tindakan:
mengambil → memindahkan → mengelompokkan → membandingkan
dapat menjadi bagian dari proses memahami bilangan.
Siswa tidak sekadar melihat:
3 + 2 = 5
tetapi dapat melakukan:
●●● + ●● → ●●●●●
Kemudian sistem digital menghubungkan tindakan tersebut dengan simbol:
3 + 2 = 5
Di sinilah hubungan antara aktivitas tubuh dan representasi digital menjadi penting.
3.3 Embodied Cognition
Tangible interaction juga memiliki hubungan kuat dengan Embodied Cognition.
Pendekatan ini memandang proses kognitif sebagai sesuatu yang tidak sepenuhnya terpisah dari tubuh dan lingkungan.
Dalam pembelajaran matematika, aktivitas fisik seperti:
- menghitung benda,
- memindahkan objek,
- membuat kelompok,
- mengurutkan benda,
- menunjuk,
- menyusun pola,
dapat berperan dalam proses membangun pemahaman.
Karena itu, penggunaan manipulatif fisik berpotensi membantu siswa menghubungkan pengalaman konkret dengan representasi matematika.
Namun, manipulasi benda tidak otomatis menghasilkan pemahaman. Desain aktivitas, instruksi, dan hubungan antara objek dengan konsep matematika tetap menentukan.
3.4 Affordance
Konsep affordance membantu menjelaskan kemungkinan tindakan yang ditawarkan suatu objek kepada pengguna.
Misalnya:
balok dapat dipegang,
keping dapat dipindahkan,
kartu dapat dibalik,
objek dapat dikelompokkan.
Dalam Tangible–Digital Interaction, affordance fisik tersebut dapat dihubungkan dengan fungsi digital.
Sebagai contoh:
memindahkan keping → mengubah nilai pada layar
atau:
menggabungkan dua kelompok benda → menampilkan operasi penjumlahan
Objek yang digunakan sebaiknya memberikan petunjuk alami mengenai tindakan yang dapat dilakukan.
3.5 Distributed Cognition
Konsep Distributed Cognition melihat aktivitas kognitif sebagai proses yang dapat tersebar antara manusia, objek, representasi, dan lingkungan.
Dalam pembelajaran tangible–digital, proses penyelesaian masalah tidak hanya berlangsung "di kepala siswa".
Sebagian informasi terdapat pada:
siswa + objek fisik + representasi digital + lingkungan
Misalnya, ketika siswa menyelesaikan:
17 + 8
ia dapat menggunakan balok satuan dan puluhan.
Balok membantu menyimpan representasi jumlah secara eksternal. Tablet kemudian menampilkan simbol matematika. Siswa menghubungkan keduanya untuk menghasilkan solusi.
Objek fisik dan representasi digital dengan demikian dapat menjadi bagian dari sistem kognitif yang digunakan siswa untuk menyelesaikan masalah.
4. Model Dasar Tangible–Digital Interaction
Salah satu model sederhana Tangible–Digital Interaction dapat digambarkan sebagai:
User → Physical Object → Sensing System → Digital System → Feedback → User
Setiap komponen memiliki fungsi tertentu.
User
Pengguna melakukan tindakan terhadap objek.
Dalam pembelajaran, pengguna dapat berupa siswa.
Physical Object
Objek merupakan benda yang dapat dimanipulasi.
Contohnya:
- balok,
- kartu,
- keping,
- kubus,
- manipulatif matematika.
Sensing System
Sistem mendeteksi perubahan atau tindakan terhadap objek.
Teknologinya dapat menggunakan:
- kamera,
- RFID,
- NFC,
- sensor tekanan,
- sensor posisi,
- accelerometer,
- computer vision.
Digital System
Data dari sensor diproses oleh aplikasi atau komputer.
Sistem menentukan arti tindakan pengguna.
Feedback
Sistem memberikan respons melalui:
- visual,
- suara,
- animasi,
- angka,
- simbol,
- getaran.
Kemudian pengguna merespons kembali.
Terbentuklah siklus:
Action → Detection → Processing → Feedback → New Action
Siklus ini dapat terjadi berulang kali selama aktivitas belajar.
5. Model MCRit
Salah satu model penting dalam kajian Tangible User Interface dikembangkan oleh Ullmer dan Ishii.
Model tersebut dikenal sebagai MCRit, yang menggambarkan hubungan antara:
Model – Control – Representation – intangible – tangible
Pada GUI tradisional, kontrol dan representasi umumnya berada pada layar.
Pada TUI, sebagian representasi dan kontrol diwujudkan melalui objek fisik.
Secara sederhana:
Physical Representation + Digital Representation → Interaction
Sebagai contoh, balok fisik dapat menjadi representasi sebuah bilangan sekaligus menjadi alat untuk mengubah nilai pada sistem.
Ketika siswa menambahkan balok:
objek berubah → model digital berubah → representasi digital berubah
Konsep tersebut sangat relevan untuk sistem pembelajaran matematika berbasis manipulatif.
6. Model Token + Constraint
Ullmer, Ishii, dan Jacob juga mengembangkan pendekatan Token + Constraint untuk menjelaskan struktur Tangible User Interface.
Token
Token adalah objek fisik yang membawa atau merepresentasikan informasi tertentu.
Contohnya:
- kartu angka,
- balok,
- keping,
- kubus.
Constraint
Constraint merupakan area atau struktur yang membatasi bagaimana token dapat digunakan.
Contohnya berupa:
- slot,
- papan,
- jalur,
- area tertentu,
- permukaan interaktif.
Misalnya terdapat kartu angka:
2 | 4 | 6 | 8
Siswa diminta meletakkannya pada jalur urutan bilangan.
Kartu merupakan token, sedangkan jalur tempat kartu diletakkan merupakan constraint.
Model ini menarik untuk pembelajaran karena interaksi dapat dirancang berdasarkan aturan fisik tertentu.
7. Reality-Based Interaction
Jacob dan koleganya mengembangkan konsep Reality-Based Interaction (RBI).
Prinsip dasarnya adalah memanfaatkan pengetahuan dan kemampuan yang telah dimiliki manusia dari interaksi dengan dunia nyata.
RBI menyoroti beberapa aspek seperti:
- kemampuan tubuh,
- kesadaran terhadap lingkungan,
- keterampilan berinteraksi dengan objek,
- kesadaran sosial.
Tangible interface dapat memanfaatkan kemampuan alami tersebut.
Anak tidak perlu memahami konsep seperti drag-and-drop terlebih dahulu untuk memindahkan sebuah balok nyata. Ia sudah mengetahui bahwa benda dapat:
diambil → dipindahkan → diletakkan
Interaksi digital kemudian dibangun di atas kemampuan tersebut.
8. Model Tangible–Digital untuk Pembelajaran
Untuk konteks pembelajaran, model tersebut dapat dikembangkan menjadi:
Learning Task
↓
Physical Manipulation
↓
Digital Detection
↓
Digital Representation
↓
Cognitive Interpretation
↓
Learning Outcome
Misalnya guru memberikan tugas:
"Buatlah bilangan 8."
Siswa mengambil delapan keping.
Physical manipulation:
● ● ● ● ● ● ● ●
Kamera mendeteksi jumlah objek.
Digital representation:
8
Kemudian sistem dapat menampilkan:
5 + 3 = 8
atau:
4 + 4 = 8
Siswa dapat mulai memahami bahwa satu bilangan dapat direpresentasikan dengan beberapa komposisi.
9. Tangible–Digital sebagai Interaksi Multimodal
Tangible–Digital Interaction pada dasarnya dapat menghasilkan interaksi multimodal.
Ketika siswa menggunakan benda konkret bersama sistem digital, beberapa modalitas dapat terlibat secara bersamaan.
| Modalitas | Aktivitas |
|---|---|
| Visual | Melihat objek dan representasi digital |
| Taktil | Menyentuh dan memegang objek |
| Motorik | Memindahkan dan menyusun objek |
| Auditori | Mendengar instruksi atau feedback |
| Verbal | Menjelaskan strategi |
| Digital | Menerima respons sistem |
Karena itu, hubungan antara keduanya dapat dipahami sebagai:
Tangible Interaction
↓
Physical Manipulation
↓
Multimodal Interaction
↓
Digital Feedback
↓
Cognitive Processing
↓
Learning
Perlu dibedakan bahwa tangible dan multimodal bukan istilah yang identik. Sistem tangible dapat melibatkan beberapa modalitas, tetapi penelitian multimodal memiliki cakupan yang lebih luas daripada tangible interaction.
10. Teknologi untuk Membangun Sistem Tangible–Digital
Implementasi tidak selalu membutuhkan perangkat mahal. Ini kabar baik, karena dunia pendidikan sudah memiliki cukup banyak hal yang ingin dibeli tetapi anggarannya tidak ikut berkembang.
Beberapa teknologi yang dapat digunakan antara lain:
Computer Vision
Kamera digunakan untuk mendeteksi:
- jumlah benda,
- warna,
- posisi,
- marker,
- pola.
Teknologi seperti OpenCV dapat digunakan untuk memproses citra.
Model sederhananya:
Camera → Object Detection → Data → Application
RFID
Setiap benda memiliki tag RFID.
Ketika benda diletakkan pada reader:
RFID Tag → Reader → Microcontroller → Application
Sistem dapat mengetahui identitas objek.
NFC
NFC dapat digunakan untuk kartu atau objek yang ditempelkan pada perangkat pembaca.
Contohnya:
Kartu angka 5 → NFC reader → sistem menampilkan lima objek
Sensor
Sensor dapat mendeteksi:
- tekanan,
- jarak,
- gerakan,
- orientasi,
- sentuhan.
Microcontroller
ESP32 atau perangkat sejenis dapat menjadi penghubung antara objek fisik dan aplikasi.
Arsitekturnya dapat berupa:
Physical Object
↓
Sensor / RFID
↓
ESP32
↓
Wi-Fi / Bluetooth
↓
Application
↓
Digital Feedback
11. Penerapan Tangible–Digital dalam Pembelajaran Numerasi
Pendekatan tangible–digital sangat relevan untuk pembelajaran matematika kelas rendah karena banyak konsep matematika awal berhubungan dengan jumlah dan manipulasi objek.
Mengenal Bilangan
Siswa diminta mengambil lima benda.
Sistem mendeteksi:
● ● ● ● ●
kemudian menampilkan:
5
Siswa menghubungkan:
quantity ↔ symbol
Penjumlahan
Siswa membuat dua kelompok:
● ● ●
dan
● ●
kemudian menggabungkannya.
Sistem menampilkan:
3 + 2 = 5
Pengurangan
Siswa memiliki tujuh benda.
Kemudian dua benda diambil.
Sistem menampilkan:
7 - 2 = 5
Nilai Tempat
Balok dapat dibedakan menjadi:
satuan | puluhan | ratusan
Misalnya:
2 balok puluhan + 5 satuan
↓
25
Representasi fisik tersebut dapat dihubungkan dengan representasi digital.
12. Tangible–Digital untuk Mengamati Proses Belajar
Bagian yang sangat menarik untuk penelitian adalah bahwa sistem tangible–digital tidak hanya dapat digunakan sebagai media pembelajaran.
Sistem juga dapat berfungsi sebagai instrumen observasi proses belajar.
Setiap tindakan siswa dapat direkam sebagai interaction event.
Misalnya:
| Waktu | Tindakan |
|---|---|
| 00:01 | Mengambil keping merah |
| 00:03 | Mengambil keping merah |
| 00:05 | Mengambil keping biru |
| 00:08 | Memindahkan kelompok |
| 00:12 | Mengubah strategi |
| 00:17 | Memberikan jawaban |
Data tersebut menghasilkan interaction sequence.
Dari data ini dapat dianalisis:
- waktu respons,
- jumlah manipulasi,
- pola tindakan,
- urutan strategi,
- perubahan strategi,
- kesalahan,
- koreksi diri.
Dengan demikian, peneliti tidak hanya memperoleh:
Jawaban = benar/salah
tetapi juga:
bagaimana siswa mencapai jawaban tersebut.
Perbedaan ini sangat penting untuk penelitian tentang mekanisme pembentukan kemampuan numerasi.
13. Model Konseptual Tangible–Digital untuk Numerasi
Berdasarkan teori tangible interaction, embodied cognition, multimodal interaction, dan pembelajaran numerasi, sebuah model konseptual awal dapat dirumuskan sebagai:
Numeracy Task
↓
Tangible Manipulation
↓
Multimodal Interaction
↓
Digital Detection
↓
Digital Feedback
↓
Cognitive Processing
↓
Strategy Adaptation
↓
Numeracy Performance
Namun proses pembelajaran kemungkinan tidak sepenuhnya linear.
Siswa dapat kembali melakukan manipulasi setelah menerima feedback.
Karena itu model yang lebih realistis adalah:
Task → Action → Feedback → Evaluation → New Action
yang berlangsung secara iteratif.
Secara konseptual:
Stimulus Numerasi
↓
Interaksi Tangible
↓
Akuisisi Data Multimodal
↓
Representasi Digital
↓
Interpretasi dan Evaluasi
↓
Perubahan Strategi
↓
Pemahaman Numerasi
↺
Interaksi berikutnya
Model tersebut dapat menjadi dasar untuk mengembangkan penelitian yang tidak hanya menilai efektivitas media, tetapi mencoba mengidentifikasi pola interaksi yang berkaitan dengan perkembangan kemampuan numerasi.
14. Arah Pengembangan Penelitian
Tangible–Digital Interaction membuka beberapa arah penelitian.
Pertama, penelitian dapat membandingkan pembelajaran menggunakan:
physical manipulatives vs digital manipulatives vs tangible–digital manipulatives.
Kedua, penelitian dapat mengidentifikasi pola interaksi siswa berdasarkan data temporal.
Misalnya:
Pattern A
Observe → Manipulate → Correct → Answer
dibandingkan dengan:
Pattern B
Manipulate → Error → Repeat → Change Strategy → Answer.
Ketiga, data tersebut dapat dianalisis menggunakan metode komputasional seperti:
- sequence analysis,
- clustering,
- Markov model,
- process mining,
- machine learning,
- temporal pattern analysis.
Pada tahap yang lebih lanjut, sistem bahkan dapat dikembangkan menjadi adaptive tangible learning system.
Arsitekturnya dapat berupa:
Student Interaction
↓
Interaction Data
↓
Learning Analytics
↓
Pattern Recognition
↓
Student Model
↓
Adaptive Feedback
Dengan pendekatan tersebut, sistem tidak hanya memberikan jawaban benar atau salah, tetapi berusaha mengenali pola strategi yang digunakan siswa.
15. Kesimpulan
Tangible–Digital Interaction merupakan pendekatan yang menghubungkan objek dan tindakan di dunia fisik dengan informasi serta proses komputasi di dunia digital. Konsep ini berkembang dari penelitian Human–Computer Interaction, terutama Tangible User Interface dan Tangible Bits.
Landasan teoretisnya berkaitan dengan Embodied Interaction, Embodied Cognition, Affordance, Distributed Cognition, Token + Constraint, dan Reality-Based Interaction.
Dalam pembelajaran, pendekatan tangible–digital memungkinkan siswa berinteraksi dengan konsep abstrak melalui aktivitas fisik. Benda konkret dapat digunakan untuk merepresentasikan bilangan, operasi, pola, dan hubungan matematika, sedangkan sistem digital menyediakan representasi serta umpan balik.
Nilai penelitian tangible–digital menjadi lebih besar ketika interaksi siswa direkam sebagai data. Urutan tindakan, waktu respons, manipulasi benda, kesalahan, koreksi diri, dan perubahan strategi dapat digunakan untuk mempelajari proses belajar yang sulit diamati jika penelitian hanya menggunakan skor hasil tes.
Dengan demikian, Tangible–Digital Interaction dapat ditempatkan bukan hanya sebagai teknologi pembelajaran, tetapi sebagai kerangka interaksi untuk menginvestigasi hubungan antara tindakan fisik, representasi digital, strategi kognitif, dan perkembangan kemampuan numerasi siswa.
Referensi
Ishii, H., & Ullmer, B. (1997). Tangible Bits: Towards seamless interfaces between people, bits and atoms. Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems, 234–241. DOI: 10.1145/258549.258715.
Ullmer, B., & Ishii, H. (2000). Emerging frameworks for tangible user interfaces. IBM Systems Journal, 39(3–4), 915–931. DOI: 10.1147/sj.393.0915.
Ullmer, B., Ishii, H., & Jacob, R. J. K. (2005). Token+Constraint systems for tangible interaction with digital information. ACM Transactions on Computer-Human Interaction, 12(1), 81–118. DOI: 10.1145/1057237.1057242.
Dourish, P. (2001). Where the Action Is: The Foundations of Embodied Interaction. MIT Press.
Jacob, R. J. K., Girouard, A., Hirshfield, L. M., Horn, M. S., Shaer, O., Solovey, E. T., & Zigelbaum, J. (2008). Reality-based interaction: A framework for post-WIMP interfaces. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 201–210. DOI: 10.1145/1357054.1357089.
Shaer, O., & Hornecker, E. (2010). Tangible user interfaces: Past, present, and future directions. Foundations and Trends in Human–Computer Interaction, 3(1–2), 1–137. DOI: 10.1561/1100000026.
Antle, A. N. (2007). The CTI framework: Informing the design of tangible systems for children. Proceedings of the 1st International Conference on Tangible and Embedded Interaction, 195–202. DOI: 10.1145/1226969.1227010.
Marshall, P. (2007). Do tangible interfaces enhance learning? Proceedings of the 1st International Conference on Tangible and Embedded Interaction, 163–170. DOI: 10.1145/1226969.1227004.
