Pengembangan Sistem Estimasi Kalori Bahan Pangan Berbasis Citra dengan Hibrida Vision Transformer–XGBoost

Pencatatan kalori secara manual masih menjadi tantangan karena keakuratannya sangat bergantung pada kemampuan pengguna dalam mengenali jenis bahan pangan dan memperkirakan beratnya. Penelitian ini mengembangkan sistem estimasi kalori bahan pangan berbasis citra melalui pendekatan dua tahap, yaitu identifikasi bahan pangan dan perhitungan kalori secara deterministik berdasarkan referensi Tabel Komposisi Pangan Indonesia (TKPI). Sistem dirancang menggunakan arsitektur hibrida Vision Transformer sebagai ekstraktor fitur visual dan XGBoost sebagai model klasifikasi untuk mengenali sepuluh kelas bahan pangan, meliputi beras putih, telur ayam, kentang, wortel, bawang merah, bawang putih, cabai merah, jagung kuning, tomat merah, dan terung ungu. Sebelum proses klasifikasi, citra diproses menggunakan YOLOv8n untuk mendeteksi objek dan menentukan area bahan pangan yang akan dianalisis sehingga sistem dapat memproses citra yang memuat lebih dari satu bahan pangan dalam satu gambar. Dataset penelitian terdiri atas 5.000 citra yang diperoleh dari dua sumber publik, yaitu Kaggle dan Pixabay API, kemudian dibagi dengan rasio 70:15:15 untuk data training, validasi, dan testing. Augmentasi diterapkan pada data training sehingga jumlah data pelatihan meningkat menjadi 21.000 citra. Parameter XGBoost dioptimalkan menggunakan metode Grid Search pada data validasi. Setelah bahan pangan teridentifikasi, estimasi kalori dihitung secara proporsional berdasarkan nilai kalori per 100 gram dari TKPI dan berat yang dimasukkan oleh pengguna. Hasil evaluasi pada data testing menunjukkan bahwa model ViT+XGBoost memperoleh accuracy sebesar 98,80%, precision sebesar 98,82%, recall sebesar 98,80%, dan F1-score sebesar 98,80%. Sebagai pembanding, model baseline Simple CNN yang dilatih menggunakan dataset yang sama memperoleh accuracy sebesar 94,80%, precision sebesar 94,83%, recall sebesar 94,80%, dan F1-score sebesar 94,78%. Hasil tersebut menunjukkan bahwa model ViT+XGBoost memberikan performa yang lebih baik dibandingkan model baseline pada seluruh metrik evaluasi yang digunakan. Sistem berhasil diimplementasikan dalam bentuk aplikasi web berbasis Streamlit yang mengintegrasikan deteksi objek, klasifikasi bahan pangan, dan perhitungan estimasi kalori berbasis TKPI dalam satu alur pemrosesan.

===================================================================================

Manual calorie recording remains a challenge because its accuracy is highly dependent on the user’s ability to recognize food types and estimate their weight. This study develops an image-based food calorie estimation system using a two-stage approach: food ingredient identification and deterministic calorie calculation based on the Indonesian Food Composition Table (Tabel Komposisi Pangan Indonesia or TKPI). The system is designed using hybrid Vision Transformer architecture as a visual feature extractor and XGBoost as a classification model to recognize ten food ingredient classes, including white rice, chicken eggs, potatoes, carrots, shallots, garlic, red chilies, yellow corn, red tomatoes, and purple eggplant. Prior to the classification process, images were processed using YOLOv8n to detect objects and determine the food ingredient area to be analyzed; thus, the system can process images containing more than one food ingredient in a single image. The research dataset consisted of 5,000 images obtained from two public sources, namely, the Kaggle and Pixabay APIs, and then divided with a ratio of 70:15:15 for training, validation, and testing data. Augmentation was applied to the training data; thus, the number of training data increased to 21,000 images. XGBoost parameters were optimized using the Grid Search method on the validation data. After the food ingredients were identified, calorie estimation was calculated proportionally based on the calorie value per 100 grams from TKPI and the weight entered by the user. The evaluation results on the testing data showed that the ViT+XGBoost model achieved an accuracy of 98.80%, a precision of 98.82%, a recall of 98.80%, and an F1-score of 98.80%. For comparison, the baseline Simple CNN model trained on the same dataset achieved an accuracy of 94.80%, a precision of 94.83%, a recall of 94.80%, and an F1-score of 94.78%. These results indicated that the ViT+XGBoost model performed better than the baseline model across all evaluation metrics used. The system was successfully implemented as a Streamlit-based web application that integrates object detection, food classification, and TKPI-based calorie estimation calculations in a single processing flow.