helios dashboard

import%20marimo%0A%0A__generated_with%20%3D%20%220.16.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%20Helios%20Kaggle%20Competition%20-%20Evaluation%20Dashboard%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20sklearn.metrics%20import%20f1_score%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20alt%2C%20f1_score%2C%20mo%2C%20np%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Constants%20and%20configuration%0A%20%20%20%20DATA_URL%20%3D%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fchildmindresearch%2Fhelios_eval%2Frefs%2Fheads%2Fmain%2Fdata%2Ftop20results_anonymized.csv%22%0A%0A%20%20%20%20%23%20Chart%20dimensions%0A%20%20%20%20CHART_WIDTH%20%3D%20800%0A%20%20%20%20CHART_HEIGHT%20%3D%20400%0A%20%20%20%20BOXPLOT_WIDTH%20%3D%20300%0A%20%20%20%20BOXPLOT_HEIGHT%20%3D%20300%0A%0A%20%20%20%20%23%20Bootstrap%20configuration%0A%20%20%20%20DEFAULT_BOOTSTRAP_SAMPLES%20%3D%20100%0A%20%20%20%20CONFIDENCE_INTERVAL_PERCENTILES%20%3D%20%5B2.5%2C%2097.5%5D%0A%0A%20%20%20%20%23%20Submission%20configuration%0A%20%20%20%20NUM_SUBMISSIONS%20%3D%2020%0A%0A%20%20%20%20%23%20Chart%20color%20schemes%0A%20%20%20%20CHART_COLOR_SCHEME%20%3D%20%22redblue%22%0A%20%20%20%20DELTA_COLOR_SCHEME%20%3D%20%22reds%22%0A%20%20%20%20GESTURE_TYPE_COLORS%20%3D%20%5B%22%231f77b4%22%2C%20%22%23ff7f0e%22%5D%20%20%23%20Target%2C%20Non-Target%0A%0A%20%20%20%20%23%20Metric%20display%20order%0A%20%20%20%20METRIC_DISPLAY_ORDER%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22F1-Score%22%2C%0A%20%20%20%20%20%20%20%20%22Accuracy%22%2C%0A%20%20%20%20%20%20%20%20%22Precision%22%2C%0A%20%20%20%20%20%20%20%20%22Recall%22%2C%0A%20%20%20%20%20%20%20%20%22Specificity%22%2C%0A%20%20%20%20%20%20%20%20%22NPV%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20Precision%20for%20rounding%20metrics%0A%20%20%20%20METRIC_PRECISION%20%3D%205%0A%0A%20%20%20%20%23%20Format%20string%20for%20displaying%20metrics%20(e.g.%2C%20%22.5f%22)%0A%20%20%20%20METRIC_FORMAT%20%3D%20f%22.%7BMETRIC_PRECISION%7Df%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BOXPLOT_HEIGHT%2C%0A%20%20%20%20%20%20%20%20BOXPLOT_WIDTH%2C%0A%20%20%20%20%20%20%20%20CHART_COLOR_SCHEME%2C%0A%20%20%20%20%20%20%20%20CHART_HEIGHT%2C%0A%20%20%20%20%20%20%20%20CHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20CONFIDENCE_INTERVAL_PERCENTILES%2C%0A%20%20%20%20%20%20%20%20DATA_URL%2C%0A%20%20%20%20%20%20%20%20DEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20%20%20%20%20DELTA_COLOR_SCHEME%2C%0A%20%20%20%20%20%20%20%20GESTURE_TYPE_COLORS%2C%0A%20%20%20%20%20%20%20%20METRIC_DISPLAY_ORDER%2C%0A%20%20%20%20%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20NUM_SUBMISSIONS%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(f1_score%2C%20mo)%3A%0A%20%20%20%20class%20CompetitionMetric%3A%0A%20%20%20%20%20%20%20%20%22%22%22Hierarchical%20macro%20F1%20for%20the%20CMI%202025%20challenge.%22%22%22%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.target_gestures%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Above%20ear%20-%20pull%20hair%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Cheek%20-%20pinch%20skin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Eyebrow%20-%20pull%20hair%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Eyelash%20-%20pull%20hair%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Forehead%20-%20pull%20hairline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Forehead%20-%20scratch%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neck%20-%20pinch%20skin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neck%20-%20scratch%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.non_target_gestures%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Write%20name%20on%20leg%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Wave%20hello%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Glasses%20on%2Foff%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Text%20on%20phone%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Write%20name%20in%20air%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Feel%20around%20in%20tray%20and%20pull%20out%20an%20object%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Scratch%20knee%2Fleg%20skin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pull%20air%20toward%20your%20face%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Drink%20from%20bottle%2Fcup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pinch%20knee%2Fleg%20skin%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.all_classes%20%3D%20self.target_gestures%20%2B%20self.non_target_gestures%0A%0A%20%20%20%20%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20%20%20%20%20def%20calculate_hierarchical_f1(self%2C%20df%2C%20sol_col%3A%20str%2C%20sub_col%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Validate%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20invalid_types%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20i%20for%20i%20in%20df%5Bsub_col%5D.unique()%20if%20i%20not%20in%20self.all_classes%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20invalid_types%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Invalid%20gesture%20values%20in%20submission%3A%20%7Binvalid_types%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20binary%20F1%20(Target%20vs%20Non-Target)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_true_bin%20%3D%20df%5Bsol_col%5D.isin(self.target_gestures).values%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_bin%20%3D%20df%5Bsub_col%5D.isin(self.target_gestures).values%0A%20%20%20%20%20%20%20%20%20%20%20%20f1_binary%20%3D%20f1_score(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_true_bin%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred_bin%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pos_label%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zero_division%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20average%3D%22binary%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Build%20multi-class%20labels%20for%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20y_true_mc%20%3D%20df%5Bsol_col%5D.apply(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20x%3A%20x%20if%20x%20in%20self.target_gestures%20else%20%22non_target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_mc%20%3D%20df%5Bsub_col%5D.apply(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20x%3A%20x%20if%20x%20in%20self.target_gestures%20else%20%22non_target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20macro%20F1%20over%20all%20gesture%20classes%0A%20%20%20%20%20%20%20%20%20%20%20%20f1_macro%20%3D%20f1_score(y_true_mc%2C%20y_pred_mc%2C%20average%3D%22macro%22%2C%20zero_division%3D0)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.5%20*%20f1_binary%20%2B%200.5%20*%20f1_macro%0A%20%20%20%20return%20(CompetitionMetric%2C)%0A%0A%0A%40app.cell%0Adef%20_(METRIC_PRECISION%2C%20mo)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20calculate_metrics_from_confusion_matrix(tp%2C%20fn%2C%20fp%2C%20tn)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Calculate%20all%20evaluation%20metrics%20from%20confusion%20matrix%20values.%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Calculate%20derived%20metrics%2C%20handling%20division%20by%20zero%0A%20%20%20%20%20%20%20%20recall%20%3D%20tp%20%2F%20(tp%20%2B%20fn)%20if%20(tp%20%2B%20fn)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20precision%20%3D%20tp%20%2F%20(tp%20%2B%20fp)%20if%20(tp%20%2B%20fp)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20fpr%20%3D%20fp%20%2F%20(fp%20%2B%20tn)%20if%20(fp%20%2B%20tn)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20fnr%20%3D%20fn%20%2F%20(fn%20%2B%20tp)%20if%20(fn%20%2B%20tp)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20specificity%20%3D%20tn%20%2F%20(tn%20%2B%20fp)%20if%20(tn%20%2B%20fp)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20f1_score%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%20*%20precision%20*%20recall)%20%2F%20(precision%20%2B%20recall)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(precision%20%2B%20recall)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20else%200%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20accuracy%20%3D%20(tp%20%2B%20tn)%20%2F%20(tp%20%2B%20tn%20%2B%20fp%20%2B%20fn)%20if%20(tp%20%2B%20tn%20%2B%20fp%20%2B%20fn)%20%3E%200%20else%200%0A%20%20%20%20%20%20%20%20npv%20%3D%20tn%20%2F%20(tn%20%2B%20fn)%20if%20(tn%20%2B%20fn)%20%3E%200%20else%200%0A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22TP%22%3A%20tp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FN%22%3A%20fn%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FP%22%3A%20fp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22TN%22%3A%20tn%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Recall%22%3A%20round(recall%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Precision%22%3A%20round(precision%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FPR%22%3A%20round(fpr%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FNR%22%3A%20round(fnr%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Specificity%22%3A%20round(specificity%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F1-Score%22%3A%20round(f1_score%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%22%3A%20round(accuracy%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22NPV%22%3A%20round(npv%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20return%20(calculate_metrics_from_confusion_matrix%2C)%0A%0A%0A%40app.cell%0Adef%20_(calculate_metrics_from_confusion_matrix%2C%20mo)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20calculate_binary_metrics(y_true%2C%20y_pred%2C%20positive_class)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Calculate%20binary%20classification%20metrics%20for%20a%20given%20positive%20class.%22%22%22%0A%20%20%20%20%20%20%20%20%23%20True%20Positives%3A%20actual%20is%20positive_class%2C%20predicted%20is%20positive_class%0A%20%20%20%20%20%20%20%20tp%20%3D%20((y_true%20%3D%3D%20positive_class)%20%26%20(y_pred%20%3D%3D%20positive_class)).sum()%0A%20%20%20%20%20%20%20%20%23%20False%20Negatives%3A%20actual%20is%20positive_class%2C%20predicted%20is%20NOT%20positive_class%0A%20%20%20%20%20%20%20%20fn%20%3D%20((y_true%20%3D%3D%20positive_class)%20%26%20(y_pred%20!%3D%20positive_class)).sum()%0A%20%20%20%20%20%20%20%20%23%20False%20Positives%3A%20actual%20is%20NOT%20positive_class%2C%20predicted%20is%20positive_class%0A%20%20%20%20%20%20%20%20fp%20%3D%20((y_true%20!%3D%20positive_class)%20%26%20(y_pred%20%3D%3D%20positive_class)).sum()%0A%20%20%20%20%20%20%20%20%23%20True%20Negatives%3A%20actual%20is%20NOT%20positive_class%2C%20predicted%20is%20NOT%20positive_class%0A%20%20%20%20%20%20%20%20tn%20%3D%20((y_true%20!%3D%20positive_class)%20%26%20(y_pred%20!%3D%20positive_class)).sum()%0A%0A%20%20%20%20%20%20%20%20return%20calculate_metrics_from_confusion_matrix(tp%2C%20fn%2C%20fp%2C%20tn)%0A%20%20%20%20return%20(calculate_binary_metrics%2C)%0A%0A%0A%40app.cell%0Adef%20_(calculate_metrics_from_confusion_matrix%2C%20mo)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20calculate_collapsed_metrics(y_true%2C%20y_pred%2C%20gesture_list)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Calculate%20metrics%20for%20a%20list%20of%20gestures%20treated%20as%20one%20class.%22%22%22%0A%20%20%20%20%20%20%20%20actual_positive%20%3D%20y_true.isin(gesture_list)%0A%20%20%20%20%20%20%20%20pred_positive%20%3D%20y_pred.isin(gesture_list)%0A%0A%20%20%20%20%20%20%20%20tp%20%3D%20(actual_positive%20%26%20pred_positive).sum()%0A%20%20%20%20%20%20%20%20fn%20%3D%20(actual_positive%20%26%20~pred_positive).sum()%0A%20%20%20%20%20%20%20%20fp%20%3D%20(~actual_positive%20%26%20pred_positive).sum()%0A%20%20%20%20%20%20%20%20tn%20%3D%20(~actual_positive%20%26%20~pred_positive).sum()%0A%0A%20%20%20%20%20%20%20%20return%20calculate_metrics_from_confusion_matrix(tp%2C%20fn%2C%20fp%2C%20tn)%0A%20%20%20%20return%20(calculate_collapsed_metrics%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20calculate_metrics_from_confusion_matrix%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20calculate_macro_averaged_metrics(y_true%2C%20y_pred%2C%20gesture_list)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Calculate%20true%20macro-averaged%20metrics%20across%20a%20list%20of%20gestures.%0A%0A%20%20%20%20%20%20%20%20This%20computes%20metrics%20for%20each%20individual%20gesture%20separately%2C%20then%20averages%0A%20%20%20%20%20%20%20%20ALL%20resulting%20metrics%20(including%20confusion%20matrix%20counts)%2C%20giving%20equal%0A%20%20%20%20%20%20%20%20importance%20to%20each%20gesture%20regardless%20of%20sample%20count.%0A%0A%20%20%20%20%20%20%20%20Note%3A%20True%20macro-averaging%20averages%20the%20final%20calculated%20metrics%2C%20not%20the%0A%20%20%20%20%20%20%20%20confusion%20matrix%20counts.%20The%20averaged%20confusion%20matrix%20counts%20are%20provided%0A%20%20%20%20%20%20%20%20for%20reference%20but%20should%20be%20interpreted%20carefully%20as%20they%20represent%20the%0A%20%20%20%20%20%20%20%20average%20per-gesture%20counts%2C%20not%20the%20total%20counts.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_true%3A%20Ground%20truth%20labels%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%3A%20Predicted%20labels%0A%20%20%20%20%20%20%20%20%20%20%20%20gesture_list%3A%20List%20of%20gesture%20labels%20to%20include%20in%20macro-average%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Dict%20with%20macro-averaged%20metrics%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20individual_metrics%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20each%20gesture%20individually%0A%20%20%20%20%20%20%20%20for%20gesture%20in%20gesture_list%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20gesture_metrics%20%3D%20calculate_binary_metrics(y_true%2C%20y_pred%2C%20gesture)%0A%20%20%20%20%20%20%20%20%20%20%20%20individual_metrics.append(gesture_metrics)%0A%0A%20%20%20%20%20%20%20%20if%20not%20individual_metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20zeros%20if%20no%20valid%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20calculate_metrics_from_confusion_matrix(0%2C%200%2C%200%2C%200)%0A%0A%20%20%20%20%20%20%20%20%23%20True%20macro-average%3A%20average%20all%20final%20calculated%20metrics%20across%20gestures%0A%20%20%20%20%20%20%20%20%23%20Do%20NOT%20sum%20confusion%20matrix%20counts%20-%20that%20would%20be%20micro-averaging%0A%20%20%20%20%20%20%20%20macro_metrics%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20metric_keys%20%3D%20individual_metrics%5B0%5D.keys()%0A%20%20%20%20%20%20%20%20n_gestures%20%3D%20len(individual_metrics)%0A%0A%20%20%20%20%20%20%20%20for%20key%20in%20metric_keys%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Average%20ALL%20metrics%20across%20gestures%20for%20true%20macro-averaging%0A%20%20%20%20%20%20%20%20%20%20%20%20macro_metrics%5Bkey%5D%20%3D%20sum(m%5Bkey%5D%20for%20m%20in%20individual_metrics)%20%2F%20n_gestures%0A%0A%20%20%20%20%20%20%20%20%23%20Round%20the%20averaged%20metrics%20to%20maintain%20precision%0A%20%20%20%20%20%20%20%20for%20key%20in%20macro_metrics%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20key%20not%20in%20%5B%22TP%22%2C%20%22FN%22%2C%20%22FP%22%2C%20%22TN%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20macro_metrics%5Bkey%5D%20%3D%20round(macro_metrics%5Bkey%5D%2C%20METRIC_PRECISION)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Round%20confusion%20matrix%20counts%20to%20integers%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20macro_metrics%5Bkey%5D%20%3D%20round(macro_metrics%5Bkey%5D)%0A%0A%20%20%20%20%20%20%20%20return%20macro_metrics%0A%20%20%20%20return%20(calculate_macro_averaged_metrics%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20apply_data_filters(%0A%20%20%20%20%20%20%20%20df%2C%20public_filter%2C%20private_filter%2C%20all_sensors_filter%2C%20imu_sensors_filter%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Apply%20the%20data%20filters%20to%20the%20dataframe.%22%22%22%0A%20%20%20%20%20%20%20%20filtered_df%20%3D%20df.copy()%0A%0A%20%20%20%20%20%20%20%20%23%20Filter%20by%20public%2Fprivate%0A%20%20%20%20%20%20%20%20public_conditions%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20public_conditions.append(filtered_df%5B%22public%22%5D)%0A%20%20%20%20%20%20%20%20if%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20public_conditions.append(~filtered_df%5B%22public%22%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Filter%20by%20sensor%20completeness%0A%20%20%20%20%20%20%20%20sensor_conditions%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20all_sensors_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sensor_conditions.append(filtered_df%5B%22all_sensors%22%5D)%0A%20%20%20%20%20%20%20%20if%20imu_sensors_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sensor_conditions.append(~filtered_df%5B%22all_sensors%22%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Combine%20conditions%20-%20must%20match%20at%20least%20one%20from%20each%20category%0A%20%20%20%20%20%20%20%20if%20public_conditions%20and%20sensor_conditions%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20public_mask%20%3D%20public_conditions%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_cond%20in%20public_conditions%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20public_mask%20%3D%20public_mask%20%7C%20_cond%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20sensor_mask%20%3D%20sensor_conditions%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_cond%20in%20sensor_conditions%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sensor_mask%20%3D%20sensor_mask%20%7C%20_cond%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered_df%20%3D%20filtered_df%5Bpublic_mask%20%26%20sensor_mask%5D%0A%20%20%20%20%20%20%20%20elif%20public_conditions%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20public_mask%20%3D%20public_conditions%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_cond%20in%20public_conditions%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20public_mask%20%3D%20public_mask%20%7C%20_cond%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered_df%20%3D%20filtered_df%5Bpublic_mask%5D%0A%20%20%20%20%20%20%20%20elif%20sensor_conditions%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sensor_mask%20%3D%20sensor_conditions%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_cond%20in%20sensor_conditions%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sensor_mask%20%3D%20sensor_mask%20%7C%20_cond%0A%20%20%20%20%20%20%20%20%20%20%20%20filtered_df%20%3D%20filtered_df%5Bsensor_mask%5D%0A%0A%20%20%20%20%20%20%20%20return%20filtered_df%0A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20build_filter_masks(df%2C%20public_filter%2C%20private_filter)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Helper%20function%20to%20build%20filter%20masks%20for%20public%2Fprivate%20data%20splits.%22%22%22%0A%20%20%20%20%20%20%20%20masks%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20masks.append(df%5B%22public%22%5D)%0A%20%20%20%20%20%20%20%20if%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20masks.append(~df%5B%22public%22%5D)%0A%0A%20%20%20%20%20%20%20%20if%20masks%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mask%20%3D%20masks%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_m%20in%20masks%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mask%20%3D%20mask%20%7C%20_m%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df%5Bmask%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df%0A%20%20%20%20return%20apply_data_filters%2C%20build_filter_masks%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20create_filter_summary(%0A%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20a%20human-readable%20summary%20of%20the%20applied%20filters.%22%22%22%0A%20%20%20%20%20%20%20%20filter_parts%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20if%20public_filter.value%20and%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Public%20%2B%20Private%22)%0A%20%20%20%20%20%20%20%20elif%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Public%20only%22)%0A%20%20%20%20%20%20%20%20elif%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Private%20only%22)%0A%0A%20%20%20%20%20%20%20%20if%20all_sensors_filter.value%20and%20imu_sensors_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22All-sensors%20%2B%20Only-IMU-sensors%22)%0A%20%20%20%20%20%20%20%20elif%20all_sensors_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22All-sensors%20only%22)%0A%20%20%20%20%20%20%20%20elif%20imu_sensors_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Only-IMU-sensors%20only%22)%0A%0A%20%20%20%20%20%20%20%20if%20collapse_non_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Non-target%20gestures%20collapsed%22)%0A%0A%20%20%20%20%20%20%20%20if%20collapse_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Target%20gestures%20collapsed%22)%0A%0A%20%20%20%20%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20filter_parts.append(%22Submissions%20collapsed%22)%0A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%7C%20%22.join(filter_parts)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20filter_parts%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22No%20filter%20selected%2C%20including%20the%20whole%20dataset%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%20(create_filter_summary%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20stack_submissions(df%2C%20truth_col%2C%20submission_cols)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Stack%20all%20submissions%20into%20a%20long-form%20dataframe%20for%20collapsed%20analysis.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3A%20DataFrame%20with%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20truth_col%3A%20Column%20name%20for%20ground%20truth%0A%20%20%20%20%20%20%20%20%20%20%20%20submission_cols%3A%20List%20of%20submission%20column%20names%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Long-form%20DataFrame%20with%20columns%3A%20truth%2C%20prediction%2C%20submission_id%2C%20public%2C%20all_sensors%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20stacked_rows%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20for%20idx%2C%20row%20in%20df.iterrows()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20truth_value%20%3D%20row%5Btruth_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20public_value%20%3D%20row%5B%22public%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_value%20%3D%20row%5B%22all_sensors%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20sub_col%20in%20submission_cols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_id%20%3D%20int(sub_col.replace(%22gesture%22%2C%20%22%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prediction_value%20%3D%20row%5Bsub_col%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stacked_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%3A%20truth_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%3A%20prediction_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22submission_id%22%3A%20submission_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22public%22%3A%20public_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22all_sensors%22%3A%20all_sensors_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(stacked_rows)%0A%20%20%20%20return%20(stack_submissions%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20calculate_collapsed_metrics%2C%0A%20%20%20%20calculate_macro_averaged_metrics%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20compute_f1_score(df%2C%20truth_col%2C%20pred_col%2C%20metric_type%2C%20target_param%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Unified%20function%20to%20compute%20F1%20scores%20for%20different%20metric%20types.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3A%20DataFrame%20with%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20truth_col%3A%20Column%20name%20for%20ground%20truth%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_col%3A%20Column%20name%20for%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_type%3A%20Type%20of%20metric%20('gesture'%2C%20'collapsed_target'%2C%20'collapsed_non_target')%0A%20%20%20%20%20%20%20%20%20%20%20%20target_param%3A%20Additional%20parameter%20(gesture%20label%20for%20'gesture'%2C%20gesture%20lists%20for%20collapsed%20types)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20metric_type%20%3D%3D%20%22gesture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df%5Btruth_col%5D%2C%20df%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20macro-averaging%20for%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df%5Btruth_col%5D%2C%20df%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_non_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20pooling%20for%20non-target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df%5Btruth_col%5D%2C%20df%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20metric_type%3A%20%7Bmetric_type%7D%22)%0A%0A%20%20%20%20%20%20%20%20return%20metrics%5B%22F1-Score%22%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20calculate_collapsed_metrics%2C%0A%20%20%20%20calculate_macro_averaged_metrics%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20compute_simple_delta(df%2C%20truth_col%2C%20pred_col%2C%20metric_type%2C%20target_param%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Unified%20function%20to%20compute%20simple%20delta%20of%20metrics%20(All-sensors%20-%20Only-IMU)%20without%20bootstrapping.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3A%20DataFrame%20with%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20truth_col%3A%20Column%20name%20for%20ground%20truth%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_col%3A%20Column%20name%20for%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_type%3A%20Type%20of%20metric%20to%20compute%20('gesture'%2C%20'collapsed_target'%2C%20'collapsed_non_target'%2C%20'competition')%0A%20%20%20%20%20%20%20%20%20%20%20%20target_param%3A%20Additional%20parameter%20needed%20for%20some%20metric%20types%20(gesture%20label%2C%20gesture%20lists%2C%20or%20competition_metric%20object)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20df_all%20%3D%20df%5Bdf%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20df_imu%20%3D%20df%5B~df%5B%22all_sensors%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20n_all%20%3D%20len(df_all)%0A%20%20%20%20%20%20%20%20n_imu%20%3D%20len(df_imu)%0A%20%20%20%20%20%20%20%20if%20n_all%20%3D%3D%200%20or%20n_imu%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20metric%20values%20based%20on%20type%0A%20%20%20%20%20%20%20%20if%20metric_type%20%3D%3D%20%22gesture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_non_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22competition%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22score%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20metric_type%3A%20%7Bmetric_type%7D%22)%0A%0A%20%20%20%20%20%20%20%20delta_point%20%3D%20metric_all%20-%20metric_imu%0A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bkey_prefix%7D_all%22%3A%20round(float(metric_all)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bkey_prefix%7D_imu%22%3A%20round(float(metric_imu)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22delta%22%3A%20round(float(delta_point)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_all%22%3A%20int(n_all)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_imu%22%3A%20int(n_imu)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20return%20(compute_simple_delta%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CONFIDENCE_INTERVAL_PERCENTILES%2C%0A%20%20%20%20DEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20calculate_collapsed_metrics%2C%0A%20%20%20%20calculate_macro_averaged_metrics%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20%40mo.persistent_cache%0A%20%20%20%20def%20bootstrap_delta_ci(%0A%20%20%20%20%20%20%20%20df%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20truth_col%3A%20str%2C%0A%20%20%20%20%20%20%20%20pred_col%3A%20str%2C%0A%20%20%20%20%20%20%20%20metric_type%3A%20str%2C%0A%20%20%20%20%20%20%20%20target_param%2C%0A%20%20%20%20%20%20%20%20n_boot%3A%20int%20%3D%20DEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20%20%20%20%20seed%3A%20int%20%3D%200%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Unified%20bootstrap%2095%25%20CI%20for%20delta%20metrics%20(All-sensors%20-%20Only-IMU).%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%3A%20DataFrame%20with%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20np%3A%20numpy%20module%0A%20%20%20%20%20%20%20%20%20%20%20%20truth_col%3A%20Column%20name%20for%20ground%20truth%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_col%3A%20Column%20name%20for%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_type%3A%20Type%20of%20metric%20('gesture'%2C%20'collapsed_target'%2C%20'collapsed_non_target'%2C%20'competition')%0A%20%20%20%20%20%20%20%20%20%20%20%20target_param%3A%20Additional%20parameter%20for%20metric%20computation%0A%20%20%20%20%20%20%20%20%20%20%20%20n_boot%3A%20Number%20of%20bootstrap%20samples%0A%20%20%20%20%20%20%20%20%20%20%20%20seed%3A%20Random%20seed%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Dict%20with%20point%20estimates%20and%20CI%2C%20or%20None%20if%20data%20insufficient%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20df_all%20%3D%20df%5Bdf%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20df_imu%20%3D%20df%5B~df%5B%22all_sensors%22%5D%5D%0A%0A%20%20%20%20%20%20%20%20n_all%20%3D%20len(df_all)%0A%20%20%20%20%20%20%20%20n_imu%20%3D%20len(df_imu)%0A%20%20%20%20%20%20%20%20if%20n_all%20%3D%3D%200%20or%20n_imu%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20%20%20%20%20%23%20Point%20estimates%20on%20full%20data%0A%20%20%20%20%20%20%20%20if%20metric_type%20%3D%3D%20%22gesture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_non_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%5Btruth_col%5D%2C%20df_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%5Btruth_col%5D%2C%20df_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22f1%22%0A%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22competition%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_all%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_imu%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_imu%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20key_prefix%20%3D%20%22score%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20metric_type%3A%20%7Bmetric_type%7D%22)%0A%0A%20%20%20%20%20%20%20%20delta_point%20%3D%20metric_all%20-%20metric_imu%0A%0A%20%20%20%20%20%20%20%20%23%20Bootstrap%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20deltas%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20all_idx%20%3D%20np.arange(n_all)%0A%20%20%20%20%20%20%20%20imu_idx%20%3D%20np.arange(n_imu)%0A%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(n_boot)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Resample%20with%20replacement%0A%20%20%20%20%20%20%20%20%20%20%20%20boot_all_idx%20%3D%20rng.choice(all_idx%2C%20size%3Dn_all%2C%20replace%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20boot_imu_idx%20%3D%20rng.choice(imu_idx%2C%20size%3Dn_imu%2C%20replace%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20df_boot_all%20%3D%20df_all.iloc%5Bboot_all_idx%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20df_boot_imu%20%3D%20df_imu.iloc%5Bboot_imu_idx%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20metrics%20on%20bootstrap%20samples%0A%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_all%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_imu%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20metric_type%20%3D%3D%20%22gesture%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_all%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_all%5Btruth_col%5D%2C%20df_boot_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_imu%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_imu%5Btruth_col%5D%2C%20df_boot_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_all%20%3D%20metrics_boot_all%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_imu%20%3D%20metrics_boot_imu%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_all%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_all%5Btruth_col%5D%2C%20df_boot_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_imu%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_imu%5Btruth_col%5D%2C%20df_boot_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_all%20%3D%20metrics_boot_all%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_imu%20%3D%20metrics_boot_imu%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22collapsed_non_target%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_all%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_all%5Btruth_col%5D%2C%20df_boot_all%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics_boot_imu%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_imu%5Btruth_col%5D%2C%20df_boot_imu%5Bpred_col%5D%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_all%20%3D%20metrics_boot_all%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_imu%20%3D%20metrics_boot_imu%5B%22F1-Score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20metric_type%20%3D%3D%20%22competition%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_all%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_all%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boot_metric_imu%20%3D%20target_param.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_boot_imu%2C%20truth_col%2C%20pred_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20deltas.append(boot_metric_all%20-%20boot_metric_imu)%0A%0A%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%20np.percentile(deltas%2C%20CONFIDENCE_INTERVAL_PERCENTILES).tolist()%0A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bkey_prefix%7D_all%22%3A%20round(float(metric_all)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bkey_prefix%7D_imu%22%3A%20round(float(metric_imu)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22delta%22%3A%20round(float(delta_point)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%22%3A%20round(float(lo)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ci_hi%22%3A%20round(float(hi)%2C%20METRIC_PRECISION)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_all%22%3A%20int(n_all)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_imu%22%3A%20int(n_imu)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20return%20(bootstrap_delta_ci%2C)%0A%0A%0A%40app.cell%0Adef%20_(DATA_URL%2C%20mo%2C%20pd)%3A%0A%20%20%20%20%23%20Load%20the%20data%20from%20GitHub%20raw%20URL%0A%20%20%20%20df%20%3D%20pd.read_csv(DATA_URL)%0A%0A%20%20%20%20%23%20Convert%20Usage%20column%20from%20object%20to%20boolean%20(True%20for%20public%2C%20False%20for%20private)%0A%20%20%20%20df%5B%22public%22%5D%20%3D%20df%5B%22Usage%22%5D%20%3D%3D%20%22Public%22%0A%20%20%20%20df%20%3D%20df.drop(columns%3D%5B%22Usage%22%5D)%0A%0A%20%20%20%20%23%20Create%20data%20dictionary%20explaining%20the%20columns%0A%20%20%20%20data_dictionary%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Dataset%20Column%20Descriptions%0A%0A%20%20%20%20-%20**sequence_id**%20(string)%3A%20Anonymized%20unique%20identifier%20for%20each%20gesture%20sequence%20in%20the%20test%20set%20(format%3A%20ANON_XXXXXX)%0A%0A%20%20%20%20-%20**gesture0-gesture19**%20(string)%3A%20Predicted%20gesture%20labels%20from%20each%20of%20the%2020%20top-performing%20competition%20submissions%0A%0A%20%20%20%20-%20**gesture_true**%20(string)%3A%20Ground%20truth%20gesture%20label%20from%20the%20competition%20test%20set%0A%0A%20%20%20%20-%20**all_sensors**%20(boolean)%3A%20Whether%20the%20sequence%20includes%20data%20from%20all%20available%20sensors%20(True)%20or%20only%20IMU%20sensors%20(False)%0A%0A%20%20%20%20-%20**public**%20(boolean)%3A%20Whether%20the%20sequence%20belongs%20to%20the%20public%20test%20set%20(True)%20or%20private%20test%20set%20(False)%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Top%2020%20Submission%20Results%22)%2C%20data_dictionary%2C%20df%5D)%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell%0Adef%20_(CompetitionMetric%2C%20METRIC_PRECISION%2C%20NUM_SUBMISSIONS%2C%20df%2C%20pd)%3A%0A%20%20%20%20%23%20Define%20submission%20columns%20(gesture0%20through%20gesture19)%0A%20%20%20%20submission_cols%20%3D%20%5Bf%22gesture%7Bi%7D%22%20for%20i%20in%20range(NUM_SUBMISSIONS)%5D%0A%20%20%20%20truth_col%20%3D%20%22gesture_true%22%0A%0A%20%20%20%20%23%20Calculate%20competition%20metric%20for%20each%20submission%0A%20%20%20%20competition_metric%20%3D%20CompetitionMetric()%0A%0A%20%20%20%20score_results%20%3D%20%5B%5D%0A%20%20%20%20for%20_i%2C%20_sub_col%20in%20enumerate(submission_cols)%3A%0A%20%20%20%20%20%20%20%20metric_score%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20metric_score%20%3D%20round(metric_score%2C%20METRIC_PRECISION)%0A%20%20%20%20%20%20%20%20score_results.append(%7B%22submission_id%22%3A%20_i%2C%20%22score%22%3A%20metric_score%7D)%0A%0A%20%20%20%20results_df%20%3D%20pd.DataFrame(score_results)%0A%0A%20%20%20%20%23%20Create%20a%20rank%20dictionary%20that%20maps%20submission_id%20to%20rank%0A%20%20%20%20rank_dict%20%3D%20%7B%0A%20%20%20%20%20%20%20%20_i%3A%20_rank%20%2B%201%0A%20%20%20%20%20%20%20%20for%20_rank%2C%20_i%20in%20enumerate(%0A%20%20%20%20%20%20%20%20%20%20%20%20results_df.sort_values(%22score%22%2C%20ascending%3DFalse).submission_id%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%7D%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20rank_dict%2C%0A%20%20%20%20%20%20%20%20results_df%2C%0A%20%20%20%20%20%20%20%20submission_cols%2C%0A%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(DEFAULT_BOOTSTRAP_SAMPLES%2C%20mo)%3A%0A%20%20%20%20%23%20Filter%20controls%20for%20evaluation%20breakdown%0A%20%20%20%20public_filter%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22Include%20Public%20data%20subset%22)%0A%20%20%20%20private_filter%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22Include%20Private%20data%20subset%22)%0A%20%20%20%20all_sensors_filter%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22Include%20all-sensors%20subset%22)%0A%20%20%20%20imu_sensors_filter%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DTrue%2C%20label%3D%22Include%20only-IMU-sensors%20subset%22%0A%20%20%20%20)%0A%20%20%20%20collapse_non_target_filter%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Collapse%20all%20non-target%20gestures%20into%20one%20row%20(micro-averaging)%22%2C%0A%20%20%20%20)%0A%20%20%20%20collapse_target_filter%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%20label%3D%22Collapse%20all%20target%20gestures%20into%20one%20row%20(macro-averaging)%22%0A%20%20%20%20)%0A%20%20%20%20collapse_submissions_filter%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22Collapse%20all%20submissions%20for%20overall%20evaluation%20(micro-averaging)%22%2C%0A%20%20%20%20)%0A%20%20%20%20bootstrap_toggle%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22Enable%20bootstrap%20confidence%20intervals%20for%20delta%20plots%20(slower)%22%2C%0A%20%20%20%20)%0A%20%20%20%20bootstrap_samples%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3Dstr(DEFAULT_BOOTSTRAP_SAMPLES)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20bootstrap%20samples%22%2C%0A%20%20%20%20%20%20%20%20placeholder%3Dstr(DEFAULT_BOOTSTRAP_SAMPLES)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20filters_display%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Evaluation%20Filters%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20which%20data%20subsets%20and%20sensor%20configurations%20to%20include%20in%20the%20evaluation%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Visibility%20Subsets%3A**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bpublic_filter%2C%20private_filter%5D%2C%20justify%3D%22start%22%2C%20widths%3D%5B1%2C%202%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Sensor%20Subsets%3A**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Ball_sensors_filter%2C%20imu_sensors_filter%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B1%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Collapsing%20Options%3A**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bcollapse_non_target_filter%2C%20collapse_target_filter%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B1%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bcollapse_submissions_filter%5D%2C%20justify%3D%22start%22%2C%20widths%3D%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cu%3EMacro-averaging%3C%2Fu%3E%3A%20Computes%20metrics%20for%20each%20class%20individually%2C%20then%20averages%20the%20final%20metrics.%20This%20gives%20equal%20weight%20to%20each%20class%20regardless%20of%20sample%20count.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cu%3EMicro-averaging%3C%2Fu%3E%3A%20Sums%20up%20the%20true%20positives%2C%20false%20positives%2C%20etc.%20across%20all%20classes%20before%20computing%20the%20final%20metrics.%20This%20gives%20more%20weight%20to%20classes%20with%20more%20samples.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Bootstrapped%20Estimation%3A**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bbootstrap_toggle%2C%20bootstrap_samples%5D%2C%20justify%3D%22start%22%2C%20widths%3D%5B1%2C%202%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20filters_display%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20bootstrap_samples%2C%0A%20%20%20%20%20%20%20%20bootstrap_toggle%2C%0A%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Reset%20button%20for%20clearing%20submission%20selection%0A%20%20%20%20reset_selection_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Reset%20Selection%22%2C%0A%20%20%20%20%20%20%20%20value%3D0%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(reset_selection_button%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CHART_COLOR_SCHEME%2C%0A%20%20%20%20CHART_HEIGHT%2C%0A%20%20%20%20CHART_WIDTH%2C%0A%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20build_filter_masks%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20private_filter%2C%0A%20%20%20%20public_filter%2C%0A%20%20%20%20reset_selection_button%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20%23%20Create%20an%20interactive%20bar%20chart%20with%20selection%20capabilities%0A%20%20%20%20%23%20This%20chart%20now%20respects%20public%2Fprivate%20filters%0A%0A%20%20%20%20%23%20Apply%20public%2Fprivate%20filters%20to%20the%20data%20using%20existing%20helper%20function%0A%20%20%20%20_filtered_df%20%3D%20build_filter_masks(df%2C%20public_filter%2C%20private_filter)%0A%0A%20%20%20%20%23%20Calculate%20competition%20metric%20for%20each%20submission%20on%20filtered%20data%0A%20%20%20%20_score_results%20%3D%20%5B%5D%0A%20%20%20%20for%20_i%2C%20_sub_col%20in%20enumerate(submission_cols)%3A%0A%20%20%20%20%20%20%20%20if%20len(_filtered_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_metric_score%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_filtered_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_metric_score%20%3D%20round(_metric_score%2C%20METRIC_PRECISION)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_metric_score%20%3D%200.0%0A%20%20%20%20%20%20%20%20_score_results.append(%7B%22submission_id%22%3A%20_i%2C%20%22score%22%3A%20_metric_score%7D)%0A%0A%20%20%20%20_filtered_results_df%20%3D%20pd.DataFrame(_score_results)%0A%0A%20%20%20%20%23%20Create%20filter%20description%20for%20title%20-%20extract%20just%20public%2Fprivate%20part%0A%20%20%20%20%23%20This%20mirrors%20the%20logic%20from%20create_filter_summary%20but%20only%20for%20public%2Fprivate%0A%20%20%20%20if%20public_filter.value%20and%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20_filter_description%20%3D%20%22Public%20%2B%20Private%22%0A%20%20%20%20elif%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20_filter_description%20%3D%20%22Public%20only%22%0A%20%20%20%20elif%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20_filter_description%20%3D%20%22Private%20only%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_filter_description%20%3D%20%22No%20data%20selected%2C%20including%20the%20whole%20dataset%22%0A%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20When%20collapsed%2C%20show%20overall%20statistics%20as%20boxplot%20and%20table%0A%20%20%20%20%20%20%20%20%23%20Create%20boxplot%20data%20from%20individual%20submission%20scores%0A%20%20%20%20%20%20%20%20boxplot_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22submission_id%22%3A%20_filtered_results_df%5B%22submission_id%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score%22%3A%20_filtered_results_df%5B%22score%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22category%22%3A%20%22All%20Submissions%22%2C%20%20%23%20Single%20category%20for%20the%20boxplot%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20boxplot%0A%20%20%20%20%20%20%20%20score_chart%20%3D%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(boxplot_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_boxplot(size%3D40%2C%20color%3D%22green%22%2C%20outliers%3D%7B%22size%22%3A%208%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22category%3AN%22%2C%20title%3D%22%22%2C%20axis%3Dalt.Axis(labelAngle%3D0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Competition%20Metric%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22category%3AN%22%2C%20title%3D%22Category%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22score%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Score%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%20%2F%2F%202%2C%20%20%23%20Make%20it%20narrower%20since%20it's%20just%20one%20box%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DCHART_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Distribution%20of%20Submission%20Scores%20(%7B_filter_description%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20summary%20statistics%20table%0A%20%20%20%20%20%20%20%20_overall_stats%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Statistic%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Mean%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Median%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Min%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Max%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Std%20Dev%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Total%20Submissions%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_filtered_results_df%5B'score'%5D.mean()%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_filtered_results_df%5B'score'%5D.median()%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_filtered_results_df%5B'score'%5D.min()%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_filtered_results_df%5B'score'%5D.max()%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_filtered_results_df%5B'score'%5D.std()%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(len(_filtered_results_df))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_overall_df%20%3D%20pd.DataFrame(_overall_stats)%0A%0A%20%20%20%20%20%20%20%20chart_title%20%3D%20%22%23%23%20Overall%20Submission%20Statistics%22%0A%20%20%20%20%20%20%20%20chart_description%20%3D%20f%22Boxplot%20showing%20the%20distribution%20of%20scores%20across%20all%20submissions%20for%20**%7B_filter_description%7D**%20data%2C%20with%20summary%20statistics%20below.%20Scores%20respect%20Public%2FPrivate%20data%20subset%20filters.%22%0A%0A%20%20%20%20%20%20%20%20%23%20Display%20both%20chart%20and%20table%20side%20by%20side%0A%20%20%20%20%20%20%20%20display_content%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(chart_title)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(chart_description)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_overall_df%2C%20page_size%3D10%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Original%20behavior%3A%20individual%20submission%20scores%20with%20multi-selection%20support%0A%20%20%20%20%20%20%20%20%23%20Reference%20reset_selection_button%20to%20make%20this%20cell%20reactive%20to%20button%20clicks%0A%20%20%20%20%20%20%20%20%23%20When%20button%20is%20clicked%2C%20its%20value%20changes%20and%20this%20cell%20re-executes%0A%20%20%20%20%20%20%20%20_%20%3D%20reset_selection_button.value%0A%0A%20%20%20%20%20%20%20%20click_selector%20%3D%20alt.selection_point(fields%3D%5B%22submission_id%22%5D%2C%20toggle%3D%22true%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20a%20bar%20chart%20of%20scores%20by%20submission%20with%20interactive%20multi-selection%0A%20%20%20%20%20%20%20%20score_chart%20%3D%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_filtered_results_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar(clip%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20.add_params(click_selector)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22submission_id%3AN%22%2C%20title%3D%22Submission%20ID%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Hierarchical%20Macro%20F1%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0.85%2C%200.91%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20click_selector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%22score%3AQ%22%2C%20scale%3Dalt.Scale(scheme%3DCHART_COLOR_SCHEME))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(%22lightgrey%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stroke%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20click_selector%2C%20alt.value(%22black%22)%2C%20alt.value(None)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20strokeWidth%3Dalt.condition(click_selector%2C%20alt.value(1)%2C%20alt.value(0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22submission_id%3AN%22%2C%20%22score%3AQ%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DCHART_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Competition%20Metric%20Scores%20by%20Submission%20(%7B_filter_description%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20chart_title%20%3D%20%22%23%23%20Competition%20Metric%20Scores%20by%20Submission%22%0A%20%20%20%20%20%20%20%20chart_description%20%3D%20%22Click%20on%20bars%20to%20select%20submissions.%20The%20plots%20below%20will%20show%20data%20for%20selected%20submissions.%20The%20scores%20displayed%20in%20this%20plot%20respect%20Public%2FPrivate%20data%20subset%20filters.%22%0A%0A%20%20%20%20%20%20%20%20display_content%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(chart_title)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(chart_description)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reset_selection_button%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20score_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20display_content%0A%20%20%20%20return%20(score_chart%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20CHART_HEIGHT%2C%0A%20%20%20%20CHART_WIDTH%2C%0A%20%20%20%20DEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20DELTA_COLOR_SCHEME%2C%0A%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20NUM_SUBMISSIONS%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20bootstrap_delta_ci%2C%0A%20%20%20%20bootstrap_samples%2C%0A%20%20%20%20bootstrap_toggle%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20compute_simple_delta%2C%0A%20%20%20%20df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20private_filter%2C%0A%20%20%20%20public_filter%2C%0A%20%20%20%20score_chart%2C%0A%20%20%20%20stack_submissions%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20%23%20Per-submission%20overview%3A%20shows%20delta%20comparison%20across%20all%20submissions%0A%20%20%20%20%23%20This%20ignores%20submission%20selection%20and%20sensor%20toggles%2C%20always%20comparing%20both%20sensor%20types%0A%0A%20%20%20%20%23%20Filter%20by%20public%2Fprivate%20only%3B%20always%20include%20both%20sensor%20types%20for%20delta%0A%20%20%20%20overview_masks%20%3D%20%5B%5D%0A%20%20%20%20if%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20overview_masks.append(df%5B%22public%22%5D)%0A%20%20%20%20if%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20overview_masks.append(~df%5B%22public%22%5D)%0A%20%20%20%20if%20overview_masks%3A%0A%20%20%20%20%20%20%20%20overview_mask%20%3D%20overview_masks%5B0%5D%0A%20%20%20%20%20%20%20%20for%20_overview_m%20in%20overview_masks%5B1%3A%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20overview_mask%20%3D%20overview_mask%20%7C%20_overview_m%0A%20%20%20%20%20%20%20%20overview_filtered_df%20%3D%20df%5Boverview_mask%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20overview_filtered_df%20%3D%20df%0A%0A%20%20%20%20%23%20Ensure%20both%20sensor%20subsets%20exist%0A%20%20%20%20if%20(overview_filtered_df%5B%22all_sensors%22%5D.sum()%20%3D%3D%200)%20or%20(%0A%20%20%20%20%20%20%20%20(~overview_filtered_df%5B%22all_sensors%22%5D).sum()%20%3D%3D%200%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20overview_display%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Per-submission%20overview%20requires%20both%20all-sensors%20and%20only-IMU%20samples%20in%20the%20selected%20splits.%20Adjust%20Public%2FPrivate%20filters%20above.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20collapsed%20submissions%20mode%20-%20show%20overall%20delta%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20number%20of%20bootstrap%20samples%2C%20default%20to%20DEFAULT_BOOTSTRAP_SAMPLES%20if%20invalid%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_n_bootstrap%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(bootstrap_samples.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_samples.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20DEFAULT_BOOTSTRAP_SAMPLES%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(ValueError%2C%20TypeError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_n_bootstrap%20%3D%20DEFAULT_BOOTSTRAP_SAMPLES%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Stack%20all%20submissions%20for%20aggregated%20analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20_overview_stacked_df%20%3D%20stack_submissions(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filtered_df%2C%20truth_col%2C%20submission_cols%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20overall%20competition%20metric%20delta%20across%20all%20submissions%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overall_res%20%3D%20bootstrap_delta_ci(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%20%20%23%20Use%20the%20stacked%20prediction%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_boot%3D_overview_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seed%3D42%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overall_res%20%3D%20compute_simple_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20overall_res%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_display%20%3D%20mo.md(%22No%20valid%20data%20for%20overall%20delta%20computation.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20summary%20statistics%20table%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_stats%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Metric%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Competition%20Metric%20(All-sensors)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Competition%20Metric%20(Only-IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Delta%20(All%20-%20IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Sample%20Count%20(All-sensors)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Sample%20Count%20(Only-IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Value%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall_res%5B'score_all'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall_res%5B'score_imu'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall_res%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(overall_res%5B%22n_all%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(overall_res%5B%22n_imu%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%20and%20%22ci_lo%22%20in%20overall_res%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_stats%5B%22Metric%22%5D.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2295%25%20CI%20Lower%20Bound%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2295%25%20CI%20Upper%20Bound%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_stats%5B%22Value%22%5D.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall_res%5B'ci_lo'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall_res%5B'ci_hi'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_df%20%3D%20pd.DataFrame(_overview_stats)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20a%20simple%20bar%20chart%20showing%20only%20the%20delta%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_chart_data%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%22%3A%20%5B%22Delta%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20%5Boverall_res%5B%22delta%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22type%22%3A%20%5B%22Delta%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22all_sensors_score%22%3A%20%5Boverall_res%5B%22score_all%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22imu_score%22%3A%20%5Boverall_res%5B%22score_imu%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20CI%20columns%20if%20bootstrap%20is%20enabled%20and%20CI%20data%20exists%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_lo%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_hi%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_chart_data%5B%22ci_lo%22%5D%20%3D%20overall_res%5B%22ci_lo%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_chart_data%5B%22ci_hi%22%5D%20%3D%20overall_res%5B%22ci_hi%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(delta_chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22metric%3AN%22%2C%20title%3D%22%22%2C%20axis%3Dalt.Axis(labelAngle%3D0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%3AQ%22%2C%20title%3D%22Competition%20Metric%20Delta%20(All%20%E2%88%92%20IMU)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3DDELTA_COLOR_SCHEME)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22metric%3AN%22%2C%20title%3D%22Metric%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Delta%20Value%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22all_sensors_score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22All-sensors%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22imu_score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Only-IMU%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%3AQ%22%2C%20title%3D%22CI%20low%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_hi%3AQ%22%2C%20title%3D%22CI%20high%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_lo%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_hi%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%20%2F%2F%203%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DCHART_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Overall%20Competition%20Metric%20Delta%20(All%20Submissions)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20error%20bars%20if%20bootstrap%20is%20enabled%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_lo%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22ci_hi%22%20in%20overall_res%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20error_bars%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(delta_chart_data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%23333%22%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22metric%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22ci_lo%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y2%3D%22ci_hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22metric%3AN%22%2C%20title%3D%22Metric%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%3AQ%22%2C%20title%3D%22CI%20low%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_hi%3AQ%22%2C%20title%3D%22CI%20high%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart%20%3D%20overview_chart%20%2B%20error_bars%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20filter%20summary%20for%20chart%20title%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20public_filter.value%20and%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Public%20%2B%20Private%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Public%20only%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Private%20only%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22No%20data%20selected%2C%20including%20the%20whole%20dataset%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts%5B0%5D%20if%20overview_filter_parts%20else%20%22No%20data%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_bootstrap_status%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20(with%20bootstrap%20CIs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20(point%20estimates%20only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_display%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Overall%20Competition%20Metric%20Delta%20(All%20Submissions)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20shows%20the%20overall%20performance%20difference%20when%20all%20submissions%20are%20combined%7B_bootstrap_status%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Positive%20values%20indicate%20all-sensors%20performs%20better.%20This%20analysis%20respects%20Public%2FPrivate%20filters%20but%20ignores%20sensor%20toggles.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_overview_df%2C%20page_size%3D10%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Original%20behavior%3A%20per-submission%20deltas%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Per-submission%20overall%20deltas%20across%20all%20NUM_SUBMISSIONS%20submissions%0A%20%20%20%20%20%20%20%20%20%20%20%20overview_sub_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_sid%20in%20range(NUM_SUBMISSIONS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20number%20of%20bootstrap%20samples%2C%20default%20to%20DEFAULT_BOOTSTRAP_SAMPLES%20if%20invalid%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_n_bootstrap%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(bootstrap_samples.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_samples.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20DEFAULT_BOOTSTRAP_SAMPLES%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20(ValueError%2C%20TypeError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_overview_n_bootstrap%20%3D%20DEFAULT_BOOTSTRAP_SAMPLES%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20delta%20for%20all%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all_data_res%20%3D%20bootstrap_delta_ci(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filtered_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22gesture%7B_sid%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_boot%3D_overview_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seed%3D100%20%2B%20_sid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all_data_res%20%3D%20compute_simple_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filtered_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22gesture%7B_sid%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20all_data_res%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_sub_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22submission_id%22%3A%20_sid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**all_data_res%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20overview_sub_rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_df%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(overview_sub_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(%22submission_id%22%2C%20ascending%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20selected%20submission%20IDs%20from%20score_chart%20if%20available%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_ids_overview%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20score_chart.value%20is%20not%20None%20and%20not%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_ids_overview%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(sid)%20for%20sid%20in%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20simple%20bar%20chart%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_selected_submission_ids_overview%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20When%20submissions%20are%20selected%2C%20highlight%20them%20and%20gray%20out%20others%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20a%20string%20representation%20of%20the%20list%20for%20the%20condition%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_ids_str%20%3D%20str(_selected_submission_ids_overview)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(overview_subs_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22submission_id%3AN%22%2C%20title%3D%22Submission%20ID%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Competition%20metric%20delta%20(All%20%E2%88%92%20IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.FieldOneOfPredicate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22submission_id%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20oneOf%3D_selected_submission_ids_overview%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3DDELTA_COLOR_SCHEME)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(%22lightgrey%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stroke%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.FieldOneOfPredicate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22submission_id%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20oneOf%3D_selected_submission_ids_overview%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(%22black%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(None)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20strokeWidth%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.FieldOneOfPredicate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22submission_id%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20oneOf%3D_selected_submission_ids_overview%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22submission_id%3AN%22%2C%20title%3D%22Submission%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22delta%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score_all%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22All-sensors%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score_imu%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Only-IMU%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%3AQ%22%2C%20title%3D%22CI%20low%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_hi%3AQ%22%2C%20title%3D%22CI%20high%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20When%20no%20submission%20is%20selected%2C%20show%20all%20bars%20in%20normal%20colors%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(overview_subs_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22submission_id%3AN%22%2C%20title%3D%22Submission%20ID%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Competition%20metric%20delta%20(All%20%E2%88%92%20IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3DDELTA_COLOR_SCHEME)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22submission_id%3AN%22%2C%20title%3D%22Submission%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22delta%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score_all%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22All-sensors%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score_imu%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Only-IMU%20score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%3AQ%22%2C%20title%3D%22CI%20low%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_hi%3AQ%22%2C%20title%3D%22CI%20high%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_selected_submission_ids_overview%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20When%20submissions%20are%20selected%2C%20highlight%20error%20bars%20for%20selected%20and%20gray%20out%20others%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_err%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(overview_subs_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22submission_id%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22ci_lo%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y2%3D%22ci_hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.FieldOneOfPredicate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20field%3D%22submission_id%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20oneOf%3D_selected_submission_ids_overview%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(%22%23333%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.value(%22lightgrey%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20When%20no%20submission%20is%20selected%2C%20show%20all%20error%20bars%20in%20normal%20color%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_err%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(overview_subs_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%23333%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22submission_id%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22ci_lo%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y2%3D%22ci_hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart_final%20%3D%20overview_subs_chart%20%2B%20overview_subs_err%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart_final%20%3D%20overview_subs_chart%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_zero%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22y%22%3A%20%5B0%5D%7D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%23888%22%2C%20strokeDash%3D%5B4%2C%204%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(y%3D%22y%3AQ%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20filter%20summary%20for%20chart%20title%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20public_filter.value%20and%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Public%20%2B%20Private%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Public%20only%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%22Private%20only%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22No%20data%20selected%2C%20including%20the%20whole%20dataset%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_filter_parts%5B0%5D%20if%20overview_filter_parts%20else%20%22No%20data%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_combo%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_chart_final%20%2B%20overview_subs_zero%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20).properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Competition%20Metric%20Delta%3A%20All-sensors%20minus%20Only-IMU%20(%7Boverview_filter_summary%7D)%7B'%20with%2095%25%20CIs'%20if%20bootstrap_toggle.value%20else%20''%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DCHART_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_bootstrap_status%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20(with%20bootstrap%20CIs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20(point%20estimates%20only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_display%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Per-Submission%20Competition%20Metric%20Delta%20Overview%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20chart%20shows%20how%20much%20better%20(or%20worse)%20each%20submission%20performs%20with%20all-sensors%20versus%20only-IMU%20sensors%7B_bootstrap_status%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Positive%20values%20indicate%20all-sensors%20performs%20better.%20When%20you%20select%20submissions%20from%20the%20first%20chart%20above%2C%20the%20corresponding%20bars%20are%20highlighted%20below.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20analysis%20respects%20Public%2FPrivate%20filters%20but%20ignores%20sensor%20toggles%20and%20submission%20selection.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_subs_combo%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overview_display%20%3D%20mo.md(%22No%20valid%20data%20for%20per-submission%20overview.%22)%0A%0A%20%20%20%20overview_display%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20rank_dict%2C%0A%20%20%20%20results_df%2C%0A%20%20%20%20score_chart%2C%0A%20%20%20%20stack_submissions%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20%23%20Show%20details%20for%20selected%20submissions%20from%20chart%20or%20overall%20stats%20when%20collapsed%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20When%20collapsed%2C%20statistics%20are%20already%20shown%20in%20the%20first%20chart%0A%20%20%20%20%20%20%20%20submission_details%20%3D%20None%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Updated%20behavior%3A%20show%20selected%20submissions%20details%20(supports%20multiple)%0A%20%20%20%20%20%20%20%20if%20score_chart.value%20is%20not%20None%20and%20not%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Single%20submission%20selected%20-%20show%20detailed%20stats%20in%20table%20format%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_id%20%3D%20int(_selected_submission_ids%5B0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_sub_col%20%3D%20submission_cols%5B_selected_submission_id%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20score%20on%20all%20data%20(original%20full%20dataset%20score)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_all%20%3D%20results_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results_df%5B%22submission_id%22%5D%20%3D%3D%20_selected_submission_id%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%5B%22score%22%5D.iloc%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20score%20on%20public%20data%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_df%20%3D%20df%5Bdf%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_public_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20score%20on%20private%20data%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_df%20%3D%20df%5B~df%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_private_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20deltas%20for%20each%20split%20(all-sensors%20vs%20IMU-only)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_all%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_private%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20all%20data%20(all-sensors%20vs%20IMU-only)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_sensors_df%20%3D%20df%5Bdf%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_only_df%20%3D%20df%5B~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_all_sensors_df)%20%3E%200%20and%20len(_imu_only_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_all_sensors%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_imu_only%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_all%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_all_sensors%20-%20_score_imu_only%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20public%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_all_sensors_df%20%3D%20df%5Bdf%5B%22public%22%5D%20%26%20df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_imu_only_df%20%3D%20df%5Bdf%5B%22public%22%5D%20%26%20~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_public_all_sensors_df)%20%3E%200%20and%20len(_public_imu_only_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_public%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_all_sensors%20-%20_score_public_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20private%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_all_sensors_df%20%3D%20df%5B~df%5B%22public%22%5D%20%26%20df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_imu_only_df%20%3D%20df%5B~df%5B%22public%22%5D%20%26%20~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_private_all_sensors_df)%20%3E%200%20and%20len(_private_imu_only_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_all_sensors%20-%20_score_private_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20table%20with%208%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_single_details%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Submission%20ID%22%3A%20_selected_submission_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rank%22%3A%20rank_dict%5B_selected_submission_id%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(All)%22%3A%20submission_score_all%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Public)%22%3A%20submission_score_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20submission_score_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Private)%22%3A%20submission_score_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20submission_score_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20All%20(All-IMU)%22%3A%20delta_all%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_all%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Public%20(All-IMU)%22%3A%20delta_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Private%20(All-IMU)%22%3A%20delta_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_single_details_df%20%3D%20pd.DataFrame(_single_details)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_details%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Selected%20Submission%20Details%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_single_details_df%2C%20page_size%3D10%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Multiple%20submissions%20selected%20-%20show%20summary%20table%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_multi_details%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_cols%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_cols%5Bint(sid)%5D%20for%20sid%20in%20_selected_submission_ids%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_sid%20in%20_selected_submission_ids%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_sid%20%3D%20int(_sid)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_sub_col%20%3D%20submission_cols%5B_sid%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20scores%20on%20all%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_all%20%3D%20results_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20results_df%5B%22submission_id%22%5D%20%3D%3D%20_sid%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%5B%22score%22%5D.iloc%5B0%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20scores%20on%20public%20data%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_df%20%3D%20df%5Bdf%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_public_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_public%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20scores%20on%20private%20data%20only%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_df%20%3D%20df%5B~df%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_private_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_score_private%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20deltas%20for%20each%20split%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_all%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_private%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20all%20data%20(all-sensors%20vs%20IMU-only)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_sensors_df%20%3D%20df%5Bdf%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_only_df%20%3D%20df%5B~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_all_sensors_df)%20%3E%200%20and%20len(_imu_only_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_imu_only%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_all%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_all_sensors%20-%20_score_imu_only%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20public%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_all_sensors_df%20%3D%20df%5Bdf%5B%22public%22%5D%20%26%20df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_imu_only_df%20%3D%20df%5Bdf%5B%22public%22%5D%20%26%20~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_public_all_sensors_df)%20%3E%200%20and%20len(_public_imu_only_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_public_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_public%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_public_all_sensors%20-%20_score_public_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Delta%20for%20private%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_all_sensors_df%20%3D%20df%5B~df%5B%22public%22%5D%20%26%20df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_imu_only_df%20%3D%20df%5B~df%5B%22public%22%5D%20%26%20~df%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(_private_all_sensors_df)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20len(_private_imu_only_df)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_all_sensors_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_private_imu_only_df%2C%20truth_col%2C%20_sub_col%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_score_private_all_sensors%20-%20_score_private_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_multi_details.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Submission%20ID%22%3A%20_sid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rank%22%3A%20rank_dict%5B_sid%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(All)%22%3A%20submission_score_all%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Public)%22%3A%20submission_score_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20submission_score_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Private)%22%3A%20submission_score_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20submission_score_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20All%20(All-IMU)%22%3A%20delta_all%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_all%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Public%20(All-IMU)%22%3A%20delta_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Private%20(All-IMU)%22%3A%20delta_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20delta_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20pooled%20scores%20across%20all%20selected%20submissions%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_stacked%20%3D%20stack_submissions(df%2C%20truth_col%2C%20_selected_cols)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pooled%20score%20on%20all%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_all%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_stacked%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_all%20%3D%20round(_pooled_score_all%2C%20METRIC_PRECISION)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pooled%20score%20on%20public%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public%20%3D%20_pooled_stacked%5B_pooled_stacked%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_pooled_public)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public%20%3D%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public%20%3D%20round(_pooled_score_public%2C%20METRIC_PRECISION)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pooled%20score%20on%20private%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private%20%3D%20_pooled_stacked%5B~_pooled_stacked%5B%22public%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_pooled_private)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private%2C%20METRIC_PRECISION%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pooled%20deltas%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_all%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_all_sensors%20%3D%20_pooled_stacked%5B_pooled_stacked%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_imu_only%20%3D%20_pooled_stacked%5B~_pooled_stacked%5B%22all_sensors%22%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_pooled_all_sensors)%20%3E%200%20and%20len(_pooled_imu_only)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_all_sensors%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_imu_only%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_all%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_all_sensors%20-%20_pooled_score_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_public%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public_all_sensors%20%3D%20_pooled_stacked%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_stacked%5B%22public%22%5D%20%26%20_pooled_stacked%5B%22all_sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public_imu_only%20%3D%20_pooled_stacked%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_stacked%5B%22public%22%5D%20%26%20~_pooled_stacked%5B%22all_sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(_pooled_public_all_sensors)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20len(_pooled_public_imu_only)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public_all_sensors%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_public_imu_only%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_public%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_public_all_sensors%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20_pooled_score_public_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_private%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private_all_sensors%20%3D%20_pooled_stacked%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~_pooled_stacked%5B%22public%22%5D%20%26%20_pooled_stacked%5B%22all_sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private_imu_only%20%3D%20_pooled_stacked%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20~_pooled_stacked%5B%22public%22%5D%20%26%20~_pooled_stacked%5B%22all_sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(_pooled_private_all_sensors)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20len(_pooled_private_imu_only)%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private_all_sensors%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private_all_sensors%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private_imu_only%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.calculate_hierarchical_f1(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_private_imu_only%2C%20%22truth%22%2C%20%22prediction%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_delta_private%20%3D%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pooled_score_private_all_sensors%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20_pooled_score_private_imu_only%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20METRIC_PRECISION%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20pooled%20row%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_multi_details.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Submission%20ID%22%3A%20%22Pooled%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Rank%22%3A%20%22-%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(All)%22%3A%20_pooled_score_all%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Public)%22%3A%20_pooled_score_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_pooled_score_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Score%20(Private)%22%3A%20_pooled_score_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_pooled_score_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20All%20(All-IMU)%22%3A%20_pooled_delta_all%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_pooled_delta_all%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Public%20(All-IMU)%22%3A%20_pooled_delta_public%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_pooled_delta_public%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%CE%94%20Private%20(All-IMU)%22%3A%20_pooled_delta_private%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_pooled_delta_private%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22N%2FA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_multi_df%20%3D%20pd.DataFrame(_multi_details)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20submission_details%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20Selected%20Submissions%20Details%20(%7Blen(_selected_submission_ids)%7D%20submissions)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Note%3A**%20The%20last%20row%20(Pooled)%20shows%20overall%20metrics%20when%20all%20selected%20submissions%20are%20aggregated%20together.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_multi_df%2C%20page_size%3D20%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20submission_details%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Select%20one%20or%20more%20submissions%20from%20the%20first%20chart%20to%20see%20details*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20submission_details%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20apply_data_filters%2C%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20calculate_collapsed_metrics%2C%0A%20%20%20%20calculate_macro_averaged_metrics%2C%0A%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20create_filter_summary%2C%0A%20%20%20%20df%2C%0A%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20private_filter%2C%0A%20%20%20%20public_filter%2C%0A%20%20%20%20score_chart%2C%0A%20%20%20%20stack_submissions%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20%23%20Show%20accuracy%20breakdown%20for%20selected%20submissions%20from%20chart%20or%20overall%20when%20collapsed%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20When%20collapsed%2C%20compute%20metrics%20across%20all%20submissions%0A%20%20%20%20%20%20%20%20%23%20Apply%20filters%20to%20the%20dataframe%0A%20%20%20%20%20%20%20%20_filtered_df%20%3D%20apply_data_filters(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%2C%20public_filter%2C%20private_filter%2C%20all_sensors_filter%2C%20imu_sensors_filter%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Stack%20all%20submissions%20for%20collapsed%20analysis%0A%20%20%20%20%20%20%20%20_stacked_df%20%3D%20stack_submissions(_filtered_df%2C%20truth_col%2C%20submission_cols)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20accuracy%20breakdown%20data%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20_y_true%20%3D%20_stacked_df%5B%22truth%22%5D%0A%20%20%20%20%20%20%20%20_y_pred%20%3D%20_stacked_df%5B%22prediction%22%5D%0A%0A%20%20%20%20%20%20%20%20_eval_data%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Handle%20target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20if%20collapse_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20macro-averaged%20metrics%20for%20all%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_target_metrics%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_target_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Handle%20non-target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20if%20collapse_non_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20collapsed%20metrics%20for%20all%20non-target%20gestures%20(pooling)%0A%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_metrics%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.non_target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20non-target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20non-target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.non_target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Non-Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20eval_df%20%3D%20pd.DataFrame(_eval_data)%0A%0A%20%20%20%20%20%20%20%20%23%20Sort%20by%20gesture_type%20and%20gesture%0A%20%20%20%20%20%20%20%20eval_df%20%3D%20eval_df.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20by%3D%5B%22gesture_type%22%2C%20%22gesture%22%5D%2C%20ascending%3D%5BFalse%2C%20True%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20eval_df.reset_index(drop%3DTrue%2C%20inplace%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20display%20elements%0A%20%20%20%20%20%20%20%20_filter_summary%20%3D%20create_filter_summary(%0A%20%20%20%20%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_sample_count%20%3D%20len(_stacked_df)%0A%0A%20%20%20%20%20%20%20%20eval_breakdown%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Overall%20Per-Gesture%20Metrics%20(All%20Submissions)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Filters%20applied%3A**%20%7B_filter_summary%7D%20%7C%20**Total%20samples%3A**%20%7B_sample_count%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(eval_df%2C%20page_size%3D20%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20score_chart.value%20is%20not%20None%20and%20not%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20%5Bint(sid)%20for%20sid%20in%20_selected_submission_ids%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Apply%20filters%20to%20the%20dataframe%0A%20%20%20%20%20%20%20%20_filtered_df%20%3D%20apply_data_filters(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%2C%20public_filter%2C%20private_filter%2C%20all_sensors_filter%2C%20imu_sensors_filter%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Single%20submission%20-%20show%20individual%20metrics%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_id%20%3D%20_selected_submission_ids%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_submission_col%20%3D%20f%22gesture%7B_selected_submission_id%7D%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20accuracy%20breakdown%20data%20from%20filtered%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_true%20%3D%20_filtered_df%5Btruth_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_pred%20%3D%20_filtered_df%5B_submission_col%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_data%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20collapse_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20collapsed%20metrics%20for%20all%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_target_metrics%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_target_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20non-target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20collapse_non_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20collapsed%20metrics%20for%20all%20non-target%20gestures%20(pooling)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_metrics%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.non_target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20non-target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20non-target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.non_target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Non-Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df%20%3D%20pd.DataFrame(_eval_data)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sort%20by%20gesture_type%20and%20gesture%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df%20%3D%20eval_df.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20by%3D%5B%22gesture_type%22%2C%20%22gesture%22%5D%2C%20ascending%3D%5BFalse%2C%20True%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df.reset_index(drop%3DTrue%2C%20inplace%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20display%20elements%0A%20%20%20%20%20%20%20%20%20%20%20%20_filter_summary%20%3D%20create_filter_summary(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_sample_count%20%3D%20len(_filtered_df)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_breakdown%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20Per-Gesture%20Metrics%20for%20Submission%20%7B_selected_submission_id%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Filters%20applied%3A**%20%7B_filter_summary%7D%20%7C%20**Samples%3A**%20%7B_sample_count%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(eval_df%2C%20page_size%3D20%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Multiple%20submissions%20-%20aggregate%20metrics%20across%20selected%20submissions%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected_cols%20%3D%20%5Bf%22gesture%7Bsid%7D%22%20for%20sid%20in%20_selected_submission_ids%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Stack%20selected%20submissions%20for%20aggregated%20analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%20%3D%20stack_submissions(_filtered_df%2C%20truth_col%2C%20_selected_cols)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20accuracy%20breakdown%20data%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_true%20%3D%20_stacked_df%5B%22truth%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_pred%20%3D%20_stacked_df%5B%22prediction%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20_eval_data%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20collapse_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20macro-averaged%20metrics%20for%20all%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_target_metrics%20%3D%20calculate_macro_averaged_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_target_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20non-target%20gestures%20based%20on%20collapse%20setting%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20collapse_non_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20collapsed%20metrics%20for%20all%20non-target%20gestures%20(pooling)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_collapsed_metrics%20%3D%20calculate_collapsed_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20competition_metric.non_target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20%22All%20non-target%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_collapsed_metrics%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20non-target%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_label%20in%20competition_metric.non_target_gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics%20%3D%20calculate_binary_metrics(_y_true%2C%20_y_pred%2C%20_label)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eval_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22gesture%22%3A%20_label%2C%20%22gesture_type%22%3A%20%22Non-Target%22%2C%20**_metrics%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df%20%3D%20pd.DataFrame(_eval_data)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sort%20by%20gesture_type%20and%20gesture%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df%20%3D%20eval_df.sort_values(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20by%3D%5B%22gesture_type%22%2C%20%22gesture%22%5D%2C%20ascending%3D%5BFalse%2C%20True%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_df.reset_index(drop%3DTrue%2C%20inplace%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20display%20elements%0A%20%20%20%20%20%20%20%20%20%20%20%20_filter_summary%20%3D%20create_filter_summary(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_sample_count%20%3D%20len(_stacked_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20_submission_ids_str%20%3D%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(sid)%20for%20sid%20in%20sorted(_selected_submission_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20eval_breakdown%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20Per-Gesture%20Metrics%20for%20Selected%20Submissions%20(%7Blen(_selected_submission_ids)%7D%20submissions)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**Submission%20IDs%3A**%20%7B_submission_ids_str%7D%20%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Filters%20applied%3A**%20%7B_filter_summary%7D%20%7C%20**Total%20samples%3A**%20%7B_sample_count%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(eval_df%2C%20page_size%3D20%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20eval_breakdown%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*Select%20one%20or%20more%20submissions%20to%20see%20per-gesture%20performance%20metrics%20breakdown*%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20eval_breakdown%0A%20%20%20%20return%20(eval_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20GESTURE_TYPE_COLORS%2C%0A%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20create_filter_summary%2C%0A%20%20%20%20eval_df%2C%0A%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20private_filter%2C%0A%20%20%20%20public_filter%2C%0A%20%20%20%20score_chart%2C%0A)%3A%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20When%20collapsed%2C%20show%20overall%20chart%0A%20%20%20%20%20%20%20%20%23%20Create%20filter%20summary%20for%20chart%20title%0A%20%20%20%20%20%20%20%20_filter_summary%20%3D%20create_filter_summary(%0A%20%20%20%20%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20min%20and%20max%20F1%20scores%20for%20auto-scaling%0A%20%20%20%20%20%20%20%20min_f1%20%3D%20eval_df%5B%22F1-Score%22%5D.min()%0A%20%20%20%20%20%20%20%20max_f1%20%3D%20eval_df%5B%22F1-Score%22%5D.max()%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20some%20padding%20(5%25%20on%20each%20side)%0A%20%20%20%20%20%20%20%20padding%20%3D%20(max_f1%20-%20min_f1)%20*%200.05%0A%20%20%20%20%20%20%20%20y_min%20%3D%20max(0%2C%20min_f1%20-%20padding)%20%20%23%20Don't%20go%20below%200%0A%20%20%20%20%20%20%20%20y_max%20%3D%20min(1%2C%20max_f1%20%2B%20padding)%20%20%23%20Don't%20go%20above%201%0A%0A%20%20%20%20%20%20%20%20f1_score_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(eval_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar(clip%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22gesture%3AN%22%2C%20sort%3D%22-y%22%2C%20title%3D%22Gesture%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F1-Score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22F1%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5By_min%2C%20y_max%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture%3AN%22%2C%20title%3D%22Gesture%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture_type%3AN%22%2C%20title%3D%22Gesture%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22F1-Score%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Accuracy%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Precision%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Recall%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Specificity%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NPV%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Negative%20Predictive%20Value%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Overall%20Per-Gesture%20F1-Scores%20(All%20Submissions)%20(%7B_filter_summary%7D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.interactive()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20score_chart.value%20is%20not%20None%20and%20not%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20%5Bint(sid)%20for%20sid%20in%20_selected_submission_ids%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20filter%20summary%20for%20chart%20title%0A%20%20%20%20%20%20%20%20_filter_summary%20%3D%20create_filter_summary(%0A%20%20%20%20%20%20%20%20%20%20%20%20public_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20private_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20all_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20imu_sensors_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20min%20and%20max%20F1%20scores%20for%20auto-scaling%0A%20%20%20%20%20%20%20%20min_f1%20%3D%20eval_df%5B%22F1-Score%22%5D.min()%0A%20%20%20%20%20%20%20%20max_f1%20%3D%20eval_df%5B%22F1-Score%22%5D.max()%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20some%20padding%20(5%25%20on%20each%20side)%0A%20%20%20%20%20%20%20%20padding%20%3D%20(max_f1%20-%20min_f1)%20*%200.05%0A%20%20%20%20%20%20%20%20y_min%20%3D%20max(0%2C%20min_f1%20-%20padding)%20%20%23%20Don't%20go%20below%200%0A%20%20%20%20%20%20%20%20y_max%20%3D%20min(1%2C%20max_f1%20%2B%20padding)%20%20%23%20Don't%20go%20above%201%0A%0A%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_title%20%3D%20f%22Per-Gesture%20F1-Scores%20for%20Submission%20%7B_selected_submission_ids%5B0%5D%7D%20(%7B_filter_summary%7D)%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_submission_ids_str%20%3D%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(sid)%20for%20sid%20in%20sorted(_selected_submission_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_title%20%3D%20f%22Per-Gesture%20F1-Scores%20for%20Selected%20Submissions%20(%7Blen(_selected_submission_ids)%7D%20submissions)%20(%7B_filter_summary%7D)%22%0A%0A%20%20%20%20%20%20%20%20f1_score_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(eval_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar(clip%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22gesture%3AN%22%2C%20sort%3D%22-y%22%2C%20title%3D%22Gesture%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F1-Score%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22F1%20Score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5By_min%2C%20y_max%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture%3AN%22%2C%20title%3D%22Gesture%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture_type%3AN%22%2C%20title%3D%22Gesture%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22F1-Score%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Accuracy%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Precision%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Recall%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22Specificity%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NPV%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Negative%20Predictive%20Value%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(title%3D_title)%0A%20%20%20%20%20%20%20%20%20%20%20%20.interactive()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20f1_score_chart%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*Select%20one%20or%20more%20submissions%20to%20see%20per-gesture%20F1-scores*%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20f1_score_chart%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BOXPLOT_HEIGHT%2C%0A%20%20%20%20CHART_WIDTH%2C%0A%20%20%20%20DEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20GESTURE_TYPE_COLORS%2C%0A%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20bootstrap_delta_ci%2C%0A%20%20%20%20bootstrap_samples%2C%0A%20%20%20%20bootstrap_toggle%2C%0A%20%20%20%20build_filter_masks%2C%0A%20%20%20%20collapse_non_target_filter%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20collapse_target_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20compute_simple_delta%2C%0A%20%20%20%20df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20private_filter%2C%0A%20%20%20%20public_filter%2C%0A%20%20%20%20score_chart%2C%0A%20%20%20%20stack_submissions%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20%23%20Helper%20functions%20for%20delta%20analysis%0A%20%20%20%20def%20_calculate_delta(%0A%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20metric_type%2C%0A%20%20%20%20%20%20%20%20target_param%2C%0A%20%20%20%20%20%20%20%20use_bootstrap%2C%0A%20%20%20%20%20%20%20%20n_bootstrap%3DDEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Calculate%20delta%20with%20or%20without%20bootstrap%20CI.%22%22%22%0A%20%20%20%20%20%20%20%20if%20use_bootstrap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20bootstrap_delta_ci(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metric_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_param%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_boot%3Dn_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20seed%3D42%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20compute_simple_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%2C%20truth_col%2C%20pred_col%2C%20metric_type%2C%20target_param%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20gestures%2C%0A%20%20%20%20%20%20%20%20group_name%2C%0A%20%20%20%20%20%20%20%20group_type%2C%0A%20%20%20%20%20%20%20%20collapse_enabled%2C%0A%20%20%20%20%20%20%20%20use_bootstrap%2C%0A%20%20%20%20%20%20%20%20n_bootstrap%3DDEFAULT_BOOTSTRAP_SAMPLES%2C%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Process%20a%20group%20of%20gestures%20(target%20or%20non-target)%20with%20optional%20collapsing.%22%22%22%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20if%20collapse_enabled%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20collapsed%20delta%20for%20all%20gestures%20in%20group%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_type%20%3D%20f%22collapsed_%7Bgroup_name.lower().replace('-'%2C%20'_')%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20_calculate_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metric_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20f%22All%20%7Bgroup_name.lower()%7D%20gestures%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20group_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20deltas%20for%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20gesture_label%20in%20gestures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20_calculate_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20group_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20def%20_create_delta_chart(delta_df%2C%20use_bootstrap)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20the%20delta%20visualization%20chart.%22%22%22%0A%20%20%20%20%20%20%20%20base%20%3D%20alt.Chart(delta_df)%0A%0A%20%20%20%20%20%20%20%20%23%20Determine%20the%20metric%20type%20based%20on%20column%20names%0A%20%20%20%20%20%20%20%20has_score_columns%20%3D%20%22score_all%22%20in%20delta_df.columns%0A%0A%20%20%20%20%20%20%20%20if%20has_score_columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_label%20%3D%20%22Competition%20Score%22%0A%20%20%20%20%20%20%20%20%20%20%20%20all_col%20%3D%20%22score_all%22%0A%20%20%20%20%20%20%20%20%20%20%20%20imu_col%20%3D%20%22score_imu%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20metric_label%20%3D%20%22F1%20Score%22%0A%20%20%20%20%20%20%20%20%20%20%20%20all_col%20%3D%20%22f1_all%22%0A%20%20%20%20%20%20%20%20%20%20%20%20imu_col%20%3D%20%22f1_imu%22%0A%0A%20%20%20%20%20%20%20%20%23%20Base%20tooltip%0A%20%20%20%20%20%20%20%20tooltip_list%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture_type%3AN%22%2C%20title%3D%22Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22delta%3AQ%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Ball_col%7D%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22All-sensors%20%7Bmetric_label%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%3DMETRIC_FORMAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bimu_col%7D%3AQ%22%2C%20title%3Df%22IMU-only%20%7Bmetric_label%7D%22%2C%20format%3DMETRIC_FORMAT%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20if%20use_bootstrap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip_list.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22ci_lo%3AQ%22%2C%20title%3D%22CI%20low%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22ci_hi%3AQ%22%2C%20title%3D%22CI%20high%22%2C%20format%3DMETRIC_FORMAT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Points%0A%20%20%20%20%20%20%20%20points%20%3D%20base.mark_point(filled%3DTrue%2C%20size%3D60).encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22gesture%3AN%22%2C%20sort%3Dlist(delta_df%5B%22gesture%22%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22delta%3AQ%22%2C%20title%3Df%22%7Bmetric_label%7D%20Delta%20(All-sensors%20%E2%88%92%20IMU-only)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3Dtooltip_list%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Zero%20reference%20line%0A%20%20%20%20%20%20%20%20zero_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B0%5D%7D))%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%23888%22%2C%20strokeDash%3D%5B4%2C%204%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20error%20bars%20if%20bootstrap%20is%20enabled%0A%20%20%20%20%20%20%20%20if%20use_bootstrap%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20error_bars%20%3D%20base.mark_rule().encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22gesture%3AN%22%2C%20sort%3Dlist(delta_df%5B%22gesture%22%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ci_lo%3AQ%22%2C%20title%3Df%22%7Bmetric_label%7D%20Delta%20(All-sensors%20%E2%88%92%20IMU-only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x2%3D%22ci_hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3Dtooltip_list%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20error_bars%20%2B%20points%20%2B%20zero_rule%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20points%20%2B%20zero_rule%0A%0A%20%20%20%20def%20_create_filter_summary()%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20filter%20summary%20string%20for%20chart%20title.%22%22%22%0A%20%20%20%20%20%20%20%20parts%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20public_filter.value%20and%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22Public%20%2B%20Private%22)%0A%20%20%20%20%20%20%20%20elif%20public_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22Public%20only%22)%0A%20%20%20%20%20%20%20%20elif%20private_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22Private%20only%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22No%20data%20selected%2C%20including%20the%20whole%20dataset%22)%0A%0A%20%20%20%20%20%20%20%20if%20collapse_non_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22Non-target%20gestures%20collapsed%22)%0A%20%20%20%20%20%20%20%20if%20collapse_target_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22Target%20gestures%20collapsed%22)%0A%20%20%20%20%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%22All%20submissions%20collapsed%22)%0A%0A%20%20%20%20%20%20%20%20return%20%22%20%7C%20%22.join(parts)%0A%0A%20%20%20%20%23%20Main%20delta%20analysis%20logic%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20Handle%20collapsed%20submissions%20mode%0A%20%20%20%20%20%20%20%20%23%20Filter%20by%20public%2Fprivate%20only%3B%20always%20include%20both%20sensor%20types%20for%20delta%0A%20%20%20%20%20%20%20%20delta_filtered_df%20%3D%20build_filter_masks(df%2C%20public_filter%2C%20private_filter)%0A%0A%20%20%20%20%20%20%20%20%23%20Check%20if%20both%20sensor%20subsets%20exist%0A%20%20%20%20%20%20%20%20has_all_sensors%20%3D%20delta_filtered_df%5B%22all_sensors%22%5D.sum()%20%3E%200%0A%20%20%20%20%20%20%20%20has_imu_only%20%3D%20(~delta_filtered_df%5B%22all_sensors%22%5D).sum()%20%3E%200%0A%0A%20%20%20%20%20%20%20%20if%20not%20(has_all_sensors%20and%20has_imu_only)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Delta%20view%20requires%20both%20all-sensors%20and%20only-IMU%20samples%20in%20the%20selected%20splits.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adjust%20filters%20above.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20number%20of%20bootstrap%20samples%2C%20default%20to%20DEFAULT_BOOTSTRAP_SAMPLES%20if%20invalid%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(bootstrap_samples.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_samples.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20DEFAULT_BOOTSTRAP_SAMPLES%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(ValueError%2C%20TypeError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%20%3D%20DEFAULT_BOOTSTRAP_SAMPLES%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Stack%20all%20submissions%20for%20aggregated%20analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20_delta_stacked_df%20%3D%20stack_submissions(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_filtered_df%2C%20truth_col%2C%20submission_cols%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20overall%20competition%20metric%20delta%0A%20%20%20%20%20%20%20%20%20%20%20%20comp_boot%20%3D%20_calculate_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%20%20%23%20Use%20the%20stacked%20prediction%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20per-gesture%20deltas%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20non-target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.non_target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22non-target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%22No%20valid%20data%20for%20delta%20computation.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(by%3D%22delta%22%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20chart%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20_create_delta_chart(delta_df%2C%20bootstrap_toggle.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filter_summary%20%3D%20_create_filter_summary()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20chart.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Overall%20Per-Gesture%20F1%20Score%20Delta%20(All%20Submissions)%20(%7Bfilter_summary%7D)%7B'%20with%2095%25%20CIs'%20if%20bootstrap_toggle.value%20else%20''%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(BOXPLOT_HEIGHT%2C%2020%20*%20len(delta_df))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20).interactive()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20header%20with%20competition%20metric%20info%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20comp_boot%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%20and%20%22ci_lo%22%20in%20comp_boot%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(95%25%20CI%20%5B%7Bcomp_boot%5B'ci_lo'%5D%3A%7BMETRIC_FORMAT%7D%7D%2C%20%7Bcomp_boot%5B'ci_hi'%5D%3A%7BMETRIC_FORMAT%7D%7D%5D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22All-sensors%3A%20%7Bcomp_boot%5B'score_all'%5D%3A%7BMETRIC_FORMAT%7D%7D%20vs%20Only-IMU%3A%20%7Bcomp_boot%5B'score_imu'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%20%3D%20%22%20%7C%20%22.join(header_bits)%20if%20header_bits%20else%20%22%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Determine%20table%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_lo%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_hi%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_status%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20(with%20bootstrap%20CIs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20(point%20estimates%20only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%23%20Overall%20Per-Gesture%20F1%20Score%20Deltas%20(All%20Submissions)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Detailed%20breakdown%20showing%20how%20each%20gesture%20type%20benefits%20from%20additional%20sensor%20data%20across%20all%20submissions%7Bbootstrap_status%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20analysis%20respects%20both%20collapse%20gesture%20settings%20and%20Public%2FPrivate%20filters%2C%20but%20ignores%20sensor%20toggles%20(always%20compares%20both%20sensor%20subsets).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(header)%20if%20header%20else%20mo.md(%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Note%3A**%20Individual%20gesture%20analysis%20uses%20binary%20F1%20scores%20(gesture%20vs.%20all%20others)%2C%20while%20the%20overview%20chart%20above%20uses%20the%20full%20Competition%20Metric%20(Hierarchical%20Macro%20F1).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Per-gesture%20table%20(with%20sample%20counts)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%5Btable_columns%5D%2C%20page_size%3D20%2C%20selection%3DNone%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20score_chart.value%20is%20None%20or%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%22*Select%20one%20or%20more%20submissions%20to%20see%20All%20%E2%88%92%20IMU%20delta%20analysis*%22)%0A%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20%5Bint(sid)%20for%20sid%20in%20_selected_submission_ids%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Filter%20by%20public%2Fprivate%20only%3B%20always%20include%20both%20sensor%20types%20for%20delta%0A%20%20%20%20%20%20%20%20delta_filtered_df%20%3D%20build_filter_masks(df%2C%20public_filter%2C%20private_filter)%0A%0A%20%20%20%20%20%20%20%20%23%20Check%20if%20both%20sensor%20subsets%20exist%0A%20%20%20%20%20%20%20%20has_all_sensors%20%3D%20delta_filtered_df%5B%22all_sensors%22%5D.sum()%20%3E%200%0A%20%20%20%20%20%20%20%20has_imu_only%20%3D%20(~delta_filtered_df%5B%22all_sensors%22%5D).sum()%20%3E%200%0A%0A%20%20%20%20%20%20%20%20if%20not%20(has_all_sensors%20and%20has_imu_only)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Delta%20view%20requires%20both%20all-sensors%20and%20only-IMU%20samples%20in%20the%20selected%20splits.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Adjust%20filters%20above.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20number%20of%20bootstrap%20samples%2C%20default%20to%20DEFAULT_BOOTSTRAP_SAMPLES%20if%20invalid%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20int(bootstrap_samples.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_samples.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20DEFAULT_BOOTSTRAP_SAMPLES%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(ValueError%2C%20TypeError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%20%3D%20DEFAULT_BOOTSTRAP_SAMPLES%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Single%20submission%20-%20use%20individual%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_submission_id%20%3D%20_selected_submission_ids%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%20%3D%20f%22gesture%7B_selected_submission_id%7D%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20overall%20competition%20metric%20delta%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20comp_boot%20%3D%20_calculate_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_filtered_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20per-gesture%20deltas%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_filtered_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20non-target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_filtered_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.non_target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22non-target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%22No%20valid%20data%20for%20delta%20computation.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(by%3D%22delta%22%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20chart%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20_create_delta_chart(delta_df%2C%20bootstrap_toggle.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filter_summary%20%3D%20_create_filter_summary()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20chart.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Per-Gesture%20F1%20Score%20Delta%20(All%20%E2%88%92%20IMU)%20for%20Submission%20%7B_selected_submission_id%7D%20(%7Bfilter_summary%7D)%7B'%20with%2095%25%20CIs'%20if%20bootstrap_toggle.value%20else%20''%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(BOXPLOT_HEIGHT%2C%2020%20*%20len(delta_df))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20).interactive()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20header%20with%20competition%20metric%20info%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20comp_boot%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%20and%20%22ci_lo%22%20in%20comp_boot%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(95%25%20CI%20%5B%7Bcomp_boot%5B'ci_lo'%5D%3A%7BMETRIC_FORMAT%7D%7D%2C%20%7Bcomp_boot%5B'ci_hi'%5D%3A%7BMETRIC_FORMAT%7D%7D%5D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22All-sensors%3A%20%7Bcomp_boot%5B'score_all'%5D%3A%7BMETRIC_FORMAT%7D%7D%20vs%20Only-IMU%3A%20%7Bcomp_boot%5B'score_imu'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%20%3D%20%22%20%7C%20%22.join(header_bits)%20if%20header_bits%20else%20%22%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Determine%20table%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_lo%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_hi%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_status%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20(with%20bootstrap%20CIs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20(point%20estimates%20only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20Per-Gesture%20F1%20Score%20Deltas%20for%20Submission%20%7B_selected_submission_id%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Detailed%20breakdown%20showing%20how%20each%20gesture%20type%20benefits%20from%20additional%20sensor%20data%7Bbootstrap_status%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20analysis%20respects%20both%20collapse%20gesture%20settings%20and%20Public%2FPrivate%20filters%2C%20but%20ignores%20sensor%20toggles%20(always%20compares%20both%20sensor%20subsets).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(header)%20if%20header%20else%20mo.md(%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Note%3A**%20Individual%20gesture%20analysis%20uses%20binary%20F1%20scores%20(gesture%20vs.%20all%20others)%2C%20while%20the%20overview%20chart%20above%20uses%20the%20full%20Competition%20Metric%20(Hierarchical%20Macro%20F1).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Per-gesture%20table%20(with%20sample%20counts)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%5Btable_columns%5D%2C%20page_size%3D20%2C%20selection%3DNone%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Multiple%20submissions%20-%20aggregate%20them%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_cols%20%3D%20%5Bf%22gesture%7Bsid%7D%22%20for%20sid%20in%20_selected_submission_ids%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%20%3D%20stack_submissions(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_filtered_df%2C%20truth_col%2C%20_selected_cols%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20overall%20competition%20metric%20delta%20on%20aggregated%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20comp_boot%20%3D%20_calculate_delta(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%20%20%23%20Use%20the%20stacked%20prediction%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22competition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20per-gesture%20deltas%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Process%20non-target%20gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.extend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_process_gesture_group(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%2C%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.non_target_gestures%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22non-target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Non-Target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20collapse_non_target_filter.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_toggle.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_n_bootstrap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.md(%22No%20valid%20data%20for%20delta%20computation.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20pd.DataFrame()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.sort_values(by%3D%22delta%22%2C%20ascending%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20chart%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20_create_delta_chart(delta_df%2C%20bootstrap_toggle.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filter_summary%20%3D%20_create_filter_summary()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_submission_ids_str%20%3D%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(sid)%20for%20sid%20in%20sorted(_selected_submission_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%20%3D%20chart.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Per-Gesture%20F1%20Score%20Delta%20(All%20%E2%88%92%20IMU)%20for%20Selected%20Submissions%20(%7Blen(_selected_submission_ids)%7D%20submissions)%20(%7Bfilter_summary%7D)%7B'%20with%2095%25%20CIs'%20if%20bootstrap_toggle.value%20else%20''%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DCHART_WIDTH%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(BOXPLOT_HEIGHT%2C%2020%20*%20len(delta_df))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20).interactive()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20header%20with%20competition%20metric%20info%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20comp_boot%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%20and%20%22ci_lo%22%20in%20comp_boot%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(95%25%20CI%20%5B%7Bcomp_boot%5B'ci_lo'%5D%3A%7BMETRIC_FORMAT%7D%7D%2C%20%7Bcomp_boot%5B'ci_hi'%5D%3A%7BMETRIC_FORMAT%7D%7D%5D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Overall%20competition%20metric%20delta%3A%20%7Bcomp_boot%5B'delta'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header_bits.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22All-sensors%3A%20%7Bcomp_boot%5B'score_all'%5D%3A%7BMETRIC_FORMAT%7D%7D%20vs%20Only-IMU%3A%20%7Bcomp_boot%5B'score_imu'%5D%3A%7BMETRIC_FORMAT%7D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%20%3D%20%22%20%7C%20%22.join(header_bits)%20if%20header_bits%20else%20%22%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Determine%20table%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22f1_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delta%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_all%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_imu%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_lo%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table_columns.insert(-2%2C%20%22ci_hi%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bootstrap_status%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20(with%20bootstrap%20CIs)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20bootstrap_toggle.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%20(point%20estimates%20only)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%23%23%23%20Per-Gesture%20F1%20Score%20Deltas%20for%20Selected%20Submissions%20(%7Blen(_selected_submission_ids)%7D%20submissions)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**Submission%20IDs%3A**%20%7B_submission_ids_str%7D%20%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Detailed%20breakdown%20showing%20how%20each%20gesture%20type%20benefits%20from%20additional%20sensor%20data%7Bbootstrap_status%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20analysis%20respects%20both%20collapse%20gesture%20settings%20and%20Public%2FPrivate%20filters%2C%20but%20ignores%20sensor%20toggles%20(always%20compares%20both%20sensor%20subsets).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(header)%20if%20header%20else%20mo.md(%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Note%3A**%20Individual%20gesture%20analysis%20uses%20binary%20F1%20scores%20(gesture%20vs.%20all%20others)%2C%20while%20the%20overview%20chart%20above%20uses%20the%20full%20Competition%20Metric%20(Hierarchical%20Macro%20F1).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Per-gesture%20table%20(with%20sample%20counts)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_df%5Btable_columns%5D%2C%20page_size%3D20%2C%20selection%3DNone%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20view%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BOXPLOT_HEIGHT%2C%0A%20%20%20%20BOXPLOT_WIDTH%2C%0A%20%20%20%20GESTURE_TYPE_COLORS%2C%0A%20%20%20%20METRIC_DISPLAY_ORDER%2C%0A%20%20%20%20METRIC_FORMAT%2C%0A%20%20%20%20alt%2C%0A%20%20%20%20calculate_binary_metrics%2C%0A%20%20%20%20collapse_submissions_filter%2C%0A%20%20%20%20competition_metric%2C%0A%20%20%20%20df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20score_chart%2C%0A%20%20%20%20stack_submissions%2C%0A%20%20%20%20submission_cols%2C%0A%20%20%20%20truth_col%2C%0A)%3A%0A%20%20%20%20if%20collapse_submissions_filter.value%3A%0A%20%20%20%20%20%20%20%20%23%20Handle%20collapsed%20submissions%20mode%0A%20%20%20%20%20%20%20%20%23%20Create%20comprehensive%20dataset%20for%20all%20combinations%20including%20delta%0A%20%20%20%20%20%20%20%20_boxplot_data%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Store%20metrics%20by%20dataset%20and%20gesture%20for%20delta%20calculation%0A%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20combinations%20for%202x3%20grid%20(adding%20Delta%20column)%0A%20%20%20%20%20%20%20%20_data_combinations%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Public%22%2C%20%22All-sensors%22%2C%20True%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Public%22%2C%20%22Only-IMU-sensors%22%2C%20True%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Private%22%2C%20%22All-sensors%22%2C%20False%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Private%22%2C%20%22Only-IMU-sensors%22%2C%20False%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20for%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_sensor_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_public%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_all_sensors%2C%0A%20%20%20%20%20%20%20%20)%20in%20_data_combinations%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Filter%20data%20for%20this%20combination%0A%20%20%20%20%20%20%20%20%20%20%20%20_subset_df%20%3D%20df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(df%5B%22public%22%5D%20%3D%3D%20_is_public)%20%26%20(df%5B%22all_sensors%22%5D%20%3D%3D%20_is_all_sensors)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_subset_df)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Stack%20all%20submissions%20for%20aggregated%20analysis%0A%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%20%3D%20stack_submissions(_subset_df%2C%20truth_col%2C%20submission_cols)%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_true%20%3D%20_stacked_df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%20%20%23%20Use%20the%20renamed%20truth%20column%20from%20stacked%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20_y_pred%20%3D%20_stacked_df%5B%22prediction%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20all%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20_all_gesture_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20competition_metric.non_target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_gesture_label%20in%20_all_gesture_labels%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gesture_metrics%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20_gesture_label%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gesture_type%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_gesture_label%20in%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Non-Target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Extract%20only%20the%20calculated%20metrics%20(excluding%20TP%2C%20TN%2C%20FP%2C%20FN)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_calculated_metrics%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Recall%22%3A%20_gesture_metrics%5B%22Recall%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Precision%22%3A%20_gesture_metrics%5B%22Precision%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Specificity%22%3A%20_gesture_metrics%5B%22Specificity%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F1-Score%22%3A%20_gesture_metrics%5B%22F1-Score%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%22%3A%20_gesture_metrics%5B%22Accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NPV%22%3A%20_gesture_metrics%5B%22NPV%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20metrics%20for%20delta%20calculation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_key%20%3D%20(_dataset_label%2C%20_gesture_label%2C%20_gesture_type)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_key%20not%20in%20_metrics_by_dataset_gesture%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%5B_key%5D%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%5B_key%5D%5B_sensor_label%5D%20%3D%20_calculated_metrics%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_metric_name%2C%20_metric_value%20in%20_calculated_metrics.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_boxplot_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%22%3A%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%22%3A%20_sensor_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%22%3A%20_metric_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20_metric_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20and%20add%20delta%20metrics%20(All%20sensors%20-%20IMU%20only)%0A%20%20%20%20%20%20%20%20for%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20)%2C%20_sensor_metrics%20in%20_metrics_by_dataset_gesture.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22All-sensors%22%20in%20_sensor_metrics%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22Only-IMU-sensors%22%20in%20_sensor_metrics%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_metrics%20%3D%20_sensor_metrics%5B%22All-sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_metrics%20%3D%20_sensor_metrics%5B%22Only-IMU-sensors%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_metric_name%20in%20_all_metrics.keys()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_value%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_metrics%5B_metric_name%5D%20-%20_imu_metrics%5B_metric_name%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_boxplot_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%22%3A%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%22%3A%20%22Delta%20(All%20-%20IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%22%3A%20_metric_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20_delta_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20boxplot_df%20%3D%20pd.DataFrame(_boxplot_data)%0A%0A%20%20%20%20%20%20%20%20if%20len(boxplot_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20the%202x3%20grid%20of%20boxplots%20(now%20including%20Delta%20column)%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(boxplot_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_boxplot(size%3D15%2C%20outliers%3D%7B%22size%22%3A%2010%2C%20%22opacity%22%3A%200.6%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Evaluation%20Metric%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(labelAngle%3D45)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3DMETRIC_DISPLAY_ORDER%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xOffset%3Dalt.XOffset(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Metric%20Value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Sensor%20Configuration%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%3Dalt.Header(titleFontSize%3D14%2C%20labelFontSize%3D12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22All-sensors%22%2C%20%22Only-IMU-sensors%22%2C%20%22Delta%20(All%20-%20IMU)%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3Dalt.Row(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Dataset%20Split%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%3Dalt.Header(titleFontSize%3D14%2C%20labelFontSize%3D12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22dataset%3AN%22%2C%20title%3D%22Dataset%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22sensor_type%3AN%22%2C%20title%3D%22Sensor%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22metric%3AN%22%2C%20title%3D%22Metric%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture_type%3AN%22%2C%20title%3D%22Gesture%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22value%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Value%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DBOXPLOT_WIDTH%2C%20%20%23%20Reduced%20width%20since%20we%20now%20have%203%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DBOXPLOT_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.resolve_scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22independent%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20Independent%20scales%20for%20different%20value%20ranges%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_display%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Overall%20Metric%20Distributions%20(All%20Submissions)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Boxplots%20showing%20the%20distribution%20of%20evaluation%20metrics%20across%20different%20data%20subsets%20and%20gesture%20types.%20The%20third%20column%20shows%20the%20delta%20(All-sensors%20-%20Only-IMU-sensors)%20for%20each%20dataset%20split%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boxplot_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_display%20%3D%20mo.md(%22No%20data%20available%20for%20boxplot%20analysis%22)%0A%20%20%20%20elif%20score_chart.value%20is%20not%20None%20and%20not%20score_chart.value.empty%3A%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20score_chart.value%5B%22submission_id%22%5D.tolist()%0A%20%20%20%20%20%20%20%20_selected_submission_ids%20%3D%20%5Bint(sid)%20for%20sid%20in%20_selected_submission_ids%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20comprehensive%20dataset%20for%20all%20combinations%20including%20delta%0A%20%20%20%20%20%20%20%20_boxplot_data%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Store%20metrics%20by%20dataset%20and%20gesture%20for%20delta%20calculation%0A%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20combinations%20for%202x3%20grid%20(adding%20Delta%20column)%0A%20%20%20%20%20%20%20%20_data_combinations%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Public%22%2C%20%22All-sensors%22%2C%20True%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Public%22%2C%20%22Only-IMU-sensors%22%2C%20True%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Private%22%2C%20%22All-sensors%22%2C%20False%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(%22Private%22%2C%20%22Only-IMU-sensors%22%2C%20False%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20for%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_sensor_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_public%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_all_sensors%2C%0A%20%20%20%20%20%20%20%20)%20in%20_data_combinations%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Filter%20data%20for%20this%20combination%0A%20%20%20%20%20%20%20%20%20%20%20%20_subset_df%20%3D%20df%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(df%5B%22public%22%5D%20%3D%3D%20_is_public)%20%26%20(df%5B%22all_sensors%22%5D%20%3D%3D%20_is_all_sensors)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_subset_df)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Single%20submission%20-%20use%20individual%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_submission_col%20%3D%20f%22gesture%7B_selected_submission_ids%5B0%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%20%3D%20_subset_df%5Btruth_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_pred%20%3D%20_subset_df%5B_submission_col%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Multiple%20submissions%20-%20stack%20them%20for%20aggregation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_selected_cols%20%3D%20%5Bf%22gesture%7Bsid%7D%22%20for%20sid%20in%20_selected_submission_ids%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_stacked_df%20%3D%20stack_submissions(_subset_df%2C%20truth_col%2C%20_selected_cols)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%20%3D%20_stacked_df%5B%22truth%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_pred%20%3D%20_stacked_df%5B%22prediction%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20metrics%20for%20all%20gestures%20individually%0A%20%20%20%20%20%20%20%20%20%20%20%20_all_gesture_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20competition_metric.non_target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_gesture_label%20in%20_all_gesture_labels%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gesture_metrics%20%3D%20calculate_binary_metrics(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_y_true%2C%20_y_pred%2C%20_gesture_label%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gesture_type%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_gesture_label%20in%20competition_metric.target_gestures%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Non-Target%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Extract%20only%20the%20calculated%20metrics%20(excluding%20TP%2C%20TN%2C%20FP%2C%20FN)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_calculated_metrics%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Recall%22%3A%20_gesture_metrics%5B%22Recall%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Precision%22%3A%20_gesture_metrics%5B%22Precision%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Specificity%22%3A%20_gesture_metrics%5B%22Specificity%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22F1-Score%22%3A%20_gesture_metrics%5B%22F1-Score%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%22%3A%20_gesture_metrics%5B%22Accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22NPV%22%3A%20_gesture_metrics%5B%22NPV%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20metrics%20for%20delta%20calculation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_key%20%3D%20(_dataset_label%2C%20_gesture_label%2C%20_gesture_type)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_key%20not%20in%20_metrics_by_dataset_gesture%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%5B_key%5D%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metrics_by_dataset_gesture%5B_key%5D%5B_sensor_label%5D%20%3D%20_calculated_metrics%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_metric_name%2C%20_metric_value%20in%20_calculated_metrics.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_boxplot_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%22%3A%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%22%3A%20_sensor_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%22%3A%20_metric_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20_metric_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20and%20add%20delta%20metrics%20(All%20sensors%20-%20IMU%20only)%0A%20%20%20%20%20%20%20%20for%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20)%2C%20_sensor_metrics%20in%20_metrics_by_dataset_gesture.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22All-sensors%22%20in%20_sensor_metrics%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20%22Only-IMU-sensors%22%20in%20_sensor_metrics%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_metrics%20%3D%20_sensor_metrics%5B%22All-sensors%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_imu_metrics%20%3D%20_sensor_metrics%5B%22Only-IMU-sensors%22%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_metric_name%20in%20_all_metrics.keys()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_delta_value%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_all_metrics%5B_metric_name%5D%20-%20_imu_metrics%5B_metric_name%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_boxplot_data.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%22%3A%20_dataset_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%22%3A%20%22Delta%20(All%20-%20IMU)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture%22%3A%20_gesture_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%22%3A%20_gesture_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%22%3A%20_metric_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20_delta_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20boxplot_df%20%3D%20pd.DataFrame(_boxplot_data)%0A%0A%20%20%20%20%20%20%20%20if%20len(boxplot_df)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20the%202x3%20grid%20of%20boxplots%20(now%20including%20Delta%20column)%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(boxplot_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.mark_boxplot(size%3D15%2C%20outliers%3D%7B%22size%22%3A%2010%2C%20%22opacity%22%3A%200.6%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22metric%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Evaluation%20Metric%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(labelAngle%3D45)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3DMETRIC_DISPLAY_ORDER%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xOffset%3Dalt.XOffset(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Metric%20Value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(zero%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gesture_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Gesture%20Type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3DGESTURE_TYPE_COLORS)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22Target%22%2C%20%22Non-Target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sensor_type%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Sensor%20Configuration%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%3Dalt.Header(titleFontSize%3D14%2C%20labelFontSize%3D12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3D%5B%22All-sensors%22%2C%20%22Only-IMU-sensors%22%2C%20%22Delta%20(All%20-%20IMU)%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3Dalt.Row(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dataset%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Dataset%20Split%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%3Dalt.Header(titleFontSize%3D14%2C%20labelFontSize%3D12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22dataset%3AN%22%2C%20title%3D%22Dataset%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22sensor_type%3AN%22%2C%20title%3D%22Sensor%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22metric%3AN%22%2C%20title%3D%22Metric%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22gesture_type%3AN%22%2C%20title%3D%22Gesture%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22value%3AQ%22%2C%20format%3DMETRIC_FORMAT%2C%20title%3D%22Value%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3DBOXPLOT_WIDTH%2C%20%20%23%20Reduced%20width%20since%20we%20now%20have%203%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3DBOXPLOT_HEIGHT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.resolve_scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22independent%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20Independent%20scales%20for%20different%20value%20ranges%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_selected_submission_ids)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_title%20%3D%20f%22%23%23%23%20Distributions%20of%20Metrics%20for%20Submission%20%7B_selected_submission_ids%5B0%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_submission_ids_str%20%3D%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(sid)%20for%20sid%20in%20sorted(_selected_submission_ids)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_title%20%3D%20f%22%23%23%23%20Distributions%20of%20Metrics%20for%20Selected%20Submissions%20(%7Blen(_selected_submission_ids)%7D%20submissions)%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_display%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(_title)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Boxplots%20showing%20the%20distribution%20of%20evaluation%20metrics%20across%20different%20data%20subsets%20and%20gesture%20types.%20The%20third%20column%20shows%20the%20delta%20(All-sensors%20-%20Only-IMU-sensors)%20for%20each%20dataset%20split%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20boxplot_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20boxplot_display%20%3D%20mo.md(%22No%20data%20available%20for%20boxplot%20analysis%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20boxplot_display%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*Select%20one%20or%20more%20submissions%20to%20see%20metric%20distribution%20analysis*%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20boxplot_display%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A