результат полный бред

К сожалению, по подобному описанию проблемы трудно сделать обоснованный вывод о ее причинах.
Но могу предположить, что вы столкнулись с переполнением при вычитании из меньшего числа большего, так как CannyLab оперирует беззнаковыми числами: https://canny.ru/docs/fbd/cfd/#sec--fbd-cfd-dannye

Получить абсолютную величину разницы двух чисел можно например так, как показано на приложенном изображении.

Учитывать знак в вычислениях можно, например, так: https://canny.ru/docs/tips_tricks/negative_numbers/