Может указываешь неправильно имя функции, которое экпортируется из DLL (префикс какой-нибудь есть перед именем функции).
Например, у меня ф-ия LTRIM из rfunc зарегистрирована так:
DECLARE EXTERNAL FUNCTION LTRIM
CSTRING(256)
RETURNS CSTRING(256)
ENTRY_POINT 'fn_ltrim' MODULE_NAME 'rfunc' |
точка входа содержит префикс fn_