Furl は、XS モジュールへの依存を排除するために IO::Socket::SSL のロードを実行時に行っております。
結果として SSL を利用したアクセスのうち、初回のアクセス時は若干の遅延が生じます。
use IO::Socket::SSL
には 0.05sec〜0.1sec 程度かかります。
通常は問題がありませんが、timeout を0.1secなどに設定していると、モジュールのロードだけで timeout sec を消費してしまう可能性があります。
HTTPS で通信する場合には use IO::Socket::SSL
しておくことを推奨します。
なお、この動作は仕様です。