結論

Airflowではユーザを用意していないため、手動でユーザを作成する必要があります。
コマンド例は以下の通りです。

airflow users create \
    --username admin \
    --firstname xxxxx \
    --lastname xxxxx \
    --role Admin \
    --email xxxxxx@xxxxx.com \
    --password admin

Airflowの初期の頃にインストールしていたのですが、そのときはログイン画面が出てこなかったと記憶しています。
どこかのタイミングでログインが求められるようになったようなので、ユーザを作成しましょう。

参考

• Webserver — Airflow Documentation
• First time login to Apache Airflow asks for username and password, what is the username and password? – Stack Overflow