Flutter上では画面の文字サイズは、端末の文字サイズに合わせて自動で変更されるようになっているのでサイズを固定したい場合は固定値を宣言する必要があるみたいです。
以下のコードでは画面を生成するMaterialApp内のbuilderで文字サイズを固定化しています。対象箇所はtextScaleFactorという部分ですね。この値を固定させてしまえば端末の文字サイズに左右されないようです。
MaterialApp(
builder: (BuildContext context, Widget child) {
final MediaQueryData data = MediaQuery.of(context);
return MediaQuery(
data: data.copyWith(textScaleFactor: 1),
child: child,
);
},