[Bugfix] Fix order of arguments matters in config.yaml (#8960)
This commit is contained in:
+23
-7
@@ -136,6 +136,8 @@ def parser():
|
||||
def parser_with_config():
|
||||
parser = FlexibleArgumentParser()
|
||||
parser.add_argument('serve')
|
||||
parser.add_argument('model_tag')
|
||||
parser.add_argument('--served-model-name', type=str)
|
||||
parser.add_argument('--config', type=str)
|
||||
parser.add_argument('--port', type=int)
|
||||
parser.add_argument('--tensor-parallel-size', type=int)
|
||||
@@ -190,33 +192,47 @@ def test_missing_required_argument(parser):
|
||||
|
||||
def test_cli_override_to_config(parser_with_config):
|
||||
args = parser_with_config.parse_args([
|
||||
'serve', '--config', './data/test_config.yaml',
|
||||
'serve', 'mymodel', '--config', './data/test_config.yaml',
|
||||
'--tensor-parallel-size', '3'
|
||||
])
|
||||
assert args.tensor_parallel_size == 3
|
||||
args = parser_with_config.parse_args([
|
||||
'serve', '--tensor-parallel-size', '3', '--config',
|
||||
'serve', 'mymodel', '--tensor-parallel-size', '3', '--config',
|
||||
'./data/test_config.yaml'
|
||||
])
|
||||
assert args.tensor_parallel_size == 3
|
||||
assert args.port == 12312
|
||||
args = parser_with_config.parse_args([
|
||||
'serve', 'mymodel', '--tensor-parallel-size', '3', '--config',
|
||||
'./data/test_config.yaml', '--port', '666'
|
||||
])
|
||||
assert args.tensor_parallel_size == 3
|
||||
assert args.port == 666
|
||||
|
||||
|
||||
def test_config_args(parser_with_config):
|
||||
args = parser_with_config.parse_args(
|
||||
['serve', '--config', './data/test_config.yaml'])
|
||||
['serve', 'mymodel', '--config', './data/test_config.yaml'])
|
||||
assert args.tensor_parallel_size == 2
|
||||
|
||||
|
||||
def test_config_file(parser_with_config):
|
||||
with pytest.raises(FileNotFoundError):
|
||||
parser_with_config.parse_args(['serve', '--config', 'test_config.yml'])
|
||||
parser_with_config.parse_args(
|
||||
['serve', 'mymodel', '--config', 'test_config.yml'])
|
||||
|
||||
with pytest.raises(ValueError):
|
||||
parser_with_config.parse_args(
|
||||
['serve', '--config', './data/test_config.json'])
|
||||
['serve', 'mymodel', '--config', './data/test_config.json'])
|
||||
|
||||
with pytest.raises(ValueError):
|
||||
parser_with_config.parse_args([
|
||||
'serve', '--tensor-parallel-size', '3', '--config', '--batch-size',
|
||||
'32'
|
||||
'serve', 'mymodel', '--tensor-parallel-size', '3', '--config',
|
||||
'--batch-size', '32'
|
||||
])
|
||||
|
||||
|
||||
def test_no_model_tag(parser_with_config):
|
||||
with pytest.raises(ValueError):
|
||||
parser_with_config.parse_args(
|
||||
['serve', '--config', './data/test_config.yaml'])
|
||||
|
||||
Reference in New Issue
Block a user