Optional
dynatemp_exponent
dynatemp_exponent?: number
Optional
dynatemp_range
dynatemp_range?: number
Optional
grammar
grammar?: string
Optional
logit_bias
logit_bias?: { bias: number; token: number }[]
Optional
min_p
min_p?: number
Optional
mirostat
mirostat?: number
Optional
mirostat_eta
mirostat_eta?: number
Optional
mirostat_tau
mirostat_tau?: number
Optional
n_prev
n_prev?: number
Optional
n_probs
n_probs?: number
Optional
penalty_freq
penalty_freq?: number
Optional
penalty_last_n
penalty_last_n?: number
Optional
penalty_present
penalty_present?: number
Optional
penalty_repeat
penalty_repeat?: number
Optional
samplers_sequence
samplers_sequence?: string[]
Optional
temp
temp?: number
Optional
top_k
top_k?: number
Optional
top_p
top_p?: number
Optional
typ_p
typ_p?: number
Optional
typical_p
typical_p?: number