tcg: Introduce do_op3_nofail for vector expansion

This makes do_op3 match do_op2 in allowing for failure,
and thus fall back expansions.

Backports commit 17f79944ebeace8bf43047a33b7775ba5ed9070e from qemu
This commit is contained in:
Richard Henderson 2019-05-24 18:24:42 -04:00 committed by Lioncash
parent 2ea6dfbd63
commit 56d35e80aa
No known key found for this signature in database
GPG key ID: 4E3C3CC1031BA9C7

View file

@ -563,7 +563,7 @@ void tcg_gen_cmp_vec(TCGContext *s, TCGCond cond, unsigned vece,
}
}
static void do_op3(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a,
static bool do_op3(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a,
TCGv_vec b, TCGOpcode opc)
{
TCGTemp *rt = tcgv_vec_temp(s, r);
@ -581,82 +581,91 @@ static void do_op3(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a,
can = tcg_can_emit_vec_op(opc, type, vece);
if (can > 0) {
vec_gen_3(s, opc, type, vece, ri, ai, bi);
} else {
} else if (can < 0) {
const TCGOpcode *hold_list = tcg_swap_vecop_list(s, NULL);
tcg_debug_assert(can < 0);
tcg_expand_vec_op(s, opc, type, vece, ri, ai, bi);
tcg_swap_vecop_list(s, hold_list);
} else {
return false;
}
return true;
}
static void do_op3_nofail(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a,
TCGv_vec b, TCGOpcode opc)
{
bool ok = do_op3(s, vece, r, a, b, opc);
tcg_debug_assert(ok);
}
void tcg_gen_add_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_add_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_add_vec);
}
void tcg_gen_sub_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_sub_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_sub_vec);
}
void tcg_gen_mul_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_mul_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_mul_vec);
}
void tcg_gen_ssadd_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_ssadd_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_ssadd_vec);
}
void tcg_gen_usadd_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_usadd_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_usadd_vec);
}
void tcg_gen_sssub_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_sssub_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_sssub_vec);
}
void tcg_gen_ussub_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_ussub_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_ussub_vec);
}
void tcg_gen_smin_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_smin_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_smin_vec);
}
void tcg_gen_umin_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_umin_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_umin_vec);
}
void tcg_gen_smax_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_smax_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_smax_vec);
}
void tcg_gen_umax_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_umax_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_umax_vec);
}
void tcg_gen_shlv_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_shlv_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_shlv_vec);
}
void tcg_gen_shrv_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_shrv_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_shrv_vec);
}
void tcg_gen_sarv_vec(TCGContext *s, unsigned vece, TCGv_vec r, TCGv_vec a, TCGv_vec b)
{
do_op3(s, vece, r, a, b, INDEX_op_sarv_vec);
do_op3_nofail(s, vece, r, a, b, INDEX_op_sarv_vec);
}
static void do_shifts(TCGContext *tcg_ctx, unsigned vece, TCGv_vec r, TCGv_vec a,
@ -692,7 +701,7 @@ static void do_shifts(TCGContext *tcg_ctx, unsigned vece, TCGv_vec r, TCGv_vec a
} else {
tcg_gen_dup_i32_vec(tcg_ctx, vece, vec_s, s);
}
do_op3(tcg_ctx, vece, r, a, vec_s, opc_v);
do_op3_nofail(tcg_ctx, vece, r, a, vec_s, opc_v);
tcg_temp_free_vec(tcg_ctx, vec_s);
}
tcg_swap_vecop_list(tcg_ctx, hold_list);