isl: Add isl_surf_get_array_pitch_el()

Will be needed to program SurfaceQPitch for Skylake 1D arrays.

isl/gen9: Support ISL_DIM_LAYOUT_GEN9_1D

isl: Don't align phys_slice0_sa.width twice

It's already aligned to the format's block width. Don't align it again
in isl_calc_row_pitch().

isl: Fix the documented units of isl_surf::row_pitch

It's the pitch between surface elements, not between surface samples.

anv/gen9: Fix oob lookup of surface halign, valign

For 1D surfaces and for surfaces with Yf or Ys tiling, the hardware
ignores SurfaceVerticalAlignment and SurfaceHorizontalAlignment.
Moreover, the anv_halign[] and anv_valign[] lookup tables may not even
contain the surface's actual alignment values. So don't do the lookup
for those surfaces.

anv/meta: Teach meta how to blit from a 1D image

Meta needed a VkShader with a 1D sampler type.

nir/spirv: Fix switch statements with duplicate cases

nir/spirv/cfg: Assert that blocks only ever get added once

This effectively prevents infinite loops in cfg_walk_blocks.

nir/spirv: Simplify phi node handling

Instead of trying to crawl through predecessor chains and build phi nodes,
we just do a poor-man's out-of-ssa on the spot.  The into-SSA pass will
deal with putting the actual phi nodes in for us.

anv/pipeline: Lower indirect temporaries and inputs

nir: Add an indirect deref lowering pass

vk: Implement a basic pipeline cache

This is not really a cache yet, but it allows us to share one state
stream for all pipelines, which means we can bump the block size without
wasting a lot of memory.

vk: Destroy device->mutex when destroying the device

isl: Don't force linear for 1d surfaces in gen7_filter_tiling()

gen7_filter_tiling() should filter out only tiling flags that are
incompatible with the surface. It shouldn't make performance decisions,
such as forcing linear for 1D; that's the role of the caller.

isl: Document gen7_filter_tiling()

isl: Prefer linear tiling for 1D surfaces

isl: Remove isl_format_layout::bpb

struct isl_format_layout contained two near-redundant members: bpb (bits
per block) and bs (block size). There do exist some hardware formats for
which bpb != 8 * bs, but Vulkan does not use them. Therefore we don't
need bpb.

anv: Use isl_format_layout::bs instead of ::bpb

For all formats used by Vulkan, 8 * bs == bpb.
(bs=block_size_in_bytes, bpb=bits_per_block)

isl: Align isl_surf::phys_level0_sa to the format's compression block

isl: Fix mis-documented units of isl_surf::phys_level_sa

It's in physical surface samples. Hence the _sa suffix.

nir/spirv: Add support for the ControlBarrier instruction

anv/UpdateDescriptorSets: Use the correct index for the buffer view

nir/spirv: Implement extended add, sub, and mul

nir/spirv: Add support for bitfield operations

nir/spirv: Add support for msb/lsb opcodes

nir/spirv: Add a documenting assert for OpConstantSampler

nir/spirv: Add initial support for ConstantNull

isl: Align single-level 2D surfaces to compression block

This fixes an assertion failure at isl.c:1003.

Reported-by: Nanley Chery <nanley.g.chery@intel.com>

anv/formats: Hand out different formats based on tiled vs. linear

anv/image_view: Separate vulkan and isl formats

Previously, anv_image_view had a anv_format pointer that we used for
everything.  This commit replaces that pointer with a VkFormat enum copied
from the API and an isl_format.  In order to implement RGB formats, we have
to use a different isl_format for the actual surface state than the obvious
one from the VkFormat.  Separating the two helps us keep things streight.

anv_get_isl_format: Support depth+stencil aspect value

You just get the depth format in this case.

anv/image: Do more work in anv_image_view_init

There was a bunch of common code in gen7/8_image_view_init that we really
should be sharing.

anv/formats: Rework GetPhysicalDeviceFormatProperties

It now calls get_isl_format to get both linear and tiled views of the
format and determines linear/tiled properties from that.  Buffer properties
are determined from the linear format.

anv/formats: Add a tiling parameter to get_isl_format

Currently, this parameter does nothing.

isl/format: Add some helpers for working with RGB formats

isl: Add a file for format helpers

genX/state: Pull some generic helpers into a shared header

meta/blit: Rework how format and aspect choices are made

This commit does two things.  First, it introduces choose_* functions for
chosing formats and aspects.  Second, it changes the copy (not blit) code
to use appropreately sized UINT formats for everything except depth.  There
are two main reasons for this:  First, it means that compressed and other
non-renderable texture upload should "just work" because it won't be
tripping over non-renderable formats.  Second, it allows us to easly copy
an RGB buffer to and from an RGBX image because the formats will get
switched over to their UINT variants and the shader will deal with the
extra channel for us.

anv/image: Add a vk_format field

We've been trying to move away from anv_format for a while and this should
help with the transition.  There are cases (mostly in meta) where we need
the original format for the image and not the isl_format.  These will be
moved over to the new vk_format and everythign else will use the isl_format
from the particular anv_surface.

isl: Document mnemonic in Yf and Ys tiling

The 'f' means "four K". The 's' means "sixty-four K".

isl: Use isl_align_npot for row_pitch

Many formats are not power-of-two bytes per pixels and we need the
non-power-of-two align macro here.

This reverts the revert from 4f9a211b, but keeps the change from a827b553
that fixed the yuv if-else mix-up.

vk: Don't leak pipeline if initialization fails

vk: Allocate subpass attachment in one big block

This avoids making a lot of small allocations and handles allocation
failure correctly.

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Handle allocation failures in meta init paths

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Handle allocation failure in anv_pipeline_init()

Fixes dEQP-VK.api.object_management.alloc_callback_fail.* failures.

vk: Call vk_error when we generate a VK_ERROR

vk: Only finish wayland wsi if we created it

Failure during instance creation will leave instance->wayland_wsi
undefined. When we then try to clean that up we crash. Set
instance->wayland_wsi to NULL on failure and only clean it up if it's
non-NULL.

Fixes part of dEQP-VK.api.object_management.alloc_callback_fail.*

isl: Fix row pitch for linear buffers

isl always aligned the row pitch to the surface's image alignment.  This
was sometimes wrong when the surface backed a VkBuffer. For a VkBuffer,
the surface's row pitch is set by VkBufferImageCopy::bufferRowLength,
whose required alignment is only that of the VkFormat.

In particular, VkBuffer rows are packed in many dEQP and Crucible tests.
And packed rows are rarely aligned to the surface's image alignment.

Fixes: dEQP-VK.pipeline.image.view_type.2d.format.r8g8b8a8_unorm.size.13x13

isl: Fix swapped if-else in isl_calc_row_pitch

The YUV case was applied to non-YUV formats. Oops.

nir/spirv: Fix group decorations

They were completely bogus before.  For one thing, OpDecorationGroup
created a value of type undef rather than decoration_group.  Also
OpGroupMemberDecorate didn't properly apply the decoration to the different
members of the different groups.  It *should* be correct now but there's no
good way to test it yet.

anv/device: Only allocate whole pages in AllocateMemory

The kernel is going to give us whole pages anyway, so allocating part of a
page doesn't help.  And this ensures that we can always work with whole
pages.

anv/device: Handle non-4k-aligned calls to MapMemory

As per the spec:

   minMemoryMapAlignment is the minimum required alignment, in bytes, of
   host-visible memory allocations within the host address space. When
   mapping a memory allocation with vkMapMemory, subtracting offset bytes
   from the returned pointer will always produce a multiple of the value of
   this limit.

anv/format: Get rid of num_channels

anv/cmd_buffer: Fix a pointer-cast typo

isl: Document some isl_surf::phys_level0_sa invariants

isl_dim_layout restricts the range of isl_surf::phys_level0_sa.

anv/pipeline: Better vertex input channel setup

First off, it now uses isl formats instead of anv_format.  Also, it
properly handles integer vs. floating-point default channels and can
properly handle alpha-only channels.  (Not sure if those are allowed).

anv/pipeline: Move vk_to_gen tables into a shared header

isl: Better document surface units

Logical pixels, physical surface samples, and physical surface elements.

Requested-by: Jason Ekstrand <jason.ekstrand@intel.com>

isl: Document the 3D block extent of isl_format

nir/spirv: Add a missing break statement in handle_image

Revert "isl: Fix assertion failure for npot pixel formats"

This reverts commit 96d1baa88d37c51c94579f650cfd9465d28634f4.

nir/spirv: Handle push constants after decorations

anv/device: Place memory types at heapIndex == 0

Previously, they were at heapIndex == 1 even though we only advertised one
heap.

nir/spirv: Fix constant num_elements and allocation

Thanks to the addition of nir_clone, we now have a num_elements field in
nir_constant which we weren't setting.  Also, constants have to be parented
to the variable they initialize, so we have to make a copy.

nir/lower_outputs_to_temporaries: Reparent constant initializers

nir/clone: Expose nir_constant_clone

nir/gather_info: Add support for end_primitive_with_counter

nir/spirv: Handle OpLine

nir/spirv: Let OpEntryPoint act as an OpName

nir/lower_outputs_to_temporaries: Take a nir_function entrypoint

nir/spirv: Add support for multiple entrypoints per shader

This is done by passing the entrypoint name into spirv_to_nir.  It will
then process the shader as if that were the only entrypoint we care about.
Instead of returning a nir_shader, it now returns a nir_function.

nir/spirv: Get the shader stage from the SPIR-V

Previously, we depended on it being passed in.

nir/spirv: Use shader stage for determining variable locations

nir/spirv: Get rid of default GS info

shaderc has been fixed for a while now.

nir/spirv: Handle execution modes as decorations

They're basically the same thing.

nir/spirv: Separate handling of preamble from type/var/const instructions

isl: Fix assertion failure for npot pixel formats

When aligning to isl_format_layout::bs (which is the number of bytes in
the pixel), use isl_align_npot() instead of isl_align(), because
isl_align() works only for power-of-2 alignment.

Fixes assertion in
dEQP-VK.pipeline.image.view_type.1d.format.r16g16b16_sfloat.size.512x1.

nir/spirv/GLSL450: Add support for SAbs

nir/spirv: Implement IsInf and IsNan built-ins.

isl: Tile-align height in image size calculation

This fixes a bunch of gpu hangs on the dEQP-VK.glsl.ShaderExecutor.common
group of CTS tests.

Revert "nir/spirv: Update to the 1.0 GLSL.std.450 header"

This reverts commit b33f5d388979f23c583c78f10a18a941cb04ce04,
and also removes the (empty) case statements for the new built-ins.

It doesn't look like glslang has updated yet, so updating the header
just breaks everything, as we no longer agree on opcode numbers.

anv/allocator: Rework state streams again

If we're going to hav valgrind verify state streams then we need to ensure
that once we choose a pointer into a block we always use that pointer until
the block is freed.  I was trying to do this with the "current_map" thing.
However, that breaks down because you have to use the map from the block
pool to get to the stream_block to get at current_map.  Instead, this
commit changes things to track the stream_block by pointer instead of by
offset into the block pool.

gen7/8/cmd_buffer: Allocate the correct ammount for COLOR_CALC_STATE

We were allocating 6 bytes when we should have been allocating 6 dwords.

anv/stream_alloc: Properly manage valgrind NOACCESS and UNDEFINED status

When I first did the valgrindifying for stream allocators, I misunderstood
some things about valgrind's expectations for NOACCESS and UNDEFINED.
First off, valgrind expects things to be marked NOACCESS before you
allocate out of them.  Since our blocks came from a pool backed by a
mmapped memfd, they came in as UNDEFINED; we needed to mark them as
NOACCESS.  Also, I didn't realize that VALGRIND_MEMPOOL_CHANGE only updated
the mempool allocation state and didn't actually change definedness; we had
to add a VALGRIND_MAKE_MEM_UNDEFINED to get rid of the NOACCESS on the
newly allocated portion.

nir/spirv: Lower gl_GlobalInvocationID correctly

Use nir_intrinsic_load_local_invocation_id, not
nir_intrinsic_load_invocation_id (missing 'local'), which is a geometry
shader built-in.

nir/spirv/cfg: Handle discard

nir/print: Handle variables with var->name == NULL

nir/inline_functions: Switch to inlining everything

nir/spirv/glsl450: Enumerate more built-in opcodes.

anv/state: Fix reversed MIN vs. MAX in levelCount handling.

The point is to promote a levelCount of 0 to 1 before subtracting 1.
This needs MAX, not MIN.

nir/spirv: Use instr_rewrite_src for updating phi sources

You can't just add a new source to a phi because use/def information won't
get updated properly.  Instead, you have to use one of the core helpers.
Some day, we may want to add a nir_phi_instr_add_src helper.

nir/validate: Don't validate the return deref for void function calls

nir/dominance: Handle unreachable blocks

Previously, nir_dominance.c didn't properly handle unreachable blocks.
This can happen if, for instance, you have something like this:

loop {
   if (...) {
      break;
   } else {
      break;
   }
}

In this case, the block right after the if statement will be unreachable.
This commit makes two changes to handle this.  First, it removes an assert
and allows block->imm_dom to be null if the block is unreachable.  Second,
it properly skips unreachable blocks in calc_dom_frontier_cb.

nir/spirv/glsl450: Implement inverse hyperbolic trig built-ins.

nir/spirv/glsl450: Implement Refract built-in.

nir/spirv/glsl450: Implement hyperbolic trig built-ins.

nir/spirv/glsl450: implement Reflect built-in.

nir/spirv/glsl450: Implement FaceForward built-in.

nir/spirv/glsl450: Implement SmoothStep.

nir/spirv/glsl450: Implement Cross built-in.