archiso/mkarchiso: general bash improvements

Quote all variables.
Terminate option processing using '--' for commands that support it.
Do not hardcode file descriptor.
Compare integers with arithmetic comparison instead of string comparison.
Replace echo with printf.
Use heredoc for usage text.
Don't print INFO messages when quiet is set.
Export SOURCE_DATE_EPOCH.

configs/releng/packages.x86_64: replace exfat-utils with exfatprogs

exfatprogs uses the kernel's driver unlike exfat-utils which provides a FUSE driver.

configs/releng/syslinux/archiso_pxe.cfg: add "checksum" and "verify" boot options

An ISO's checksum and GPG validation primarily matters when PXE booting, so it would be appropriate to enable these options for releng.
They should protect against booting a corrupt image.

archiso/initcpio/hooks/archiso: remove option terminator from the blockdev command

Apparently blockdev does not support it.
In an ISO made using '-s img' (Squashfs with dm-snapshot), it results in:

    blockdev: Unknown command: --

Ensure all files in the ISO's Rock Ridge file system are owned by root

archiso/mkarchiso:
Add the -rational-rock option to xorriso.
This is a preparatory step for creating ISOs as a regular user. See https://gitlab.archlinux.org/archlinux/archiso/-/issues/40 .

Show mksquashfs progress bar when mkarchiso is run in verbose mode

releng: copy UEFI shell from airootfs instead of the host system

Fixes https://gitlab.archlinux.org/archlinux/archiso/-/issues/35 .

releng: place custom sshd_config in airootfs

Properly track the file instead of modifying it on-the-fly with customize_airootfs.sh.
See https://gitlab.archlinux.org/archlinux/archiso/-/issues/21 .

CONTRIBUTING.rst: use make lint to run shellcheck

`make check` could get extended to include other things besides just linting.

Move shell script linting into a separate make target

Makefile:
Move shellcheck to a "lint" target and change "check" so that it runs "lint".
This provides a more finer grained control and allows to extend "check" with things beyond just linting.

.gitlab-ci.yml:
Run `make lint` in the lint job.

Use latest synced mirrors instead of age

configs/releng/airootfs/etc/systemd/system/reflector.service:
Use the 70 mirrors synced most recently (--latest) instead of a specific time since last sync (--age).
According to FS#67399 using 1hour as sync age is too short, as it sometimes leads to empty list.

Install mkinitcpio-archiso-hooks in airootfs instead of copying the hooks from host

Makefile: do not install mkinitcpio hooks by default

They are not required in the host system. See https://gitlab.archlinux.org/archlinux/archiso/-/issues/34 .

Build initramfs images only once

Place custom mkinitcpio.conf in airootfs.
Use a custom mkinitcpio preset to specify generated image file path.

Remove unnecessary files from releng's airootfs

configs/releng/airootfs/etc/fstab:
/etc/fstab shipped by the filesystem package has only comments. There is no reason to replace it with an empty file.

configs/releng/airootfs/etc/systemd/system/default.target:
There is no harm in booting to graphical.target. releng does not enable (or even install) any service that has {Required,Wanted}By=graphical.target.

archiso/initcpio/install/archiso: fix GnuPG home directory permissions

Gets rid of a gpg warning:
gpg: WARNING: unsafe permissions on homedir '/tmp/mkinitcpio.*/root/gpg'

Add license and basic documentation

LICENSE:
Add GPL-3.0 license.

{{archiso,configs}/*,.editorconfig,.gitlab-ci.yml}:
Add SPDX license identifier.

Makefile:
Add SPDX license identifier.
Install the `run_archiso.sh` script as global executable `run_archiso`.
Use -D and -t flags to install to install files more generically (without a previous call to install the directory).

README.rst:
Add README outlining the project's scope, how to build images from the profiles and how to test.

AUTHORS.rst:
Add list of all direct contributors to the repository.

CONTRIBUTING.rst:
Add basic contribution guidelines, explaining the linter and the license in use.

Closes #7
Closes #3

Copy files more generically

configs/*:
Copy all files that do not need a rename generically (not specifying a destination file name).
Do not rename vmlinuz-linux to vmlinuz or vmlinuz.efi (as this serves no purpose and makes the scripts more
complicated).
Do not rename microcode (i.e. {amd,intel}-ucode.img) when copying them and change all boot loader configuration files
that assume a renamed microcode image.
Add note and link to Arch Linux wiki to state why memtest.bin is renamed to memtest.
Copy license files for {amd,intel}-ucode and memtest more generically by placing them into subdirectories with the same
name as the package (to circumenvent overwriting one other).

Closes #33

Copy /etc/skel/ to user's home from build.sh instead of customize_airootfs.sh

Additionally copy the files to all custom user homes, not just root's.

Set up custom user home directories and their permissions

Deprecate customize_airootfs.sh

Show a deprecation notice if airootfs/root/customize_airootfs.sh is found.

Install all packages in one go and don't copy pacman.conf to airootfs

configs/{baseline,releng}/build.sh:
Copy custom files to airootfs before installing packages.
Instead of calling `mkarchiso init`, list all required packages in packages.x86_64 and install them all at once with `mkarchiso install`. The mkdir command which `mkarchiso init` performs is now done by make_custom_airootfs.

configs/releng/build.sh:
Don't copy configs/releng/pacman.conf to airootfs, it is only meant to provide a unmodified pacman.conf durring pacstrap. In airootfs, an unmodified /etc/pacman.conf will be installed with the pacman package.

Fix baseline profile

Install linux and mkinitcpio packages.
Remove root user's password.

Fixes https://bugs.archlinux.org/task/64236 .

Set root user's shell and password with custom /etc/passwd and /etc/shadow

Correct shadow file permissions from build.sh.

Revert "Add GitHub Actions workflow"

This reverts commit 2993b80816be1b06f7bb57b500a47989ac3af0e9.

Actions are disabled in archiso's GitHub mirror.

Separate custom comments from shellcheck comments

Having a shellcheck directive and custom comments in the same line can trigger SC1107 on old versions of shellcheck.

Add GitHub Actions workflow

.github/workflows/lint.yml:
Run `make check`.

Add check target to Makefile

Makefile:
Move shellcheck commands from .gitlab-ci.yml.

.gitlab-ci.yml:
Run `make check`.
Prevent partial upgrades, i.e. use '-Syu'.
Prevent reinstalling already installed packages by using pacman's '--needed' option.
Don't force-download the package database.

Fix unexpected script_path behaviour

When one calls the `build.sh` scripts with bash instead of the shebang
`$script_path` contains the filepath, not the parent dir:

```
% cd /path
% grep -A2 script_path= build.sh
script_path=$(readlink -f "${0%/*}")
echo "$script_path"
exit 0
% ./build.sh
/path
% bash build.sh
/path/build.sh
```

This commit fixes that:

```
% grep -A2 script_path= build.sh
script_path="$( cd -P "$( dirname "$(readlink -f "$0")" )" && pwd )"
echo "$script_path"
exit 0
% ./build.sh
/path
% bash build.sh
/path
```

Explicitly add linux and mkinitcpio to packages.x86_64

linux only gets pulled in because of broadcom-wl and mkinitcpio (usually) gets pulled in by linux.

Don't hardcode packages in build.sh

Move all required packages to packages.x86_64.
Test file availability before copying them.

Adding linting for initcpio scripts

archiso/initcpio/install/*:
Setting bash shebang for all scripts and making them comform with shellcheck.

archiso/initcpio/{hooks,script}/*:
Setting ash shebang for all scripts and making them comform with shellcheck (for dash, as shellcheck has no ash specific
ruleset). Essentially the ash based scripts should be POSIX compliant as much as possible to have an easier time
writing, debugging and maintaining them.
Ensuring that variables are not treated as options and introducing variable quoting.

.gitlab-ci.yml:
Integrating shellcheck for initcpio scripts.

Closes #32

Remove lynx usage in configs/releng/build.sh

/usr/local/bin/Installation_guide:
Add a convenience script which opens the installation guide in lynx.

/etc/motd:
Provide a message with minimal instructions for connecting to internet and inform about the Installation_guide convenience script.

Remove unnecessary dialog package

dialog was only added because it was needed for netctl's wifi-menu.
Now that netctl is removed, nothing requires dialog.

Use /usr/bin/env in shebangs

Add work and out directories to .gitignore

Remove unneded ReadOnlyPaths from reflector.service

configs/releng/airootfs/etc/systemd/system/reflector.service:
Remove references to a nonexistent file.

Keep /root permissions as 750

The filesystem package installs /root as 750 not 700.

Move chmod from customize_airootfs.sh to build.sh.

Update pacman.conf to the current version shipped by the pacman package

Sort packages.x86_64

Additionally update names of renamed packages:
https://git.archlinux.org/svntogit/packages.git/commit/trunk?h=packages/bind&id=1b097b9bcaddd65c7af4f92efef175f959395a7e
https://git.archlinux.org/svntogit/packages.git/commit/trunk?h=packages/vim&id=807b49bf022a6d523ca6215d5b34cd1e37457bd5

Warn about Syslinux's reboot.c32 and poweroff.c32 requiring APM

configs/releng/syslinux/archiso_tail.cfg:
APM is old and some motherboard firmwares have removed support for it.
reboot.c32 and poweroff.c32 will not work on such firmwares.
Add a help text to "Reboot" and "Power Off" boot menu entries that warns about requiring APM.

Add terminus-font

When built with CONFIG_FONT_TER16x32, the Linux kernel includes a TER16x32 font based on ter-i32b from terminus-font. The kernel will automatically choose this font on screen resolutions larger than 1920×1080.
The terminus-font package includes fonts for other character sets, which may be useful during installation.

Add *-terminfo packages to ease installation via SSH

Automatically boot the installation environment from syslinux

Timeout is 3 seconds to match systemd-boot's configuration.

Adding script to run archiso in qemu

scripts/run_archiso.sh:
A script to run a built archiso image using qemu.
It can run the image on an emulated BIOS (using seabios) or UEFI (using edk2-ovmf) system.

.gitlab-ci.yml:
Adding scripts/run_archiso.sh to shellcheck call.

Closes #28

Add amdgpu and mgag200 to the archiso_kms mkinitcpio hook

See https://wiki.archlinux.org/index.php/Kernel_mode_setting#Early_KMS_start .

Allow systemd-networkd-wait-online to succeed with one interface

It is enough if one network interface is online, there is no need to wait for all of them.
Without this, when connecting with Wi-Fi and leaving Ethernet disconnected, the network-online.target will get unnecessarily delayed.

Fixing issues with variable quoting and arrays

archiso/mkarchiso:
Calls to _pacman() need to be done with multiple parameters (e.g. array) instead of one string, as string splitting is
not done in that function anymore.
Turning _iso_efi_boot_args from string into an array to have an easier time of passing it to xorriso.
Calling xorriso within the if statements instead of providing -quiet via variable.
Fixing command_install() to provide packages separately to _pacman()

configs/releng/build.sh:
Replacing all newlines when retrieving the packages from packages.x86_64 with spaces so they will be properly provided
to "mkarchiso install".

Move choose-mirror script to /usr/local/bin/

/etc/systemd/scripts/ is not a standard directory.

Run shellchek on the choose-mirror script.

Do not download a mirrorlist durring build

Pacman's mirrolist will be updated by reflector.service in the live system.

Add reflector and enable reflector.service

reflector.service will update pacman's mirrorlist after a network connection is established in the live system.
Fixes https://gitlab.archlinux.org/archlinux/archiso/-/issues/26 .

Standardizing boot loader entry format

{configs/releng/efiboot/loader/entries/archiso-x86_64-{cd,usb}.conf,configs/releng/syslinux/archiso_{pxe,sys}.cfg}:
Standardizing the boot loader entry format by switching all entries to the form:
"Arch Linux install medium (<CARCH>[, <PROPERTY>])".
This removes the distinction between "CD" and "USB" when booting in UEFI "el-torito" (as the information is not useful).
Changing some of the syslinux help text as well to reflect this change. This also drops the specific <CARCH> from the
syslinux help text as it is duplicated information.

Closes #24

Add efibootmgr

It was previously pulled in as a dependency of refind. Now that refind is removed, add efibootmgr explicitly.

Add back lsscsi

It cannot be fully replaced by lsblk.

Clear the screen after syslinux exits

Reduce the time where boot loader artifacts linger on screen after the boot loader has done its job.

Set timezone from outside chroot

Enable systemd units with symlinks instead of doing it via systemctl in chroot

Use drop-in files for journald and logind configuration

Introducing shellcheck in gitlab CI

archiso/mkarchiso:
Quoting all variables.
Changing pkg_list to be an array instead of a string for easier
handling. Using read to properly populate pkg_list from OPTARG with
stripped whitespaces.
Not exporting iso_label anymore as there seems to be no reason to do so.
Introducing line breaks.

.editorconfig:
Setting max_line_length to 120.
Adding a section for YAML files (e.g. .gitlab-ci.yml).

configs/releng/build.sh
Quting nearly all variables.
Introducing line breaks.

configs/baseline/build.sh:
Quoting all variables.
Introducing line breaks.

.gitlab-ci.yml:
Adding gitlab CI for shelleck linting of the config build scripts, mkarchiso and startup scripts in releng.

Closes #19

IPv6 DHCP

configs/releng/airootfs/etc/systemd/network/20-{ethernet,wirless}.network:
Making sure that systemd-networkd enables DHCP capabilities also for
IPv6 ('DHCP=yes' and unsetting IPv6AcceptRA - see `man 5
systemd.network` for further information).

Closes #23

Adding systemd-resolvconf

configs/releng/packages.x86_64:
Due to dropping netctl from the image, no packgae currently directly
pulls in a resolvconf provider.
The systemd-resolvconf package is compatible with systemd-resolved which
is in use on the image now and the preferred choice.

Closes #22

Enabling iwd

configs/releng/airootfs/etc/systemd/system/multi-user.target.wants/iwd.service:
Adding a symlink to /usr/lib/systemd/system/iwd.service to enable iwd in
airootfs (and thus on the image).

Closes #18

Removin unneeded packages

configs/releng/packages.x86_64:
Removing packages:
* grub :rescue/ installation actions for grub should be run from within
  a chroot
* lsscsi: lsblk provides the same functionality
* netctl: we have systemd-networkd enabled by default
* ntp: we have systemd-timesyncd
* refind: rescue/ installation actions for refind should be run from
  within a chroot
* vi: we have vim

Closes #15

Fixing ownership in airootfs customization

configs/releng/build.sh:
Fixing wrong ownership of files when copying overlay modifications from
the config's airootfs directory to the working directory in
make_customize_airootfs() by using the cp flag
'--no-preserve=ownership'.

Thanks to Marcos Mello and Francois Dupoux of sysresccd
(https://gitlab.com/fdupoux/sysresccd-src) for making this fix
available.

Closes #11

Adding nvme-cli to package list

configs/releng/packages.x86_64:
Adding nvme-cli to the list of packages for working with NVME drives in
a live environment (as discussed in FS#63769).

Closes #20

Removing wget in favor of curl

configs/releng/airootfs/root/.automated_script.sh:
Replacing wget with curl for the use-case of downloading a
pre-specified remote startup script (changing flags where needed).

configs/releng/packages.x86_64:
Removing wget from the list of installed packages, as
.automated_script.sh was the only reason for it being installed.

Closes #16

Numerical prefix for systemd-networkd configuration

Adding a numerical prefix ('20-') to the ethernet.network and
wireless.network configuration files for systemd-networkd.
This way overriding them can become more predictable e.g. by providing
files with a '30-' prefix.

Closes #13

Removing custom UEFI shell boot loader configs

configs/releng/build.sh:
Copying the edk2-shell based Shell_Full.efi to the root of the iso/ efi
image as 'shellx64.efi' is automatically picked up by certain hardware
and by systemd-boot.
This makes all custom UEFI shell configuration obsolete.

configs/releng/efiboot/loader/entries/uefi-shell-*.conf:
Removing obsolete custom UEFI shell boot loader configuration.

Closes #14

Removing efitools

configs/releng/build.sh:
Removing the efitools based PreLoader.efi and HashTool.efi, as they are
dead weight due to not allowing secure boot (FS#59487).
Future secure boot functionality (most probably based on shim) is being
discussed in FS#53864.

Closes #17

Removing dist target

Makefile:
Removing the dist target. It requires to increment a number on each
release.
This workflow can be entirely circumvented by signed commit tags and
using those for packaging.

Replacing dhcpcd with systemd-networkd and systemd-resolved

configs/releng/airootfs/etc/udev/rules.d/81-dhcpcd.rules:
Removing the udev rule for starting dhcpcd@.service on interfaces of the
form eth* and en*.

configs/releng/airootfs/etc/systemd/network/{ethernet,wireless}.network:
Adding default DHCP configurations for en*, eth*, wlp* and wlan*
interfaces.

configs/releng/airootfs/etc/resolv.conf:
Adding a symlink from /run/systemd/resolve/stub-resolv.conf to
/etc/resolv.conf (in airootfs).

configs/releng/airootfs/root/customize_airootfs.sh:
Adding systemd-networkd and systemd-resolved to the list of services
that are being enabled during airootfs customization.

Unsetting the root password

Due to changes in the filesystem package [1] the current /etc/passwd
does not allow login without an empty root password anymore.
This becomes apparent, when switching to another TTY than the one
autologin is activated for.

By running passwd -d root we unset the password.
In the future this should go to a custom /etc/passwd file.

[1] https://git.archlinux.org/svntogit/packages.git/commit/trunk?h=packages/filesystem&id=0320c909f3867d47576083e853543bab1705185b

Fixing default bootloader menu selection.

configs/releng/efiboot/loader/loader.conf:
The 'default' bootloader selection of systemd-boot is based on a glob
pattern. The previous pattern was not sufficient to select anything,
which is why it is now made explicit (pointing to archiso-x86_64.conf).

Simplifying regex for script download

configs/releng/airootfs/root/.automated_script.sh:
Using only one regex to match http://, https:// or ftp:// endpoints.

Using edk2-shell for UEFI shell

configs/releng/build.sh:
Instead of downloading UDK2018 based edk2 UEFI shell, use the Shell
binaries from the edk2-shell package.
This effectively makes the use of EFI shell v1 obsolete.

configs/releng/efiboot/loader/entries/uefi-shell-v*:
Renaming UEFI shell entries to match the packaged edk2-shell based UEFI
shell binaries.

configs/releng/build.sh:
Renaming the systemd-boot bootloader entries for UEFI shell (normal and
full version) to reflect their file names, which are derived from the
binary names in the edk2-shell package.
Copying the edk2-shell based UEFI shell binaries for normal efiboot and
.iso based "el-torito" efiboot mode.

docs/README.build:
Adding edk2-shell to the requirements in the documentation, as the
package is now used to provide UEFI shell.

Renaming refind-efi to refind

configs/releng/packages.x86_64:
As the refind-efi package has been renamed to refind, the package
required for the releng image needs to be renamed as well.

Revert "Renaming refind package"

This reverts commit c16612401e2db36ae5437df2c77999d45f47d39f.

Renaming refind package

configs/releng/packages.x86_64:
refind-efi has been renamed to refind

Prepare release

FS#64049: Re-add missing packages reflecting the base group to package transition

add zstd in supported squashfs compression list

Signed-off-by: Christian Hesse <mail@eworm.de>

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

[configs/releng] Re-add wpa_supplicant

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

update download url for Shell.efi

Signed-off-by: Christian Hesse <mail@eworm.de>

[configs/releng] Add iwd

Requested at FS#62087

Update packages.x86_64

wpa_actiond

404 file no found

make sure the root filesystem is owned by root

Signed-off-by: Christian Hesse <mail@eworm.de>

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

update download url for Shell_Full.efi

https://bugzilla.tianocore.org/show_bug.cgi?id=1108
Signed-off-by: Christian Hesse <mail@eworm.de>

[configs/releng] Update amd-ucode license path

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

use package amd-ucode for amd microcode

The package linux-firmware has a new split package amd-ucode. Do not
build the image manually but use the package.

Signed-off-by: Christian Hesse <mail@eworm.de>

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

[configs/releng] Make and use amd_ucode.bin for initrd.

Requested at FS#59694

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

make detection of kernel modules dir more robust

extract `uname -r` from the contents of vmlinuz-linux rather than make
assumptions about the kernel EXTRAVERSION.

This is trivially customizable by changing the chosen kernel image.

Fixes FS#59496

Signed-off-by: Eli Schwartz <eschwartz@archlinux.org>

prepare release

Signed-off-by: Gerardo Exequiel Pozzi <vmlinuz386@gmail.com>

generate pkglist with query (not sync) operation

Using the sync operation with list option fails with --sysroot when
signed database files are around. Instead use the query operation, which
uses the local databases of installed pakages only.

The only downside is that we do no longer record the originating
repository.

Signed-off-by: Christian Hesse <mail@eworm.de>

[configs/releng] add wireless-regdb to airootfs

Requested at FS#59434

Remove cow file early for non-persistent systems

The kernel has an open file handle after setting up the mapping. We can
remove it early to make sure it is gone on shutdown.

This helps to keep the cow_device clean for non-persistent systems where
cow_directory contains a version specific string.

Signed-off-by: Christian Hesse <mail@eworm.de>