Merge branch 'master' of git://github.com/relan/exfat into pie-x86

Move match_option() to libexfat/utils.c.

To be used in a later patch.

CI: update osx image to macOS 10.15.7 (Xcode 12.2).

The default macOS 10.13 (Xcode 9.4.1) doesn't work, it seems.

CI: define the build matrix explicitly.

CI: add Ubuntu 18.04 (amd64, ppc64le) jobs.

Add basic CI.

Build and run mkfs and fsck on:

* Ubuntu 18.04 (s390x) <https://docs.travis-ci.com/user/reference/bionic>
* macOS 10.13 (amd64) <https://docs.travis-ci.com/user/reference/osx>

Fix cluster bitmap traversal on big endian machines.

We define bitmap_t to unsigned char on big endian systems to avoid byte
order conversions. But bitwise complement causes integer promotion and
makes the condition always false. Truncate the result after complementing
zero.

Fix format warning.

Found by clang 902.0.39.2.

Fix more comparisons between signed and unsigned values.

Found by gcc 7.4.0.

Fix file contiguous judgement.

Signed-off-by: noctis <noctis.AKM@gmail.com>

Add platform macros for illumos.

With this change fuse-exfat reportedly works on OpenIndiana.

Validate UTF-8 byte sequence.

The 2nd and subsequent bytes in a UTF-8 byte sequence must look like
10xxxxxx. The missing checks could lead to crash later.

Rename UTF-related functions.

Avoid conflicts with Android's libutils. Those functions should have had
the "exfat" prefix from the very beginning...

Fix comparisons between signed and unsigned values.

Suppress warnings about unused parameters.

Check offset in exfat_generic_pread()/exfat_generic_pwrite().

A negative offset makes no sense for those functions.

Fix some signedness warnings.

Fix unaligned accesses to packed struct members.

Soil super block after successful mount.

Leave volume state untouched until we are ready to serve writes.

Android: add mount.exfat

The vold can use this to mount an exfat partition.

Signed-off-by: Chih-Wei Huang <cwhuang@linux.org.tw>

Revert "Use fuse_main() instead of lower level functions."

This reverts commit f61d4279d14582d56b039f3ed7b49f5989600c86.

Revert "Split mount options into FUSE- and exFAT-specific."

This reverts commit 78d28968cbcb7dcb856e153774fdb4ccb38b0fcf.

Revert "Wrap platform-specific FUSE options."

This reverts commit 68524e0a51246bba984fce28fc5b23aee0dbd2e0.

Android: change libexfat to be a shared library

The library is used by several binaries so it should be shared.

Signed-off-by: Chih-Wei Huang <cwhuang@linux.org.tw>

Define proper feature test macros for glibc.

Add support for timezone offsets.

Timestamps are stored in local time. exFAT includes timezone offset
fields to allow timestamps to remain correct when mounted under a
different timezone. The timezone offset is now used to calculate the
correct timestamp on read, and set on write.

Android: remove "tags" from Android.bp.

Android's build system does not support "tags" anymore, remove this line
to fix compilation.

Bump version to 1.3.0 and update changelog.

Repairing: implement unknown entry type fix.

Repairing: implement invalid node checksum fix.

Repairing: add nodes flushing to fsck.

Nodes can now be modified during fsck run, so they should be flushed.

Repairing: implement invalid VBR checksum fix.

Repairing: pass struct exfat to verify_vbr_checksum().

Repair hooks need struct exfat.

Repairing: document new fsck options.

Repairing: add new fsck options.

Repairing: prepare fsck.

Repairing: add repair hooks file.

Repairing: add "repair=n" option.

Values:
  0 = do not repair
  1 = ask
  2 = repair automatically

Fix last updated dates in man pages.

Update copyright years in man pages.

Pass stat to filler in readdir for dirent->d_type.

We have SD card reading code that iterates over the file system using
opendir() and readdir() recursively by checking the struct
dirent::d_type field, which is technically non-portable but works in
ext2, ext3, ext4, and vfat. However, it wasn't working with exfat.

Allows fuse to fill in the d_type field.

Android: rename binaries to mkfs.exfat and fsck.exfat.

Android Pie now supports exFAT, see

    https://android.googlesource.com/platform/system/vold/+/android-9.0.0_r3/fs/Exfat.cpp#33

Android: convert Android.mk to Android.bp.

Android: fix logcat support building in AOSP.

Building failed this way:

log.c:51:51: error: use of undeclared identifier fmt
        __android_log_vprint(ANDROID_LOG_FATAL, PACKAGE, fmt, aq);
                                                         ^
log.c:79:51: error: use of undeclared identifier fmt
        __android_log_vprint(ANDROID_LOG_ERROR, PACKAGE, fmt, aq);
                                                         ^
log.c:105:50: error: use of undeclared identifier fmt
        __android_log_vprint(ANDROID_LOG_WARN, PACKAGE, fmt, aq);
                                                        ^

Android: print log messages to logcat.

Android does not have syslog.

Android: support building exfat-utils.

Build mkexfatfs, exfatfsck, dumpexfat and exfatlabel for Android.

Signed-off-by: liminghao <liminghao@xiaomi.com>

Fix predefined macro for DragonFlyBSD.

__DragonFlyBSD__ is not defined in DragonFlyBSD. It's __DragonFly__
without "BSD".

Fix FreeBSD support, add UBLIO support.

Exclude OpenBSD from the list of supported operating systems.

OpenBSD's fuse_main() fails with "unknown option ..." when options string
is non-empty. We could live with this if it accepted at least "ro", but it
doesn't.

Pass "ro" option to FUSE when FS is read-only.

No matter the reason why FS is read-only (requested by user or device is
write-protected), we should inform FUSE about this.

Wrap platform-specific FUSE options.

fuse_main() fails on unrecognized options.

Split mount options into FUSE- and exFAT-specific.

fuse_main() fails on unrecognized options.

Use fuse_main() instead of lower level functions.

This significantly simplifies FUSE-related code.

Unite code that forms options for FUSE.

Bump version to 1.2.8 and update changelog.

Update copyright years.

Fix searching for free slots in the root directory.

When we need to place n entries and slot at position x is occupied, we
should check x+1 instead of jumping to x+n. Otherwise we may end up
putting new entries beyond a 0x00 entry, which Windows 10 interprets as
an end-of-directory mark and does not look farther.

Fix compilation on GNU/HURD.

Update exfatlabel man page.

Add sentence about how to remove volume name.

Correct spelling mistake in a comment.

Bump version to 1.2.7 and update changelog.

Fix clusters bitmap size.

The last two clusters were erroneously considered invalid. Note that
clusters numbering starts with 2.

Clean up unused parameters in libexfat.

Fix crash when started with stdin, stdout or stderr closed.

Check clusters count validity.

Other checks heavily depend on clusters count value.

Check that file or directory size does not exceed clusters heap.

Refactor error handling in exfat_mount().

Free struct exfat members in a separate function that can be called both
from exfat_unmount() and exfat_mount().

Remove excessive check in free_cluster().

Cluster validity has already been checked.

Improve upper bound check in CLUSTER_INVALID() macro.

Check that cluster value does not exceed actual number of clusters. Note
that clusters numbering starts with 2.

Pass struct exfat to check_node().

Future version of CLUSTER_INVALID() macro will need it.

Bump version to 1.2.6 and update changelog.

Update copyright years.

Add tail entries support.

Tail entries are optional continuations that can appear after the name
entries. Their type is in 0xe0-0xff range. Sony uses them to save some
metadata along with video clips files.

Those entries can be safely ignored but must be included into checksum
calculations.

Generic I/O for directories: switch readdir().

Generic I/O for directories: switch find_slot().

Generic I/O for directories: switch exfat_flush_node().

Generic I/O for directories: switch rename_entry().

Generic I/O for directories: switch erase_entry().

Generic I/O for directories: switch commit_entry().

Generic I/O for directories: switch find_label().

Generic I/O for directories: switch exfat_set_label().

Generic I/O for directories: do not update times.

Generic I/O for directories: add [read|write]_entries().

Begin conversion to exfat_generic_pread()/exfat_generic_pwrite()
functions for manipulations with directories contents. This simplifies
code a lot.

Rename node field flags to attrib.

Now it contains only exFAT attributes (from meta2).

Replace node flags with bit fields.

Bit fields are safer and more readable.

Rename write_entry() to commit_entry().

This function doesn't just write an entry, it also constructs a new node
and adds it into the tree.

Use ROUND_UP() macro instead of DIV_ROUND_UP().

Propagate ENOSPC on write.

Return -errno from exfat_generic_pread()/exfat_generic_pwrite()
functions to distinguish between I/O error and out-of-space error.

Reduce the sizes of name buffers.

EXFAT_NAME_MAX is the number of 16-bit code units, not Unicode
characters. When converting to UTF-8, 3 bytes are enough to keep any
Unicode character encoded by a 16-bit code unit.

Change output buffer size semantics for UTF functions.

Make them consistent with other string functions: now output buffer size
includes potential null terminator, i.e. this is total size. This change
also means that if output buffer isn't large enough it can be left
unterminated (indicated by the -ENAMETOOLONG return value).

Remove buffer size argument for exfat_get_name().

The output buffer is always UTF8_BYTES(EXFAT_NAME_MAX)+1 characters. No
need to repeat this every time.

Avoid name length calculation in exfat_calc_name_hash().

We always know it when exfat_calc_name_hash() is called, so pass file
name length as an argument.

Refactor file entry checksum calculation.

Move actual algorithm implementation into add_checksum_byte() function.
Avoid utf16_length() call: we already have valid file name length.
Avoid extra data copying: take it from the name buffer instead of making
a temporary file name entry.

Fix max file name length.

In exFAT file name limit is 255 16-bit code units, not 256. That's
because name length field size is 1 byte.

Bump version to 1.2.5 and update changelog.

Move meta2 fields checking into check_node().

There we know node name and print it if an error is detected.

Add node start cluster checks.

Run all checks in check_node().

Do not stop node validation on the first error.

Improve error messages in opendir().

dumpexfat: print version number only when requested.

If the version number is printed only when the -V arg is given,
it's easier to use the output of this tool in external scripts.