ksmutils: display addresses as ranges when applicable

Display addresses as ranges instead of individual addresses when applicable

Change-Id: I5cb2f162a86c45e60874f2cde1d649b5c7cc86b5
Signed-off-by: Rom Lemarchand <romlem@google.com>

ksmutils: Add sort option to ksminfo

Add an option to sort pages by usage count in ksminfo.

Change-Id: I115ed7d8f8e99b8eed636e88605421c1b20b8d77
Signed-off-by: Rom Lemarchand <romlem@google.com>

ksmutils: Add ksminfo utility

Add the ksminfo utility that prints information about the KSM pages
of a process

Change-Id: Ib6f5291cc28d57ef05adc861e71860aa83b56465

am 13285bd6: am a8f6f321: Merge "Add vldr vstr type benchmarking."

* commit '13285bd6a37469c4d335f8368762b4de0b47050b':
  Add vldr vstr type benchmarking.

am a8f6f321: Merge "Add vldr vstr type benchmarking."

* commit 'a8f6f3218aabdd5a691679d06034dbb9a7812854':
  Add vldr vstr type benchmarking.

Merge "Add vldr vstr type benchmarking."

Add vldr vstr type benchmarking.

Merge from internal master.

(cherry-picked from commit 65d2c7894a93f66ea41d55f843285e7e7bdbf488)

Change-Id: I854b5f310fa44efcaf93af14b84ffe5673cc46c0

Add vldr vstr type benchmarking.

Change-Id: Ib8d9ac401feacbfd2e0862ad0e5fd2c13a233c58

am 3d98cbcb: am faec68b0: Merge "Add a benchmark of strcpy."

* commit '3d98cbcb610ac4192542e46c22a6a2ffe7e31ac4':
  Add a benchmark of strcpy.

am faec68b0: Merge "Add a benchmark of strcpy."

* commit 'faec68b05e13ce31566feabd01fc23960a93aff1':
  Add a benchmark of strcpy.

Merge "Add a benchmark of strcpy."

Add a benchmark of strcpy.

List of all changes:
- Add a strcpy benchmark.
- Create a macro that is used to create all of the code for the main
  loop of the benchmark.
- Fix the strcmp benchmark to use two buffers. The single buffer was
  an experiment that should not have been committed. It also crashes
  when a large alignment is used because it hard-coded an extra 2048
  allocation regardless of the alignment chosen.
- Modify the libc benchmarks to take the function to bench as a
  parameter. This will allow us to benchmark new potential libc
  optimizations by adding a single line to the function table list.

Merge from internal master.

(cherry-picked from commit 014cf9dc226a775e27b2e6ace2461c510d9c6c19)

Change-Id: I8848e309fa1b323fe98f4525eb0f27a889fd0a7f

Merge "Add a benchmark of strcpy."

Add a benchmark of strcpy.

List of all changes:
- Add a strcpy benchmark.
- Create a macro that is used to create all of the code for the main
  loop of the benchmark.
- Fix the strcmp benchmark to use two buffers. The single buffer was
  an experiment that should not have been committed. It also crashes
  when a large alignment is used because it hard-coded an extra 2048
  allocation regardless of the alignment chosen.
- Modify the libc benchmarks to take the function to bench as a
  parameter. This will allow us to benchmark new potential libc
  optimizations by adding a single line to the function table list.

Change-Id: Id7129667669318acbd001c1bfa3db82764a39029

am 057f15a2: am 111659ee: Merge changes I707570ad,I900b673d,I62310b2c,I6b030d9d,I8f5a55de,I51a12fb8,I857143a5,I95025d52,I6367555d,I7d80e2b4,If4a4a2bb,I884eedea,Ibd0b26e4,Ia145018d,I2706e6fb,Ib1467329

* commit '057f15a2f24057493af335f0a05e362aceb8db6d':
  procrank: add support for only showing cached, noncached, or KSM pages
  libpagemap: add pm_process_usage_flags
  librank: add flag to show only KSM pages
  libpagemap: fix new kernel flag names to start with PM_PAGE_
  librank: show swapped pages per library
  procrank: show swapped pages per process
  libpagemap: count swapped pages
  librank: add command line argument for cached or non-cached pages
  libpagemap: add pm_map_usage_flags
  librank: add command line argument to show all mappings
  libpagemap: add page flags for new kernels
  librank: add permissions command line argument
  libpagemap: add definition for mask of permission flags
  librank: convert argument parsing to getopt_long
  libpagemap: fix vss calculation
  libpagemap: fix reusing previous name for mappings with no name

am 111659ee: Merge changes I707570ad,I900b673d,I62310b2c,I6b030d9d,I8f5a55de,I51a12fb8,I857143a5,I95025d52,I6367555d,I7d80e2b4,If4a4a2bb,I884eedea,Ibd0b26e4,Ia145018d,I2706e6fb,Ib1467329

* commit '111659ee89ecb6fc0a70c92cca81c0ee7de6c656':
  procrank: add support for only showing cached, noncached, or KSM pages
  libpagemap: add pm_process_usage_flags
  librank: add flag to show only KSM pages
  libpagemap: fix new kernel flag names to start with PM_PAGE_
  librank: show swapped pages per library
  procrank: show swapped pages per process
  libpagemap: count swapped pages
  librank: add command line argument for cached or non-cached pages
  libpagemap: add pm_map_usage_flags
  librank: add command line argument to show all mappings
  libpagemap: add page flags for new kernels
  librank: add permissions command line argument
  libpagemap: add definition for mask of permission flags
  librank: convert argument parsing to getopt_long
  libpagemap: fix vss calculation
  libpagemap: fix reusing previous name for mappings with no name

Merge changes I707570ad,I900b673d,I62310b2c,I6b030d9d,I8f5a55de,I51a12fb8,I857143a5,I95025d52,I6367555d,I7d80e2b4,If4a4a2bb,I884eedea,Ibd0b26e4,Ia145018d,I2706e6fb,Ib1467329

* changes:
  procrank: add support for only showing cached, noncached, or KSM pages
  libpagemap: add pm_process_usage_flags
  librank: add flag to show only KSM pages
  libpagemap: fix new kernel flag names to start with PM_PAGE_
  librank: show swapped pages per library
  procrank: show swapped pages per process
  libpagemap: count swapped pages
  librank: add command line argument for cached or non-cached pages
  libpagemap: add pm_map_usage_flags
  librank: add command line argument to show all mappings
  libpagemap: add page flags for new kernels
  librank: add permissions command line argument
  libpagemap: add definition for mask of permission flags
  librank: convert argument parsing to getopt_long
  libpagemap: fix vss calculation
  libpagemap: fix reusing previous name for mappings with no name

procrank: add support for only showing cached, noncached, or KSM pages

Add the -c, -C, and -k arguments to only show pages that are
cached (backed by storage), non-cached (backed by ram or swap),
or have been collapsed by KSM respectively.

Change-Id: I707570ad406106b0aca230d18f9945901d193aca

libpagemap: add pm_process_usage_flags

Add pm_process_usage flags to get memory usage by a process, only
counting pages with specified flags set.

Change-Id: I900b673ddbb5ae92312773a8670dd59769617268

librank: add flag to show only KSM pages

Passing -k will cause librank to only show KSM pages.  The RSS
column will approximate the memory used before KSM, and PSS will
show the memory used after KSM.

Change-Id: I62310b2cda97316b835cf7ebe51b5155872c37dc

libpagemap: fix new kernel flag names to start with PM_PAGE_

Change-Id: I6b030d9d0356d63b3ddb853de304407bc70b38c4

librank: show swapped pages per library

Add a column showing swapped pages per library, but only show it
if swapped pages exist in at least one library.

Change-Id: I8f5a55dee7ed8d1f02ed7c947f6a22f7a5771eb8

procrank: show swapped pages per process

Add a column showing swapped pages per process, but only show it
if swapped pages exist in at least one process.

Change-Id: I51a12fb8999c2a73418277fd575e7109478667d5

libpagemap: count swapped pages

Add a new memusage field for swapped pages.

Change-Id: I857143a5fdd294315dd89e834b1217a219f10479

librank: add command line argument for cached or non-cached pages

Add -c and -C command line arguments to only count pages that are
cached (backed by storage) or non-cached (backed by ram or swap)
respectively.  Non-cached pages include all anonymous pages, as
well as file backed pages that are mapped private and then modified.

Change-Id: I95025d52f1c876b9c41fcbddaef5e95e32ebf307

libpagemap: add pm_map_usage_flags

Add pm_map_usage_flags, which is the same as pm_map_usage but only
counts pages with the specified flags set.  This can be used to
only count "swapbacked" pages, which are pages that cannot be
flushed back to disk without using swap.

Change-Id: I6367555d9385502c797935849bb4221a8354e251

librank: add command line argument to show all mappings

Add -a command line argument to show all mappings, including
anonymous, stack, and heap mappings.

Change-Id: I7d80e2b4f5d880d434f57e1e7a37678917cd7407

libpagemap: add page flags for new kernels

Change-Id: If4a4a2bbe9b1a68c5dce1151cf8b7c60cae1a3fa

librank: add permissions command line argument

Add a command line argument to only list pages with the given
permissions.

Change-Id: I884eedea607b250ac721e7fdac555992c435441f

libpagemap: add definition for mask of permission flags

Change-Id: Ibd0b26e4f5245592152d2c8ef00e7da1ad5f3fdf

librank: convert argument parsing to getopt_long

Change-Id: Ia145018d9096a550febe465c9f5b5f00d36c444d

libpagemap: fix vss calculation

pm_map_usage was not incrementing vss for pages that were in the
process's map but not occupying a physical page.  Move the
vss increment above the check for present mappings.

Change-Id: I2706e6fbcbfe7d70f10950333a486d690bc84d6c

libpagemap: fix reusing previous name for mappings with no name

Mappings that are not from a file do not have a name.  The sscanf
will read all of the fields up to the name, and then leave name
untouched.  This causes the previous name to be reused.  Reset
name to an empty string before each call to sscanf.

Change-Id: Ib146732983eb074d0d4773be094efa0b672f5ed2

procrank: add support for only showing cached, noncached, or KSM pages

Add the -c, -C, and -k arguments to only show pages that are
cached (backed by storage), non-cached (backed by ram or swap),
or have been collapsed by KSM respectively.

Change-Id: I707570ad406106b0aca230d18f9945901d193aca

libpagemap: add pm_process_usage_flags

Add pm_process_usage flags to get memory usage by a process, only
counting pages with specified flags set.

Change-Id: I900b673ddbb5ae92312773a8670dd59769617268

librank: add flag to show only KSM pages

Passing -k will cause librank to only show KSM pages.  The RSS
column will approximate the memory used before KSM, and PSS will
show the memory used after KSM.

Change-Id: I62310b2cda97316b835cf7ebe51b5155872c37dc

libpagemap: fix new kernel flag names to start with PM_PAGE_

Change-Id: I6b030d9d0356d63b3ddb853de304407bc70b38c4

librank: show swapped pages per library

Add a column showing swapped pages per library, but only show it
if swapped pages exist in at least one library.

Change-Id: I8f5a55dee7ed8d1f02ed7c947f6a22f7a5771eb8

procrank: show swapped pages per process

Add a column showing swapped pages per process, but only show it
if swapped pages exist in at least one process.

Change-Id: I51a12fb8999c2a73418277fd575e7109478667d5

libpagemap: count swapped pages

Add a new memusage field for swapped pages.

Change-Id: I857143a5fdd294315dd89e834b1217a219f10479

librank: add command line argument for cached or non-cached pages

Add -c and -C command line arguments to only count pages that are
cached (backed by storage) or non-cached (backed by ram or swap)
respectively.  Non-cached pages include all anonymous pages, as
well as file backed pages that are mapped private and then modified.

Change-Id: I95025d52f1c876b9c41fcbddaef5e95e32ebf307

libpagemap: add pm_map_usage_flags

Add pm_map_usage_flags, which is the same as pm_map_usage but only
counts pages with the specified flags set.  This can be used to
only count "swapbacked" pages, which are pages that cannot be
flushed back to disk without using swap.

Change-Id: I6367555d9385502c797935849bb4221a8354e251

librank: add command line argument to show all mappings

Add -a command line argument to show all mappings, including
anonymous, stack, and heap mappings.

Change-Id: I7d80e2b4f5d880d434f57e1e7a37678917cd7407

libpagemap: add page flags for new kernels

Change-Id: If4a4a2bbe9b1a68c5dce1151cf8b7c60cae1a3fa

librank: add permissions command line argument

Add a command line argument to only list pages with the given
permissions.

Change-Id: I884eedea607b250ac721e7fdac555992c435441f

libpagemap: add definition for mask of permission flags

Change-Id: Ibd0b26e4f5245592152d2c8ef00e7da1ad5f3fdf

librank: convert argument parsing to getopt_long

Change-Id: Ia145018d9096a550febe465c9f5b5f00d36c444d

Merge "libpagemap: fix vss calculation"

libpagemap: fix vss calculation

pm_map_usage was not incrementing vss for pages that were in the
process's map but not occupying a physical page.  Move the
vss increment above the check for present mappings.

Change-Id: I2706e6fbcbfe7d70f10950333a486d690bc84d6c

Add the memtrack utility.

This utility attempts to track the PSS usage of all of the
processes in the system. It will keep track of the min/max/avg/last
PSS for every process it has ever seen and dump that information when
the program is terminated or when a USR1 or TSTP signal is sent to
the process.

Change-Id: Id9364d5121b70f80b8335c379a241bee2fbdb019

libpagemap: fix reusing previous name for mappings with no name

Mappings that are not from a file do not have a name.  The sscanf
will read all of the fields up to the name, and then leave name
untouched.  This causes the previous name to be reused.  Reset
name to an empty string before each call to sscanf.

Change-Id: Ib146732983eb074d0d4773be094efa0b672f5ed2

am a885c1bd: am 69294b5b: Merge "Add guards around neon code."

* commit 'a885c1bd06d0472822314e738815cbd2d3247988':
  Add guards around neon code.

am 69294b5b: Merge "Add guards around neon code."

* commit '69294b5bf79dd0f0909ed8831fbac0f3ab5bf1e5':
  Add guards around neon code.

Merge "Add guards around neon code."

Add guards around neon code.

Missed the neon code in the copy bandwidths. Added guards and the
functionality to indicate that these are neon based benchmarks.

(cherry-pick of a67e53c2345eac337d24e4decaf4733c5314aff8.)

Change-Id: If0fae051c47979eb243681a3c994222cefaae826

Add guards around neon code.

Missed the neon code in the copy bandwidths. Added guards and the
functionality to indicate that these are neon based benchmarks.

Change-Id: I350d984b27063c47b3c78fc1fa88d33fae960d78

am ba87304f: am 10057e4d: Merge "Fix a few incorrect return codes."

* commit 'ba87304f256880aee4e584e7e1a811ce0cef1a68':
  Fix a few incorrect return codes.

resolved conflicts for merge of e457be76 to master

Change-Id: I525243ac105b10c687299d08a88d5a32a1c36ff7

am 10057e4d: Merge "Fix a few incorrect return codes."

* commit '10057e4dbeae5bc7ed495dc9f2342a6596c82c79':
  Fix a few incorrect return codes.

Merge "Fix a few incorrect return codes."

am ed6a3afa: Merge "Add read bandwidth and small refactor."

* commit 'ed6a3afac9f3d34fc2ce2f23baec05f7a43e58cf':
  Add read bandwidth and small refactor.

Fix a few incorrect return codes.

Merge from internal master.

(cherry-picked from f90ab5f4ab00ddfbcf313be9001837aaefd64ba2)

Change-Id: I87379bac089107a95301015d849433c9e304a988

Merge "Fix a few incorrect return codes."

Fix a few incorrect return codes.

Change-Id: I91b9e3cfc443698963e2e98fc4378bf92e5bfd95

Merge "Add read bandwidth and small refactor."

Add read bandwidth and small refactor.

- Addition of read bandwidth test.
- Move the allocation of all buffers used for testing into the
  setSize() function.
- Add a canRun function to indicate whether a test is able to
  run on this platform. Currently, this only disables neon bandwidth
  tests on platforms that don't support neon.
- Refactor the thread testing functions to use one common routine.

Merge from internal master.

(cherry-picked from 1a3794a84074d7f22b8ddaba840aedd758a14cdd)

Change-Id: Ie0f29ec7e484a376471d121333b1982be8f41393

Merge "Add read bandwidth and small refactor."

Add read bandwidth and small refactor.

- Addition of read bandwidth test.
- Move the allocation of all buffers used for testing into the
  setSize() function.
- Add a canRun function to indicate whether a test is able to
  run on this platform. Currently, this only disables neon bandwidth
  tests on platforms that don't support neon.
- Refactor the thread testing functions to use one common routine.

Change-Id: I4ebed7d20100f57e93fd10bbe9dbbb53b50cd4a6

am 429aa4e8: am 54e6afd9: Merge "Fix hard-coded fencepost value."

* commit '429aa4e85f6670ebba7657fc09ec2f616ee881d9':
  Fix hard-coded fencepost value.

am 54e6afd9: Merge "Fix hard-coded fencepost value."

* commit '54e6afd9d67dbb52a30aba3349f9a133d484f753':
  Fix hard-coded fencepost value.

Merge "Fix hard-coded fencepost value."

Merge "Upgrade rand_emmc_perf to check for worst case behavior"

Fix hard-coded fencepost value.

Merge from internal master.

(cherry-picked from commit 1685d00d0a6b905a820a76c9686b6b4b077dfe4a)

Change-Id: Ie9d64844c28ea720091acfefc21f888827fecb4b

Fix hard-coded fencepost value.

Change-Id: I827bf06ca464deff03640f998c567e30b9a08611

Upgrade rand_emmc_perf to check for worst case behavior

Add the -s <count> option to do that many random 4K IOPS, and
then report the average and max times/operation, and the standard
deviation of the data set.

Add the -f <file> option to save the complete set of times for
each I/O of a -s run.  This can be used for further analysis.

Also, update the android_emmc_perf_tests.sh script to know about
the new -s and -f options, and add support for the Flo device.

Change-Id: I4bca4b48d3acf74d46331461625f7f8088509f96

am 0a485018: am d519cfaa: Merge "procmem: fix procmem crash issue"

* commit '0a485018ad259429967d2f1f0822d2d0c60432a3':
  procmem: fix procmem crash issue

am d519cfaa: Merge "procmem: fix procmem crash issue"

* commit 'd519cfaa64b4cbefaa8735abcaa20fae11adf941':
  procmem: fix procmem crash issue

Merge "procmem: fix procmem crash issue"

am 57b9044b: am c3004a7b: Merge "Add defines around neon code."

* commit '57b9044b28473d9332e5fbd351c48f63bbe6f4b0':
  Add defines around neon code.

am 22294b0e: am fd17d874: Merge "Update the libc_test."

* commit '22294b0e927b72bc659fa327ba6ca90782ac80f5':
  Update the libc_test.

am c3004a7b: Merge "Add defines around neon code."

* commit 'c3004a7b5c1bc83440d45d6f56627708517d8711':
  Add defines around neon code.

am fd17d874: Merge "Update the libc_test."

* commit 'fd17d874d61021db7e7580b19b8b17b6e1da2ab8':
  Update the libc_test.

Merge "Add defines around neon code."

Merge "Update the libc_test."

Add defines around neon code.

Merge from internal master.

(cherry-picked from commit e5282ae49814c9ed0b9bdec920a20e6978349327)

Change-Id: I00bf68545987ef360fe489b14df8e11fdd7b687b

Add defines around neon code.

Change-Id: Ia19f21ddf9fa4114ebea3e397a43ea63e260da2e

Update the libc_test.

- Refactored the fencepost testing code, include adding a fencepost
  before the buffer (when not using the value returned by malloc).
- Add a verbose option to display more information as the test runs.
- Change the test to stop on the first fail rather than keep going.

Merge change from internal master.

(cherry-picked from commit f0b2c68c83e6ced8f988f014bc235393ca231958)

Change-Id: I846c7a01be64a0bcea49084fe2f75df4af00e699

am ceda95a8: am 822f0058: Merge "Adding a few bandwidth tests."

* commit 'ceda95a8dee89f4c530af1a5153a045951e82804':
  Adding a few bandwidth tests.

am 822f0058: Merge "Adding a few bandwidth tests."

* commit '822f00581198c2faf4f78b8dd3106e3306bb8249':
  Adding a few bandwidth tests.

Merge "Adding a few bandwidth tests."

Update the libc_test.

- Refactored the fencepost testing code, include adding a fencepost
  before the buffer (when not using the value returned by malloc).
- Add a verbose option to display more information as the test runs.
- Change the test to stop on the first fail rather than keep going.

Change-Id: I24614293563689ad0f59d6aadd21d717cd080684

Adding a few bandwidth tests.

New tests being added:
- copy_bandwidth: Gathers the copy bandwidth using four different
  hand-coded assembler routines and using memcpy.
- write_bandwidth: Gathers the write bandwidth using four different
  hand-coded assembler routines and using memset.
- per_core_bandwidth: Launches a thread of any one of the write/copy
  bandwidth tests locked to every available core on the machine.
- multithread_bandwidth: Launches a user specified number of threads running
  any one of the write/copy bandwidth tests.

Each of the tests can be modified as to the size of the data to manipulate
and the number of loops to run.

Deleted tests:
- memcpy (a better memcpy benchmark can be found in system/extras/micro_bench)
- memset (a better memset benchmark can be found in system/extras/micro_bench)
- memcmp (no real replacement, but I plan to add this to micro_bench)
- strlen (no real replacement, but I plan to add this to micro_bench)
- cpufreq (this doesn't work any more)

All verification tests have been mostly shifted to system/extras/libc_test.

Merge from internal master.

(cherry-picked from commit 1348ce27ee9bb8e50a3294879c1523fa4b4d8f8b)

Change-Id: I96e9f26357e4bac1d7bb8736176d80cc41d0b36b

Merge "Adding a few bandwidth tests."

Adding a few bandwidth tests.

New tests being added:
- copy_bandwidth: Gathers the copy bandwidth using four different
  hand-coded assembler routines and using memcpy.
- write_bandwidth: Gathers the write bandwidth using four different
  hand-coded assembler routines and using memset.
- per_core_bandwidth: Launches a thread of any one of the write/copy
  bandwidth tests locked to every available core on the machine.
- multithread_bandwidth: Launches a user specified number of threads running
  any one of the write/copy bandwidth tests.

Each of the tests can be modified as to the size of the data to manipulate
and the number of loops to run.

Deleted tests:
- memcpy (a better memcpy benchmark can be found in system/extras/micro_bench)
- memset (a better memset benchmark can be found in system/extras/micro_bench)
- memcmp (no real replacement, but I plan to add this to micro_bench)
- strlen (no real replacement, but I plan to add this to micro_bench)
- cpufreq (this doesn't work any more)

All verification tests have been mostly shifted to system/extras/libc_test.

Change-Id: I70d1e27da3b2ff1a4c8fc257e03b9c43c8c9e7cc

Merge "Add uevents tool to dump kernel uevents"

am a0c0e82b: am 4d4bc6e7: Add liblog

* commit 'a0c0e82b313f1662b1f3a36df93b350fa7d3dbec':
  Add liblog

am 4d4bc6e7: Add liblog

* commit '4d4bc6e7777887d93340f577d9b46de4a7c75f26':
  Add liblog

Add liblog

Bug: 8580410
Change-Id: I9be769e7365b579dcfd94ac86e305044fcb515ee

am 6402068c: am dd31e3fa: Merge "Add a test for memset."

* commit '6402068c2383bb547115ee524e29cef4a7aa2929':
  Add a test for memset.

am dd31e3fa: Merge "Add a test for memset."

* commit 'dd31e3fadbfab9502a117078eda019e115c24e5e':
  Add a test for memset.