For auditing purposes, we want to compare two objects of Python dataframe in Jupyter Notebook, and they contain the before and later versions of the same data set.

If we call the .compare() function like the sample source code below, we will get result formatted as a matrix with self and other sub-columns for each column in the dataframes in compare.

# compare dataframes
diff = df1.compare(df2)

If the element stays the same in the two dataframes, the result matrix contains NaN for both self and other in the corresponding position. And we believe Python treats NaN as null.

See the example below, in our case, the most the elements in the comparing result are NaN, so it is like a sparse matrix. And there is only a small portion of differences, but they exist in every row, on different columns, e.g., AAA, BBB, CCC, DDD in the example below.

...
self    other   self    other   self    other   self    other   self    other   ... self    other   self    other   self    other   self    other   self    other
0     Exist Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN AAA BBB NaN NaN NaN NaN xxxxxx  yyyyyy
1     Exist Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
2     Exist Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN CCC DDD NaN NaN NaN NaN xxxxxx  yyyyyy
3     Exist Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
4     Exist Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
285 Exist   Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
286 Exist   Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
287 Exist   Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
288 Exist   Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
289 Exist   Stage   NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN xxxxxx  yyyyyy
290 rows × 32 columns

Our Question

As you have already seen, the comparing result matrix is hard to read by human eyes. So, we want to enhance the presentation, ideally:

• For each row, we only display the columns with differences.
• Our usage is a data set with 30 columns, 20’000 rows, and typically 300 updates in each compare.

We highly appreciate any hints and suggestions.

Updates

• Many thanks to the hint and reference to Pandas: drop columns with all NaN’s. However, it is not the solution. We have tried running diff.dropna(axis=1, how='all') but the operation does not remove any column. As we said in the post, for the columns that show all equal in the sample display, they have differences in the other rows outside the sample. We still need help, and sincerely hope to make this question visible. Thank you.