Проблема с производительностью, превращающая строки с началом-концом в кадр данных с TimeIndex

Это примерно в 1,7 раза быстрее, чем ваш method_1, и немного аккуратнее:

df_expand = pd.DataFrame.from_records(
    (
        (d, r.type, r.value) 
        for r in df.itertuples()
        for d in pd.date_range(start=r.start, end=r.end, freq='D')
    ),
    columns=['day', 'type', 'row']
)

Вы можете получить примерно в 7 раз быстрее, создав свой собственный диапазон дат вместо вызова pd.date_range():

one_day = dt.timedelta(1)
df_expand = pd.DataFrame.from_records(
    (
        (r.start + i * one_day, r.type, r.value) 
        for r in df.itertuples()
        for i in range(int((r.end-r.start)/one_day)+1)
    ),
    columns=['day', 'type', 'row']
)

Или вы можете получить до 24 раз быстрее, используя функцию arange numpy для генерации дат:

one_day = dt.timedelta(1)
df_expand = pd.DataFrame.from_records(
    (
        (d, r.type, r.value) 
        for r in df.itertuples()
        for d in np.arange(r.start.date(), r.end.date()+one_day, dtype='datetime64[D]')
    ),
    columns=['day', 'type', 'row']
)

Я не мог не добавить еще один, который чуть более чем в два раза быстрее, чем предыдущий. К сожалению, читать намного сложнее. Это группирует показания в зависимости от того, сколько дней они охватывают («dur»), а затем использует векторизованные операции numpy для расширения каждой группы в одном пакете.

def expand_group(g):
    dur = g.dur.iloc[0] # how many days for each reading in this group?
    return pd.DataFrame({
        'day': (g.start.values[:,None] + np.timedelta64(1, 'D') * np.arange(dur)).ravel(),
        'type': np.repeat(g.type.values, dur),
        'value': np.repeat(g.value.values, dur),
    })
# take all readings with the same duration and process them together using vectorized code
df_expand = (
    df.assign(dur=(df['end']-df['start']).dt.days + 1)
    .groupby('dur').apply(expand_group)
    .reset_index('dur', drop=True)
)

Обновление: В ответ на ваш комментарий ниже представлена ​​упрощенная версия векторизованного подхода, которая быстрее и легче читается. Вместо использования шага groupby создается единая матрица шириной самого длинного чтения, а затем отфильтровываются ненужные записи. Это должно быть довольно эффективно, если только максимальная продолжительность ваших показаний не намного больше средней. С тестовым кадром данных (все показания длятся 4 дня) это примерно в 15 раз быстрее, чем решение groupby, и примерно в 700 раз быстрее, чем method_1.

dur = (df['end']-df['start']).max().days + 1
df_expand = pd.DataFrame({
    'day': (
        df['start'].values[:,None] + np.timedelta64(1, 'D') * np.arange(dur)
    ).ravel(),
    'type': np.repeat(df['type'].values, dur),
    'value': np.repeat(df['value'].values, dur),
    'end': np.repeat(df['end'].values, dur),
})
df_expand = df_expand.loc[df_expand['day']<=df_expand['end'], 'day':'value']